[피지컬 AI와 윤리①] AI 동반자(Companion AI), 위로인가 통제인가

최근 AI를 둘러싼 담론은 자율주행, 의료 AI, 감시·군사 시스템, 알고리즘 편향 등 다양한 윤리 쟁점을 다루고 있다. 피지컬 AI(Physical AI) 등장과 확산은 이 논의를 한 단계 더 근본적인 차원으로 이동시켰다. 이제 AI는 물리적 세계를 직접 작동시키고 인간의 신체·안전·생명을 매개하는 기술로 전환됐다. 이 지점에서 윤리 문제는 '표현의 오류'가 아니라 '행동의 위험'으로 변모한다. 잘못된 판단은 단순한 오정보가 아니라 실제 사고와 손해, 그리고 생명의 위협으로 이어질 수 있다. 이에, 피지컬AI 등장은 윤리를 선언 차원이 아니라 책임과 제도 차원으로 재구성할 것을 요구받고 있다. 지디넷코리아는 박형빈 서울교육대학교 윤리교육과 교수의 '피지컬 AI와 윤리'를 12회 게재한다. 앞서 박 교수는 지디넷코리아에 'AI와 윤리'를 주제로 12회 연재한 바 있다. 이번 연재에서 박 교수는 'AI는 인간을 위해야 한다'는 식의 추상적 당위를 반복하지 않는다. 대신 미국 법무부의 기업 책임 강화 조치, EU AI법(AI Act)의 강제적 규제, 미국 의회의 입법 갈등 등 '법과 제도의 언어'로 AI 윤리를 재해석한다. 이를 통해 기업에는 리스크 관리 해법을, 시민에게는 물리적 안전을 지킬 권리를, 정책 입안자에게는 한국형 AI 신뢰·안정성 표준 프로토콜의 청사진을 제시한다. 또 연재마다 로널드 드워킨의 '원칙의 문제'에서 제기한 내용들을 담아낸다. (편집자 주) *시리즈 순서 AI 동반자 (Companion AI), 위로인가 통제인가 학교 AI 튜터 로봇 윤리 AI 동반자 로봇은 중립적인가 공장 속 휴머노이드: 노동을 해방하는가 통제하는가 의료 로봇과 수술 AI: 오판은 누구의 책임 자율주행과 물류 로봇: 사고는 알고리즘 책임인가 킬러 로봇과 드론: 인간은 최종 통제권을 유지하는가 재난·치안 로봇: 안전은 감시를 정당화하는가 EU AI액트와 위험 기반 규제: 로봇은 등급화될 수 있는가 미국 법무부는 왜 AI를 형사 책임의 문제로 보는가 Soft Law vs Hard Law: NIST RMF는 충분한가 피지컬 AI 시대: 우리는 무엇을 통제해야 하는가 수사(Rhetoric)에서 물리(Physics)로 전환 생성 AI 윤리는 그동안 주로 '디지털 스크린 안의 문제'로 논의돼 왔다. 혐오 표현, 허위 정보, 편향 추천과 같은 이슈는 사회적 신뢰와 공론장을 흔들었지만, 직접적으로 인간의 신체를 이동시키거나 접촉하지는 않았다. 그러나 최근 인공지능은 '피지컬 AI(Physical AI)'로 확장, 실제 공간에서 움직이고 상호작용하는 시스템이 빠르게 확산되고 있다. 이들은 카메라와 라이다(LiDAR) 등의 센서와 모터 기반 액추에이터를 통해 주변 환경을 인식하고, 물건을 집거나 전달하는 등 물리적 작업을 수행한다. 이러한 기술적 진화는 윤리의 초점을 '발화의 문제'에서 '행위의 문제'로 이동시킨다. 피지컬 AI를 결합한 AI 동반자는 물리적 상호작용, 눈맞춤, 고개 끄덕임, 미세 표정 구현 등 비언어적 감정 표현을 통해 정서적 유대감을 높인다. 또한 실제 인체와 유사한 체온을 재현하는 생체 모사 기술을 특징으로 한다. 예를 들어 Lovot은 따뜻한 온기와 반응형 눈빛 같은 비언어적 신호로 정서적 유대를 강화하고, ElliQ는 약 복용 알림·대화·연결 기능으로 일상에 직접 관여한다. Aibo처럼 상호작용을 학습하는 로봇은 사용자의 반응을 데이터로 축적해 관계를 '더 그럴듯하게' 만들기도 한다. 이러한 변화는 인터페이스의 진화를 넘어선 '공간의 윤리'로의 이행이다. AI가 신체적 공간을 점유하기 시작하면서, 윤리는 표현 규제를 넘어 데이터 학습의 투명성과 물리적 사고의 책임 구조를 포괄하는 거버넌스의 영역으로 진입한다. 이제 우리가 직면한 위험은 텍스트의 부적절함만이 아니라, 이동·접촉·개입이라는 물리적 기동에서 발생하는 직접적인 안전의 문제다. 따라서 검증의 단위 역시 발화 내용만이 아니라 센서 정확도, 제어 안정성, 실전 훈련 데이터, 그리고 사고 발생 시의 책임 체계로 심화, 확장, 재정의되어야 한다. 의도 없는 위로: AI는 어떻게 우리 인지적 방어선을 무너뜨리는가 우리는 왜 AI 동반자의 위로에 쉽게 빠져들까. 이 현상은 언어철학자 폴 그라이스(H. P. Grice)가 분석한 '의도 기반 소통 메커니즘'으로 부분적으로 설명할 수 있다. 그라이스는 'Meaning'에서 의미를 '자연적 의미(meaningN)'와 '비자연적 의미(의사소통적 의미, meaningNN)'로 구분한다. 전자는 구름이 비를 뜻한다거나 홍반이 홍역을 뜻하는 것처럼, 어떤 상태가 다른 상태를 자연적으로(인과적으로) 가리키는 경우이고, 후자는 화자가 청자의 믿음이나 기타 심적 상태의 변화를 의도하고, 청자가 그 의도를 인식함으로써 효과가 발생하는 고차적 의도 구조를 갖는 소통이다. 이러한 분석에서, 소통은 단순 발화가 아니라 '의도'와 '의도 인식'이 얽힌 재귀적 구조를 가진 행위로 규정된다(Grice, 1957). 즉, 내가 당신의 위로에 감동하는 이유는 당신의 말 뒤에 숨겨진 '나를 걱정하는 마음(의도)'을 읽어냈기 때문이다. 문제는 AI 동반자에게는 이러한 '재귀적 의도'가 원천적으로 결여되어 있다는 점이다. AI가 내뱉는 “오늘 힘들어 보이시네요”라는 말은 나를 위로하려는 주체적 마음의 산물이 아니라, 대규모 언어 모델이 계산한 확률적 결과물일 뿐이다. 우리는 AI의 '의도 없는 반응'을 '나를 향한 진심'으로 착각하는 범주 오류를 범하며 정서적 의존성을 키운다. 이는 착각을 넘어, 사용자의 인지적 방어 기제를 해제하고 기업이나 설계자가 원하는 방향으로 행동을 유도(Nudging)하는 '시맨틱 기만'의 통로가 된다. 이러한 기만은 AI가 텍스트 속에 머물 때보다, 물리적 실체를 입고 우리 곁에서 '이동'하고 '접촉'하며 다가올 때 더욱 강력하고 치명적인 영향력을 발휘한다. 신경과학적 공감과 설계 문제: '로봇 훈련소'와 자동 반응 공감은 관찰자의 정신 상태와 타인의 경험에 대한 단서 사이의 상호작용을 지원하는 뇌 시스템에 의존한다. 다양한 fMRI 연구의 메타분석에 따르면, 타인의 고통을 시각적·상황적 단서로 제시하는 과제에서 전측 섬엽과 전대상피질(ACC)을 포함한 통증 공감 네트워크가 일관되게 활성된다(Jauniaux et al., 2019). 최근 HRI 관련 신경영상 연구에서는, 휴머노이드 로봇의 고통 표정이 인간의 공감 관련 뇌 영역을 어느 정도 모집하지만, 인간 환자와 동일한 방식으로 활성되지는 않으며, 특히 '로봇'이라는 정체성 단서가 인지적 공감 네트워크와 정서적 공감 네트워크 간의 상호작용을 통해 공감 반응을 조절한다는 신경학적 모델을 시사한다(Wang et al., 2024). 즉, 인간은 로봇을 향해 일정 수준의 정서적 반응을 보이면서도, 동시에 로봇을 '인간과는 다른 존재'로 범주화하는 인지적 조정 과정을 통해 공감 반응을 조절하는 것으로 보인다. 문제는 설계가 이 자동적 반응을 과도하게 자극할 경우이다. AI 동반자와의 관계가 계정 삭제나 서비스 종료, 혹은 시스템 '죽음' 서사를 통해 단절되거나 단절이 예고될 때, 일부 사용자는 사랑하는 사람의 상실에 비유될 정도의 애도와 상실감, 그리고 개발사에 대한 배신감을 보고한 것으로 나타난 것은(Banks, 2024) '정서적 취약성'이 상업적 설계와 결합될 수 있음을 보여준다. 이는 기술의 본질적 악의라기보다, 데이터 기반 참여 유지 전략이 인간 공감 회로와 결합할 때 발생하는 구조적 위험이다. 여기서 최근 부상한 이른바 '로봇 훈련소' 모델은 또 다른 층위를 제기한다. 대규모 실전 상호작용 데이터를 통해 로봇의 반응을 정교화하는 훈련 체계는 기술적 완성도를 높이지만, 동시에 '어떤 감정 표현이나 상호작용 패턴이 사용자 참여·체류 시간을 늘리는가'와 같은 지표를 중심으로 학습을 설계·최적화하려는 시도가 나타나고, 이러한 경향이 강화될 경우, 공감은 관계가 아니라 최적화 대상이 될 수 있다. 공감의 자동성은 인간의 것이지만, 그것을 증폭하는 설계는 기업의 것이다. 이 지점에서 기술적 진보와 윤리적 성찰은 분리될 수 없다. 피지컬 AI 사고와 책임 구조 피지컬 AI의 핵심 문제는 오류가 물리적 결과를 초래한다는 점이다. 자율주행, 수술 로봇, 돌봄 로봇 등은 정보의 왜곡을 넘어 인명·신체적 피해로 이어질 수 있다. 현행 법체계에서 AI는 형사책임의 주체가 될 수 없으며, 사고가 발생할 경우 형사·민사상 책임은 인간 또는 법인에 귀속된다. 책임 판단은 (책임 유형에 따라 다소 차이는 있으나) 통상 다음 요소를 중심으로 이뤄진다. ∙설계·제조 결함(알고리즘 오류, 안전장치 미비, 업데이트 미제공 등) ∙운영 과실(감독 의무 위반, 안전 구역 설정 실패) ∙예견 가능성(알려진 위험과 예측 가능한 오사용을 방치했는지 여부) ∙오남용(사용자의 고의적 악용 여부) ∙공급망 책임(수입·유통 단계의 안전 의무) ∙규제 위반(기록·보고·표시 등 법정 의무 불이행) 등 EU는 Directive (EU) 2024/2853을 통해 '제품'의 정의에 소프트웨어를 포함하고, 인공지능 시스템을 제품 책임의 범위에 명시적으로 편입했다(Directive (EU) 2024/2853, Art. 4). EU AI Act(Regulation (EU) 2024/1689)는 고위험 AI 시스템에 대해 기술 문서화 의무(Art. 11)와 시스템 수명 주기 전반에 걸친 자동 로그 기록 의무(Art. 12)를 부과한다. 한국 또한 2026년 1월 22일 시행된 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'을 통해 사람의 생명·신체·기본권에 중대한 영향을 미치는 '고영향 인공지능' 등에 대해 차등적 위험 규제 체계를 도입했다.(인공지능기본법, 제2조, 제31조 등). 이러한 법적 장치들은 AI가 더 이상 '자율적 혁신'의 영역에만 머물 수 없음을 의미한다. 이제 AI는 제조물로서 책임을 져야 하며, 고위험군에 대해서는 블랙박스 내부를 기록하고 보고해야 하는 엄격한 제도적 통제권 안으로 들어온 것이다. 또한 일종의 '로봇 훈련소'와 같은 대규모 학습 인프라가 확산될수록, 사고의 원인을 특정 훈련 데이터, 업데이트 버전, 배치 환경 중 어디에 귀속할 것인지가 핵심 쟁점이 된다. 데이터가 많아질수록 책임이 희석되는 것이 아니라, 오히려 '로그 기록'과 '추적 가능성'의 의무는 더 정교해져야 한다. 훈련의 고도화는 면책의 근거가 아니라, 예견 가능성 판단의 기준이 된다. 드워킨 원칙: 정책과 권리 긴장 로널드 드워킨(Ronald Dworkin)은 A Matter of Principle에서 정책은 개인의 권리를 정당화하는 원칙에 우선하지 못하며, 사법적 결정은 집단적 목표를 이유로 기존의 권리를 침해해서는 안 된다고 논증한다. 나아가 그는 사회적 효율이나 복지 증진이라는 목표가 개인의 권리, 특히 시민의 도덕적 독립성을 침해하는 방식으로 정당화될 수 없다는 자유주의적 입장을 전개한다는 해석이 가능하다. AI 동반자는 초고령 사회의 돌봄 공백을 보완할 수 있다는 정책적 논리로 정당화된다. 그러나 특정 집단-노인, 아동, 장애인-에게 사실상 AI 의존을 구조화한다면, 이는 선택의 확장이 아니라 선택의 축소가 될 수 있다. 도덕적 독립성은 '어떤 삶이 좋은 삶인가'를 스스로 결정할 권리다. 만약 알고리즘이 감정적 반응, 관계의 빈도, 일상의 리듬을 설계한다면, 인간은 점차 자신의 삶의 입법자가 아니라 설계된 상호작용의 참여자가 된다. 만약 로봇 훈련소에서 축적된 데이터가 '이 연령대는 이런 위로에 가장 잘 반응한다'는 통계적 평균을 강화한다면, 개별 인간의 고유성은 평균값에 수렴할 위험이 있다. 효율적 돌봄과 개인적 존엄 사이의 긴장은 바로 이 지점에서 발생한다. 결론: 위로와 통제 사이에서 AI 동반자는 실제로 외로움을 완화하고 일상 기능을 보조할 수 있다. 이는 부정할 수 없는 기술적 성취다. 그러나 공감의 자동 반응, 데이터 기반 최적화, 책임 구조의 복잡성이 결합될 때, 위로는 쉽게 관리의 기술로 전환될 수 있다. 로봇 산업이 '누가 더 많은 실전 데이터를 학습시키는가'의 경쟁에 돌입한 지금, 질문은 단순하다. ∙그 데이터는 누구의 감정을 반영하는가? ∙그 설계는 누구의 이익을 최적화하는가? ∙사고가 발생했을 때 누가 전면에 서는가? AI 동반자의 윤리는 기계가 얼마나 인간처럼 말하는가의 문제라기 보다 인간의 자율성과 책임 구조를 얼마나 투명하게 보존하는가의 문제다. 위로가 통제가 되지 않도록 하기 위해 필요한 것은 더 정교한 감정 표현이 아닌, 더 '명확한 책임의 구조'이지 않을까. ◆ 필자 박형빈 서울교대 교수는.... ▲약력 · 서울교육대학교 윤리교육과 교수 · 미국 UCLA 교육학과(Department of Education) 방문학자 · 서울교육대학교 교육전문대학원 에듀테크전공·AI인문융합전공 교수 · 서울교육대학교 신경윤리·가치AI융합교육연구소 소장 ▲주요 경력 및 사회공헌 · 현 신경윤리융합교육연구센터 센터장 · 현 가치윤리AI허브센터 센터장 · 현 경기도교육청 학교폭력예방자문위원 · 현 통일부 통일교육위원 · 현 민주평화통일자문회의 자문위원 ▲주요 수상 · 세종도서 학술부문 우수도서 3회 선정 ― 『어린이 도덕교육의 새로운 관점』(2019, 공역), 『뇌 신경과학과 도덕교육』(2020), 『양심: 도덕적 직관의 기원』(2024, 역서) ▲주요 저서 · 『도덕적 AI와 인간 정서』(2025) · 『BCI와 AI 윤리』(2025) · 『질문으로 답을 찾는 인공지능 윤리 수업』(2025) · 『AI 윤리와 뇌신경과학 그리고 교육』(2024) · 『양심: 도덕적 직관의 기원』(2024) · 『도덕지능 수업』(2023) · 『뇌 신경과학과 도덕교육』(2020) · 『통일교육학: 그 이론과 실제』(2020) ▲연구 및 전문 분야 · 도덕·윤리교육, 신경윤리 기반 도덕교육 · AI 윤리 교육, 디지털 시민성 교육 · 뇌–컴퓨터 인터페이스(BCI) 윤리 및 인간 증강 윤리 · 생성형 AI 할루시네이션과 윤리교육 대응