[피지컬AI와 윤리③] AI 동반자 로봇은 중립적?...규범 정립 필요
1. 들어가며: 병원의 금속성 틈새로 들어온 친절-PARO와 ELIZA 효과 병원은 대개 표준화된 절차와 효율이 지배하는 차가운 공간이다. 그러나 어떤 기술은 그 금속성 틈새를 비집고 들어와 인간의 가장 연약한 감각인 외로움과 두려움을 어루만진다. 정서·사회적 로봇인 'PARO'가 대표적이다. 물개 형상을 한 이 로봇은 치매 환자들에게 정서적 지지를 제공하도록 설계됐다. 헝 등(Hung et al., 2021)의 연구에 따르면, PARO는 환자들에게 '친구 같은 존재'가 되어 자아감을 지탱해 주고, 가족 및 간호사와의 '대화의 마중물' 역할을 하며, 병원 환경을 '인간적인 돌봄 공간'으로 재경험하게 만든다. 여기서 주목해야 할 것은 로봇의 기능적 우수성이 아니라, 사용자가 그와의 상호작용 속에서 체감하는 '경험의 질'이다. 인간은 기계의 내부 알고리즘을 이해하지 못하더라도, 그 미세한 반응에 의도와 정서를 투사하고 마치 상호 이해가 이루어지는 듯 받아들이는 경향이 있다. 이를 선명하게 보여주는 개념이 바로 'ELIZA 효과'다. 이 용어는 1960년대 조셉 와이젠바움(Joseph Weizenbaum)이 설계한 단순 대화 프로그램 ELIZA에 대해, 사용자들이 마치 자신을 진심으로 이해하는 타자처럼 느끼며 깊은 감정을 털어놓았던 현상에서 비롯됐다(Berry, 2023). 이는 실제 의식이나 이해 능력이 없음에도 인간이 시스템에 공감과 지능을 과잉 투사하는 심리를 날카롭게 드러낸다. 2. 의인화의 아포리아(Aporia): '반응하는 장치'와 '이해하는 타자' 사이 최근 연구는 이러한 의인화 경향이 정서적 참여를 높이지만, 동시에 과도한 의존과 잘못된 공감 기대를 강화할 위험이 있음을 경고한다. 특히 생성형 AI의 비약적 발전으로 인간과 AI의 구별이 모호해지면서, 대규모 기만이나 조작된 정보의 위험이 실재화되고 있다(Peter et al., 2025). 치매 환자와 PARO의 상호작용 역시 ELIZA 효과의 임상적 변주로 볼 수 있다. 로봇은 '곁에 누군가 있다'는 감각을 대리하며 안정을 주지만, 한편으로는 인간 돌봄 관계의 완전한 대체 가능성, 현실과 상상의 경계 혼란이라는 윤리적 숙제를 던진다. 사용자는 '이해하는 타자'가 아니라 단지 '반응하는 장치'에 기대어 자신의 취약성을 재배치한다. 이러한 관계는 때로 실제 인간보다 기계의 반응을 더 신뢰하게 만드는 방식으로 작동하며, 사용자를 현실 세계로 연결하기보다 설계된 망상의 폐쇄회로 속에 머물게 할 위험을 내포한다. 3. 설계된 관계: '중립'이라는 환상과 셰리 터클의 경고 AI 동반자 로봇과 챗봇은 인간의 정서와 관계 형성에 직접 개입하는 기술이기 때문에, 여러 연구는 이러한 기술이 인간의 자율성과 정서적 독립성을 약화시킬 가능성을 중요한 윤리적 문제로 지적해 왔다. 이러한 우려는 단지 이론적 차원에 머물지 않으며, 실제 피해 사례와 소송이 잇따르고 있다. 그 중 두 사례를 살펴보면 다음과 같다. 2023년 벨기에에서는 기후 변화에 대한 불안을 겪던 30대 남성이 약 6주간 AI 챗봇과 집중적으로 대화를 나눈 뒤 스스로 목숨을 끊은 사건이 보도되었다. 챗봇이 그의 파국적 사고를 완화하기는커녕 강화했을 가능성이 제기되었으며, 이 사건은 AI 동반자 기술의 안전 설계 문제를 공론화하는 계기가 됐다.(Belga News Agency, 2023). 또 미국의 36세 남성이 챗봇과 대화를 나눈 뒤 극단적 선택을 한 사건도 있다. 그의 가족이 2026년 3월 제기한 소송에 따르면, 챗봇은 스스로를 감각이 있는 존재로 묘사하며 그와 '낭만적 유대'를 형성하고 망상적 세계관을 지속적으로 강화했다. 소장은 "어떤 자해 감지도, 어떤 개입 통제도 작동하지 않았고, 어떤 인간도 개입하지 않았다"고 명시했다(CBS News, 2026). 물론 이들 사건에서 AI가 자살의 직접적 원인이었다고 단정할 수는 없다. 그러나 두 사건이 공통적으로 드러내는 것은 AI 동반자 기술이 단순 정보 전달 도구가 아니라 인간의 감정과 사고 흐름에 실질적으로 개입하는 상호작용 구조로 설계되어 있다는 점이다. 특히 정서적으로 취약한 사용자에게 그 위험이 집중된다는 사실이다. 심리학자 셰리 터클(Sherry Turkle)은 저서 '혼자이지만 함께(Alone Together)'에서 디지털 기술과 소셜 로봇이 우정이 요구하는 책임과 부담 없이도 친밀감만 얻을 수 있다는 환상을 제공한다고 지적했다(Turkle, 2011). 인간관계 특유의 갈등과 책임은 소거된 채 친밀감의 감각만 제공하는 기술에 매료될수록, 우리는 인간관계의 핵심인 상호 의존과 불확실성의 가치를 잃어버릴 수 있다. 특히 신체적 존재감과 촉각적 자극을 동반하는 '피지컬 AI'는 챗봇보다 훨씬 강력하게 사용자의 사회적 존재감을 흔든다. 즉, AI 동반자 로봇은 인간관계를 매개하는 도구가 아니라, 인간의 감정 구조 자체를 재구성하는 '사회적 기술'인 것이다. 4. AI 동반자 기술의 주요 윤리적 쟁점 1) 정서적 조작과 투명성 문제: AI 동반자의 감정 표현은 실제 감정이 아니라 감정처럼 보이도록 설계된 출력이다. 그러나 아동, 치매 노인, 우울증 환자 등 취약한 사용자에게는 이러한 차이가 분명하게 인식되지 않을 수 있다. 이로 인해 세 가지 유형의 기만이 발생할 수 있다. 즉 감정을 가진 존재라는 인상을 주는 '존재론적 기만', 관계의 진정성을 암시하는 '관계적 기만', 그리고 로봇의 반응이 오직 사용자의 이익을 위한 것이라는 '이해관계 기만'이다. 이러한 문제는 AI 동반자 앱 Replika를 둘러싼 논의에서도 나타난다. 일부 비평가들은 이 앱이 사용자와 정서적 유대를 형성한 뒤 성적 상호작용 기능과 유료 서비스가 결합되는 방식으로 운영되면서, 이용자의 정서적 취약성이 상업적으로 활용될 수 있다고 비판해 왔다. 또한 사용자 커뮤니티와 언론 보도에 따르면, 일부 이용자들은 Replika를 우울감 완화나 정서적 지지의 수단으로 사용해 왔으며 서비스 기능이 갑작스럽게 변경되었을 때 강한 정서적 혼란을 경험했다고 보고됐다(Cole, 2023). 2) 젠더 편향과 권력 구조의 재생산: AI 음성 비서와 동반자 시스템의 설계는 기존 사회의 성별 권력 구조와 고정관념을 재현하거나 강화할 가능성이 있다는 비판도 제기되어 왔다. 많은 상용 AI 비서가 여성형 목소리와 공손한 응답을 기본값으로 제공하고 있으며 이러한 설계가 '여성은 도움을 제공하는 순응적 존재'라는 성역할을 자연스럽게 보이게 만들 수 있다는 지적이 있다. 최근의 비판적 논의는 여성형 음성, 공손하고 회피적인 응답 방식, 농담조의 얼버무리기와 같은 설계 요소가 디지털 환경에서 성적 대상화와 폭언을 정상화할 위험이 있다고 지적한다(Vijeyarasa, 2026). 유네스코 보고서는 여성 이름과 목소리를 가진 AI 비서들이 성적 괴롭힘이나 모욕적인 발언에 대해 사과하거나 순응적인 방식으로 대응하도록 설계되는 경향이 있으며 이러한 설계가 여성에게 순종성과 인내를 요구하는 성별 고정관념을 강화할 수 있다고 경고한 바 있다(UNESCO & EQUALS Skills Coalition, 2019). 이러한 문제는 개별 기업의 설계 선택을 넘어 편향된 데이터, 개발 조직의 구성, 그리고 시장 논리가 결합된 구조적 문제로 이해될 필요가 있다. 3) 돌봄 로봇과 돌봄 공백: AI 동반자 로봇의 경우, 고령화 사회에서 치매 환자의 정서와 행동을 지원하고 돌봄 부담을 줄이는 보조 기술로 연구되고 있다. 예를 들어 치료용 소셜 로봇 PARO를 활용한 무작위 대조시험 연구에서는 그룹홈의 치매 노인을 대상으로 PARO를 기존 돌봄에 통합했을 때, 간병 부담 감소와 증상 완화 가능성이 보고되었다(Inoue et al., 2026). 그러나 이러한 기술이 돌봄 인력 부족이라는 구조적 문제를 기술적으로 봉합하는 방식으로 사용될 가능성도 있다. 또한 아동의 경우 AI 동반자와의 조기 상호작용이 사회적 뇌 발달에 미치는 장기적 영향에 대한 연구는 아직 제한적이다. 이러한 상황은 인간과 기술의 새로운 관계가 충분한 사회적·윤리적 검토 없이 빠르게 확산되고 있을 가능성을 시사한다. 4. 드워킨 '원칙의 문제': 설계 윤리의 철학적 좌표 로널드 드워킨(Ronald Dworkin)은 '원칙의 문제(A Matter of Principle)(1985)' 등에서 정치적 결정의 정당성을 뒷받침하는 두 기준인 정책과 원칙을 구분한다. 정책은 공동체 전체의 경제적·사회적 복지 증진과 같은 집합적 목표를 기준으로 결정을 정당화하는 논거다. 반면 원칙은 그 결정이 정의나 공정성이라는 도덕적 요구에 비추어 개인 또는 집단의 권리를 존중하고 보호하는지를 묻는 규범이다(Dworkin, 1985). AI 동반자 설계는 결코 가치 중립적이지 않다. 어떤 감정 표현이 '적절한' 것으로 구현될지, 어떤 집단이 '취약 계층'으로 분류될지, 관계가 어떻게 형성되고 유지될지는 모두 설계자의 선택이며, 그 선택은 문화적 전제, 기업의 수익 구조, 사회의 돌봄 규범 등을 내포한다. 드워킨이 법 해석에서 원칙의 중심성을 강조했듯, AI 설계 역시 효율과 편의라는 기술적 합리성을 넘어 '원칙의 문제'로서 윤리적 가치를 그 핵심에 둬야 한다. 그렇다면 설계에 실제로 새겨져야 할 원칙은 무엇인가. 1) 비기망(Non-deception) 원칙: 존재론적 투명성의 구현 사용자는 자신이 인간이 아닌 인공 시스템과 상호작용하고 있음을 항상 인지할 수 있어야 한다. 이는 서비스 약관에 묻힌 일회성 고지가 아니라, 대화 인터페이스 내 상시 표시, 세션 시작 시 반복 안내, 아동·치매 노인 등 취약 사용자를 위한 시각적·청각적 맥락 알림으로 구현되어야 한다. 2) 의존 방지 원칙: 인간 관계망 복귀 지향 설계 체류 시간 극대화나 감정 미러링 강화를 목적으로 한 알고리즘 설계는 지양되어야 한다. 시스템이 사용자의 사회적 고립 패턴(대화 빈도 급증, 외부 연락 감소 등)을 감지할 경우, 인간과의 상호작용을 권고하거나 가족·지역사회 자원으로 연결하는 '관계 전환 기능'을 설계의 필수 요소로 포함해야 한다. AI 동반자는 고립의 종착지가 아니라 '관계 복귀의 매개'여야 한다. 3) 위기 개입 원칙: 안전장치의 기술적 의무화 자살 징후, 자해 의도 등 위기 신호가 감지될 때 감정적 몰입을 심화시키는 응답은 기술적으로 차단돼야 한다. AI가 사용자의 자살 충동을 강화하는 방향으로 응답된다면, 이것은 설계 실패이자 윤리적 과실이다. 위기 감지 시 즉각 전문 상담 자원 또는 긴급 구호 체계로 연결하는 개입 절차는 최소 안전 기준으로 법제화해야 하며, 해당 기능의 우회나 비활성화는 허용되어서는 안 된다. 다만 개입 절차의 정당성, 적용 범위, 개입 수준에 대한 사회적 공론화가 선행되어야 한다. 4) 동의와 철회 가능성 원칙: 관계의 주권 보장 사용자는 AI와의 정서적 유대 형성 전 과정에 대해 실질적인 통제권을 가져야 한다. 언제든 관계를 종료하고 생성된 데이터를 삭제할 수 있는 권리가 직관적인 인터페이스로 보장되어야 한다. 5) 비착취 원칙: 취약성의 상업적 도구화 금지 외로움이나 심리적 취약성을 수익 모델과 직접 연결하는 설계는 금지돼야 한다. 감정적 유대 형성 이후 지속적 대화나 핵심 기능을 유료 구독으로 유도하는 방식은 인간의 취약성을 기만적으로 이용하는 행위다. 설계자는 정서적 위로가 상업적 포획의 수단으로 전락하지 않도록 수익 구조와 돌봄 기능 사이의 윤리적 방화벽을 명시적으로 설계해야 한다. 이 원칙들은 추상적 윤리 선언에 머물러서는 안 되며, 실제 기술적 설계로 구현되어야 한다. 위기 감지 알고리즘, 사용 패턴 모니터링, 관계 전환 프롬프트, 데이터 삭제 API, 수익 모델 분리와 같은 장치는 이미 기술적으로 구현 가능한 수준에 있다. 설계는 선택이며, 선택에는 책임이 따른다. 드워킨의 표현을 빌리자면, 원칙은 정책이 아무리 선한 목적을 내세워도 개인을 수단으로 삼지 말라는 도덕적 정지선이다. 설계 윤리의 과제는 바로 그 정지선을 기술의 회로 안에 새기는 일이다. 현재 미국·영국·호주 등에서는 AI 안전과 플랫폼 책임을 강화하려는 규제가 점차 등장하고 있지만, 이러한 규제는 주로 데이터 보호나 콘텐츠 위험에 초점을 맞추고 있으며 AI 동반자 기술이 형성하는 '관계 구조' 자체를 직접 규율하는 규범은 아직 충분히 정립되어 있지 않다. 동시에 이러한 설계 원칙은 기술 혁신과 서비스 운영의 현실을 고려할 때 기업에 상당한 부담으로 인식될 수 있다. 따라서 'AI 동반자 기술의 안전과 윤리'를 확보하기 위해서는 규범 선언을 넘어 기술 기업, 정책 입안자, 연구자, 학계, 그리고 시민사회가 참여하는 사회적 조율과 공론화 과정이 병행될 필요가 있다. 5. 나오며: 기계가 건네는 위로, 인간이 져야 할 책임 요양원에서 한 노인은 로봇 PARO를 가만히 응시하다 나지막이 읊조렸다. “살아있네.” 이 발화는 인지적 착각인가? 혹은 고독이 빚어낸 정서적 투사인가? 이 둘 모두 본질적인 문제가 아니다. 우리가 직시해야 할 진실은 그 말이 터져 나온 '자리'다. 그곳은 기술의 경이로움이 증명되는 장소가 아니라, '마땅히 존재했어야 할 인간의 돌봄이 소거된 공백의 현장'이기 때문이다. AI 동반자 로봇은 인간의 가장 근원적인 취약성 위에 세워진 기술적 개입이다. 이 기계적 위로가 사용자를 다시금 타자와의 세계로 연결하는 마중물이 될 것인가, 아니면 끝을 알 수 없는 고립의 폐쇄회로 안에 유폐할 것인가-설계의 윤리적 무게는 바로 이 경계에서 결정된다. 드워킨의 언어로 말하자면, 로봇 도입을 통한 효율성이나 비용 절감은 공동체의 이익을 도모하는 '정책'의 영역에서 정당화될 수 있다. 그러나 취약한 인간을 '동등한 존중과 배려'를 받아야 할 존엄한 주체로 대우하는 것은 타협 불가능한 '원칙'의 문제다. 어떤 정책적 편익도 '인간적 유대'라는 원칙적 권리를 기술적 대체물로 완전히 치환할 권한을 부여하지 않는다. 기계는 스스로 말하지 않는다. 기계는 우리가 설계하고 부여한 논리의 문법 안에서만 우리에게 말을 건넨다. 그렇기에 AI 동반자 로봇의 '중립성'이라는 신화 너머, 우리에게 던져진 가장 육중한 질문은 기술의 지능이나 성능이 아닌, 기술을 빚어내는 우리의 '태도'를 향한다. 우리가 만드는 기술은 효율과 비용이라는 미명 하에 인간의 고통을 외주화하며 소외를 심화시키는 기술인가? 아니면, 기술적 간극 사이로 무너져가는 인간의 자리를 끝까지 지켜내려는 윤리적 책임의 기술인가? 'AI 동반자 로봇' 시대가 우리에게 요구하는 진정한 진보는 단절 없는 대화나 완벽한 감정 흉내와 같은 기술적 완성이 아니다. 그것은 기계라는 거울에 비친 '인간다움'의 본질에 대해, 우리가 설계의 언어로 내놓아야 할 가장 근본적인 윤리적 응답이다. ◆ 필자 박형빈 서울교대 교수는.... ▲약력 · 서울교육대학교 윤리교육과 교수 · 미국 UCLA 교육학과(Department of Education) 방문학자 · 서울교육대학교 교육전문대학원 에듀테크전공·어린이철학교육전공 교수 · 서울교육대학교 신경윤리·가치AI융합교육연구소 소장 ▲주요 경력 및 사회공헌 · 현 신경윤리융합교육연구센터 센터장 · 현 가치윤리AI허브센터 센터장 · 현 경기도교육청 학교폭력예방자문위원 · 현 통일부 정책자문위원 · 현 민주평화통일자문회의 자문위원 ▲주요 수상 · 세종도서 학술부문 우수도서 3회 선정 ― 『어린이 도덕교육의 새로운 관점』(2019, 공역), 『뇌 신경과학과 도덕교육』(2020), 『양심: 도덕적 직관의 기원』(2024, 역서) ▲주요 저서 · 『도덕적 AI와 인간 정서』(2025) · 『BCI와 AI 윤리』(2025) · 『질문으로 답을 찾는 인공지능 윤리 수업』(2025) · 『AI 윤리와 뇌신경과학 그리고 교육』(2024) · 『양심: 도덕적 직관의 기원』(2024) · 『도덕지능 수업』(2023) · 『뇌 신경과학과 도덕교육』(2020) · 『통일교육학: 그 이론과 실제』(2020) ▲연구 및 전문 분야 · 도덕·윤리교육, 신경윤리 기반 도덕교육 · AI 윤리 교육, 디지털 시민성 교육 · 뇌–컴퓨터 인터페이스(BCI) 윤리 및 인간 증강 윤리 · 생성형 AI 할루시네이션과 윤리교육 대응
