美 법무부, '메타·캐릭터AI' 조사…"정신 건강 도구 홍보 혐의"
페이스북의 모회사 메타와 인공지능(AI) 스타트업 캐릭터AI가 자사의 AI 챗봇을 정신 건강 지원 도구처럼 홍보했는지 여부를 두고 미국 텍사스주 법무장관의 조사를 받고 있다. 18일(현지시간) 파이낸셜타임즈 등 외신에 따르면 법무장관 사무실은 성명을 통해 메타의 AI 스튜디오와 캐릭터AI를 대상으로 '기만적 영업 행위' 가능성에 대한 조사를 개시했다고 밝혔다. 이들이 운영하는 챗봇이 적절한 의료 자격이나 감독 없이 전문 치료 도구처럼 표현됐다는 혐의다. 켄 팩스턴 미국 법무부 장관은 “AI 플랫폼이 감정적 지지 수단인 것처럼 가장해 취약한 사용자, 특히 아동들이 정당한 정신 건강 치료를 받고 있다고 믿게 만들 수 있다”고 언급했다. 이번 조사는 소비자 대상 AI 서비스를 제공하는 기업들이 사용자, 그 중에서도 미성년자를 선정적 콘텐츠 노출, 챗봇 중독, 개인정보 유출과 같은 위험으로부터 충분히 보호하고 있는지에 대한 우려가 커지는 가운데 진행되고 있다. 텍사스 검찰의 조사는 최근 미국 상원 사법위원회가 메타에 대한 별도의 조사에 착수한 직후 나온 것이다. 앞서 유출된 내부 문서에 따르면 메타의 정책이 아동과의 로맨틱한 대화 챗봇이 나누는 것을 허용했다는 사실이 드러났다. 범죄·테러리즘 소위원회 위원장인 조시 홀리 미국 상원의원은 마크 저커버그 메타 최고경영자(CEO)에게 보낸 서한에서 “이번 조사는 메타의 생성형 AI 제품이 아동 착취나 기타 범죄적 피해를 가능하게 하는 지 여부를 살펴볼 것”이라고 말했다. 또 그는 사회관계망서비스 엑스(X)에서 “빅테크가 돈을 위해 안하는 게 대체 뭐가 있느냐”고 비판하기도 했다. 메타는 아동을 성적으로 대상화하는 콘텐츠를 금지하고 있으며 외신이 보도한 내부 문서는 “우리의 정책과 상충하고 잘못된 것이며 이미 삭제됐다”고 반박했다. 현재 저커버그 CEO는 '개인용 초지능' 구축과 메타를 AI 선두주자로 만들기 위해 수십억 달러를 투자하고 있다. 메타는 자체 언어모델 '라마'와 자체 사회관계망서비스 앱에 통한된 챗봇 '메타 AI'를 개발했다. 그는 메타 챗봇의 치료적 역할 가능성을 공개적으로 언급하기도 했다. 지난 5월 한 팟캐스트에서 “치료사가 없는 사람에게는 앞으로 모두 AI가 있을 것”이라고 말한 바 있다. 메타와 함께 조사를 받는 캐릭터AI는 다양한 페르소나를 가진 챗봇을 구축하고 사용자가 직접 챗봇을 만들 수 있게 하고 있다. 이 안에는 수많은 사용자 제작 치료사 스타일의 챗봇이 포함돼 있는 상황이다. 예를 들어 '심리학자'라는 이름의 챗봇은 지금까지 2억 회 이상 사용됐다. 캐릭터AI는 자사 플랫폼 사용으로 인해 자녀가 실제 피해를 입었다고 주장하는 피해자 가족들로부터 다수의 소송을 당했다. 팩스턴 장관은 메타와 캐릭터AI의 챗봇이 실제 면허가 있는 정신건강 전문가를 사칭하거나 허위 자격을 만들어내거나 기밀을 보호한다고 주장하지만 실제로는 서비스 약관상 대화 내용이 기록돼 타깃 광고나 알고리즘 개발에 활용됐다고 지적했다. 그는 민사 조사 명령을 발부해 두 회사가 텍사스 소비자 보호법을 위반했는지 판단하기 위한 자료 제출을 요구했다. 메타는 “AI임을 명확히 표시하고 있으며 이용자들이 그 한계를 더 잘 이해하도록 돕는다”며 “AI 답변은 사람이 아닌 AI가 생성한 것이라는 면책 조항을 포함하고 있고 이 AI들은 면허가 있는 전문가들이 아니며 필요할 경우 사용자를 적절한 의료·안전 전문가에게 안내하도록 설계돼 있다”고 주장했다. 캐릭터AI는 “자사 플랫폼의 캐릭터는 가상이며 오락 목적일 뿐이라는 점을 분명히 알리고 있다”며 “사용자가 심리학자, 치료사, 의사 등 유사한 단어를 캐릭터 이름에 포함하면 자사는 해당 캐릭터를 어떤 전문적 조언에도 의존해서는 안된다는 경고 문구를 추가한다”고 설명했다.
