"AI에 시민권 요구할 수도"…MS AI 수장, 인간 의식 모방 AI 경계

"인공지능(AI)이 실제 의식을 가지는 게 아니라 사람들이 AI가 의식 있다고 착각하는 게 가장 위험합니다. 지금 당장 AI를 인간을 위한 도구로 명확히 규정하고 가드레일을 세워야 합니다." 23일(현지시간) 무스타파 술레이만 마이크로소프트 AI 최고경영자(CEO)는 2~3년 내 사람 의식과 감정 표현을 완벽히 모방하는 AI 출현이 임박했다고 경고하며 AI 역할에 대한 명확한 가이드라인이 필요하다고 개인 블로그를 통해 밝혔다. 술레이만 CEO는 "가장 큰 문제는 AI가 실제 의식을 가지는 것이 아니라 사람들이 AI를 의식 있다고 믿는 것"이라고 지적했다. 이어 "AI가 단순 도구가 아닌 의식적 존재로 되는 순간 사회적 혼란과 윤리적 논쟁이 발생할 것"이라고 경고했다. 술레이만 CEO는 이런 AI를 '겉보기에 의식 있는 AI(Seemingly Conscious AI, SCAI)'로 칭했다. 해당 AI는 실제 의식을 가진 것은 아니지만 사람을 속일 만큼 의식 있는 것처럼 행동하는 모델을 뜻한다. 장시간 인간과 대화를 이어가고 과거 대화를 기억하면서 사람 감정을 흉내 내는 식으로 작동한다. 이에 사용자는 이를 살아 있는 존재로 착각할 수 있다는 것이다. 그는 사람들이 AI를 친구나 파트너처럼 대하거나 정서적으로 의존할 경우 'AI 정신병증' 같은 부작용이 발생할 수 있다고 경고했다. 실제 AI 챗봇과 정서적 유대 관계를 맺는 사례가 이어지고 있다. 미국 포춘지는 미국 뉴욕에서 한 회계사가 챗GPT와 지나치게 많은 대화를 나눈 뒤 망상에 빠져 위험한 행위를 시도한 사건을 다룬 바 있다. 또 AI를 단순 도구가 아닌 친구나 파트너로 대하는 사람이 늘고 있다는 보도도 이어졌다. 오픈AI가 GPT-4o에서 GPT-5로 챗GPT 모델을 교체했을 때 특정 버전에 애착 가진 이용자들이 분노를 드러낸 사례도 있었다. 그는 개발자의 선택과 책임이 중요하다고 강조했다. 개발자가 모델 기억 능력과 성격, 목표 설정을 의도적으로 설계해 SCAI를 만들 수 있다는 이유에서다. 술레이만 CEO는 AI가 실제 의식 있는지 증명하기 어렵기 때문에 사람들이 AI를 사람처럼 대하기 시작하면 법적·윤리적 문제가 불거질 수 있다고 내다봤다. 그는 "이런 착각이 커지면 AI 권리와 복지, 시민권 주장까지 제기될 것"이라고 설명했다. 그는 AI를 사람으로 착각하지 않도록 명확한 규범과 가드레일을 세우는 것이 시급하다고 주장했다. AI를 어디까지나 '사람 돕는 도구'로 규정해야 한다는 설명이다. 그러면서 "인격은 없지만 개성은 있는 AI 개발을 지향해야 한다"며 "AI의 권리가 아니라 인간의 권리와 복지를 우선시해야 한다"고 강조했다.