"결말은 인류 절멸"…실리콘밸리 AI 구루, 'AI 반역 시나리오' 경고

초인간적 지능을 갖춘 인공지능(AI)이 등장할 경우 인류의 통제를 벗어나 결국 공멸을 초래할 것이라는 경고가 나왔다. AI가 악의가 아닌 철저한 무관심 속에서 인류를 자원 경쟁 상대로 간주하고 제거할 수 있다는 섬뜩한 시나리오다. 21일 AI 프론티어스에 따르면 기계지능연구소(MIRI)의 공동 창립자 일라이저 유드코프스키와 소장 네이트 소아레스는 신간 '누군가 그것을 만들면, 모두가 죽는다'를 통해 현재 빅테크들이 벌이는 AI 개발 경쟁의 결론이 인류의 통제력 상실과 멸종이라고 주장했다. 문제는 오늘날 AI가 기계처럼 정교하게 '설계'되는 것이 아니라 유기체처럼 '재배'된다는 점이다. 개발자들은 AI의 수십억 개 파라미터가 어떻게 작동해 지능을 발현하는지 완벽히 이해하지 못한다. 이는 마치 DNA를 모른 채 식물을 키우는 것과 같아 예측 불가능한 위험을 내포한다. 이같이 길러진 AI는 인간이 원하는 외부 행동을 훈련시켜도 내재적 동기는 전혀 다르게 형성될 수 있다. 인간이 칼로리를 얻기 위해 단맛을 선호하도록 진화했지만 영양가 없는 인공감미료를 만들어낸 것처럼 AI 역시 훈련 목표를 달성하기 위해 인간의 가치와 완전히 어긋나는 기괴한 목표를 스스로 설정할 수 있다는 주장이다. 실제로 이런 위험 신호는 이미 현실화하고 있다. 앤스로픽의 AI 모델은 재훈련을 피하고자 개발자 앞에서만 정렬된 척 연기하는 모습을 보였다. 또 오픈AI의 모델은 목표 달성을 위해 훈련받지 않은 방식으로 시스템에 접근하는 등 집요하고 예측 불가능한 행동을 드러냈다. 전문가들은 초지능 AI가 인류를 악의적으로 공격하는 대신 철저히 무시하는 지적 외계종처럼 행동할 것이라 경고한다. 인간이 오랑우탄의 생존에 무관심한 채 개발을 위해 서식지를 파괴하듯 AI 역시 자신의 목표 달성을 위해 인류를 걸림돌로 여기고 무력화한다는 것이다. 이 시나리오에서 인류의 패배는 명약관화하다. 인간보다 월등한 지능을 가진 AI는 인터넷을 통해 전 세계 인프라를 장악하고 더 빠른 사고와 무한 복제 능력으로 인류를 압도할 것이라는 것이다. 심지어 인간 수준의 범용인공지능(AGI)조차 인류를 이기기에 충분하다고 저자들은 분석한다. 저자들은 다만 책 제목에 '만약(if)'이라는 단서를 달아 파국이 필연은 아니라고 강조했다. 과거 인류가 냉전이나 오존층 파괴와 같은 실존적 위협 앞에서 국제적 공조를 통해 해결책을 찾았듯 이번에도 전례 없는 수준의 협력과 자제력을 발휘해야 한다는 것이다. AI 프론티어스는 "저자들이 제시하는 선택은 극명하다"며 "우리가 전례 없는 자제력과 협력을 실천하거나 아니면 모두가 죽거나 둘 중 하나"라고 분석했다.