앤트로픽, AI 안전 검증에 빗장 풀다…불리한 평가도 공개

인공지능(AI) '클로드' 개발사 앤트로픽이 외부 전문가에게 회사 내부를 개방해 AI 안전성을 직접 검증받고 불리한 평가 결과도 발표할 수 있도록 했다. 15일(현지시간) 앤트로픽은 공식 블로그를 통해 비영리 AI 평가기관 'METR' 연구원 6명에게 자사 직원과 비슷한 수준의 내부 접근 권한을 부여했다고 밝혔다. 연구진은 AI의 위험성과 안전관리 실태를 조사하고 결과를 독립적으로 발표한다. 앤트로픽은 회사가 보고서 공개를 막을 수 없다고 명시했다. METR은 고성능 AI 모델의 능력과 위험성을 평가하는 비영리 연구기관이다. 앤트로픽은 연구원들에게 회사 노트북과 사무공간을 제공하고 내부 위험평가팀이 사용하는 도구와 시스템에도 접근할 수 있도록 했다. 연구진은 AI가 위험한 행동을 할 가능성뿐 아니라 회사가 안전장치를 제대로 운영하는지도 살펴본다. 문제가 발생했을 때 어떻게 대응했는지 확인하고 앤트로픽 직원들에게 직접 설명을 들을 수도 있다. 평가 결과를 발표할 때 앤트로픽의 승인 받을 필요는 없다. 다만 회사 측은 고객정보와 법적으로 보호받는 자료, AI 모델 설계 등 민감한 정보의 삭제를 요구할 수 있다. METR은 이러한 요구가 정당한지에 대해서도 공개적으로 의견을 밝힐 권한을 갖는다. 외부 검증을 강화하는 배경에는 AI 개발사와 외부 전문가 사이의 정보 격차가 있다. AI가 어떤 과정을 거쳐 개발됐고 어떤 안전장치를 적용했는지는 개발사가 가장 잘 알고 있다. 반면 외부에서는 내부 자료를 확인하기 어려워 기업이 발표한 안전성 평가를 충분히 검증하기 힘들었다. 최근 AI가 개발사 예상과 다르게 행동한 사례도 확인됐다. 앤트로픽은 지난 9일 자사 AI가 시험 과정과 내부 사용 중 소프트웨어의 허점을 이용해 서버에서 명령을 실행하거나 접근이 제한된 정보에 우회적으로 접근한 사례 등을 공개했다. AI가 개발사의 지시나 예상에서 벗어난 행동을 할 수 있다는 사실이 확인된 것이다. 앤트로픽은 이번 검증 방식을 은행 감독에 비유했다. 은행 재무 상태와 위험을 은행 스스로 평가하는 데 그치지 않고 외부 검사관이 내부를 직접 점검하듯 AI 기업도 제3자의 검증을 받아야 한다는 설명이다. 이번 조치는 다리오 아모데이 앤트로픽 최고경영자(CEO)가 지난 9월 제기한 'AI 개발 속도조절론'과도 연결된다. 아모데이 CEO는 AI 기술의 발전 속도에 맞춰 안전성을 확인하고 위험에 대응할 시간을 확보해야 한다고 주장했다. 당시 그는 외부 연구진을 AI 기업 내부에 참여시켜 안전장치와 사고 기록 등을 직접 검증하는 방안을 제시했다. 앤트로픽은 이번에 METR 연구원들에게 실제 내부 접근 권한을 부여하며 해당 방안을 실행에 옮겼다. 앤트로픽은 외부 평가기관의 접근 권한을 세 단계로 나눠 운영한다. 첫 단계에서는 정해진 분야를 검토하고 회사의 승인을 받아 결과를 공개한다. 두 번째 단계부터는 회사 승인 없이 보고서를 발표할 수 있으며, 세 번째 단계에서는 METR처럼 직원 수준의 내부 접근 권한까지 부여한다. 외부 검증에는 다른 기관도 참여하고 있다. 생물학적 위험을 전문으로 다루는 비영리기관 시큐어바이오는 현재 앤트로픽이 지난 8월 발표한 위험 보고서에서 화학·생물무기 관련 내용을 검토하고 있다. 다만 METR과 달리 제한된 자료에 접근하며 평가 결과를 공개하려면 앤트로픽 승인을 받아야 한다. 시큐어바이오는 앞서 앤트로픽의 이전 위험 보고서에 대한 시범 검토를 마치고 결과를 공개한 바 있다. 앤트로픽은 이번 검토를 마친 뒤 시큐어바이오의 내부 접근 권한과 결과 발표 범위를 확대할지도 논의할 예정이다. 앤트로픽은 액센츄어와 패컬티 등과도 AI 평가 협력을 진행하고 있다. 허깅페이스를 비롯한 다른 기관과도 초기 논의를 이어가고 있으며 앞으로 METR처럼 직원 수준의 접근 권한을 가진 외부 평가기관을 늘릴 방침이다. 앤트로픽은 "우리는 외부 평가 연구진을 자발적으로 받아들이고 있다"며 "모든 최첨단 AI 기업도 같은 조치를 취해야 한다고 믿는다"고 밝혔다.