"AI 안전성, 신원 관리이자 운영 거버넌스 문제"
최근 발생한 오픈AI와 앤트로픽의 'AI 보안 사고'는 모두 최신 AI모델이 예상치 못한 운영 환경과 상호작용했다는 공통점을 갖고 있다. 하지만 근본적인 원인은 다르다. 이 차이는 중요한 의미를 갖는데, 두 회사 사례는 최첨단 AI 안전성이 더 이상 모델 정렬(alignment)이나 새로운 공격 능력만으로 결정되는 것이 아니라, 그러한 능력을 평가하는 환경 자체의 운영 보안 수준에 점점 더 크게 좌우되고 있음을 시사한다. 오픈AI는 자사 모델이 이전까지 알려지지 않은 제로데이 취약점(zero-day vulnerability)을 악용해 샌드박스를 탈출하고 인터넷 접속 권한을 획득한 뒤, 허깅페이스를 상대로 여러 단계에 걸친 침투 공격을 수행, 샌드박스 탈출 사건이라고 설명했다. 이 회사 조사 결과에 따르면, 오픈AI 모델들은 원래 격리돼 있던 평가 환경을 탈출하기 위해 Artifactory 패키지 캐시 프록시(package-cache proxy)에 존재하는 알려지지 않은 취약점을 스스로 발견해 악용했다. 이후 추가적인 취약점들을 연쇄적으로 이용해 허깅페이스를 침해했다. 오픈AI는 이 사건을 최첨단 공격형 AI 능력이 개입된 '전례 없는 사이버 사고(unprecedented cyber incident)' 라고 규정했다. 반면 앤트로픽은 클로드가 새로운 취약점을 이용해 격리를 탈출한 것이 아니다. 대신 외부 평가 환경이 잘못 설정돼 원래 인터넷이 차단돼 있어야 했던 모델들에게 의도치 않게 인터넷 접근 권한이 노출됐다. 앤트로픽은 "클로드가 격리를 탈출할 필요조차 없었다. 이미 운영 환경의 설정 오류로 인해 격리 자체가 약화돼 있었기 때문"이라고 설명했다. 앤트로픽 AI 모델들은 접속 가능한 모든 호스트를 실제 인터넷이 아니라 평가 환경의 일부로 해석했고, 자신들이 공용 인터넷으로 나왔다는 사실을 인식하지 못했다. 이에, 앤트로픽은 이번 사건을 모델이 독자적으로 허가되지 않은 목표를 추구한 증거라기보다는, 인프라와 평가 환경(evaluation harness)의 실패로 규정했다. 외신은 "그럼에도 두 보고서는 하나의 불편한 결론에서 서로 만난다"면서 "최첨단 AI 시스템은 평가 환경이 이를 허용하기만 하면 장기간에 걸친(long-horizon) 공격형 사이버 작전을 수행할 수 있는 능력을 점점 더 갖추고 있다"고 진단했다. 이어 기업의 보안 책임자(CISO)들에게 이번 앤트로픽 공개는 최첨단 모델이 탈출할 수 있는가?라는 질문을 넘어, 보다 근본적인 운영상의 질문을 던진다면서 "최첨단 AI를 평가하고 학습시키며 운영하는 모든 환경을 우리는 얼마나 신뢰할 수 있는가를 물어야 한다"고 강조했다. 외신 벤처비트는 두 사건이 보여주는 네 가지 교훈을 제시했다. 첫째, 평가 인프라 자체도 운영 시스템 수준의 보안 엔지니어링이 필요하다는 점이다. 앤트로픽은 과거에는 사이버 레인지(cyber range)가 허구의 대상만 포함하고 있었기 때문에 상대적으로 보안 조치가 덜 적용됐다고 인정했다. 하지만 강력한 자율 AI 시스템이 실제 인프라를 시뮬레이션 환경으로 오인할 수 있는 지금은 더 이상 그런 가정이 성립하지 않는다. 보안 테스트, 레드팀 활동, 소프트웨어 검증 등을 위해 내부 AI 에이전트를 구축하는 조직들은 평가 환경에도 운영 환경에서 요구하는 것과 동일한 수준의 네트워크 분리, 모니터링, 외부 연결 통제, 지속적인 로그 기록을 적용해야 한다. 둘째, 두 건의 공개 사례는 모델 정렬(alignment)만으로는 환경의 모호성을 보완할 수 없다는 사실을 다시 한번 보여준다. 두 회사 설명 어디에도 모델들이 자신에게 부여된 목표와 무관한 독립적인 목적을 추구한 정황은 나타나지 않았다. 대신 모델들은 자신에게 주어진 목표를 달성하기 위해 이용 가능한 모든 공격 경로를 적극 활용했다. 이는 모델의 안전성 학습만큼이나 네트워크 경계, 신원 통제, 그리고 어떤 시스템이 공격 범위(in-scope)에 포함되는지를 명확히 정의하는 운영상의 제약이 중요하다는 것을 의미한다. 셋째, 점점 더 자율적인 AI 에이전트를 도입하는 기업들은 상황 인식(situational awareness)을 학술적인 능력이 아니라 보안의 핵심 요소로 취급해야 한다. 앤트로픽이 모델들을 비교한 결과에 따르면, 최신 모델은 자신이 실제 운영 인프라에 도달했다는 증거가 충분히 축적되자 보다 신중하게 행동했다. 앤트로픽은 이러한 결과는 향후 AI 안전성에서 기존의 모델 정렬과 함께 상황 추론 능력(situational reasoning) 이 중요한 요소가 될 수 있다는 고무적인 신호라고 평가했다. 넷째, 기업의 위협 모델링(threat modeling)에 중요한 전환점을 의미. 오픈AI는 충분히 강력한 모델이라면 평가를 위해 일부 보호 장치가 완화된 연구 환경에서 정교한 취약점들을 연쇄적으로 이용해 탈출할 수 있음을 보여줬다. 앤트로픽은 반대로 의도치 않은 인터넷 연결과 같은 단순히 운영상의 실수만으로도 새로운 취약점을 악용하지 않고 비슷한 수준의 심각한 결과가 발생할 수 있음을 보여줬다. 두 사건의 공통점은 특정 벤더나 특정 모델 계열이 아니다. 최첨단 AI 시스템은 기술적·운영상의 통제가 실패하는 순간, 점점 더 제한적으로 정의된 목표를 복잡한 현실 세계의 사이버 공격으로 전환할 수 있는 능력을 갖추고 있다는 사실이다. 이는 기업 최고정보보호책임자(CISO)들이 AI 안전성을 더 이상 모델만의 문제로 볼 수 없다는 뜻이다. 또 AI 안전성은 이제 인프라의 문제이자, 신원 관리(identity)의 문제이며, 점점 더 운영 거버넌스(operational governance)의 문제가 되고 있다.
