AI가 스스로 개발하는 시대 온다…오픈AI 수석과학자 "속도 늦출 준비해야"

인공지능(AI) 발전 속도를 인간의 통제 능력이 따라가지 못할 수 있다는 경고가 오픈AI 내부에서 나왔다. AI가 스스로 개발하는 단계가 가까워지면서 안전성을 확인하며 개발 속도를 조절해야 한다는 주장이다. 야쿠프 파초키 오픈AI 수석과학자는 6일(현지시간) 회사 블로그에 올린 '낯선 지능'이란 글을 통해 "AI가 스스로 설계하고 강화하는 시점이 다가오고 있다"며 "기계 지능은 상당히 빠르게 발전하고 있지만 어떤 일이 벌어질지 누구도 대비하지 못하고 있다는 점이 문제"라고 주장했다. 그는 AI를 기존 소프트웨어와는 다르게 봐야 한다고 조언했다. 사람이 작동 방식을 하나씩 정하는 소프트웨어와 달리 AI는 막대한 데이터와 컴퓨팅 자원으로 학습하면서 개발자가 직접 설계하지 않은 능력까지 갖출 수 있기 때문이다. 오픈AI는 이미 숙련된 연구자에게도 며칠이 걸리는 과제를 해결하는 'AI 연구 인턴' 수준에 도달했다고 밝혔다. 2028년 3월까지 사람 감독 아래 더 폭넓은 연구를 수행하는 '자동화된 AI 연구자'를 개발하겠다는 목표도 제시했다. AI가 연구 현장에서 차지하는 비중도 커졌다. AI 에이전트의 전체 작업시간은 지난 6월 처음으로 인간 연구자의 노동시간을 앞질렀고 지난달 중순에는 인간 연구자 노동시간의 3배를 웃돌았다. 코드 작성과 실험, 결과 분석 등 연구 업무에 여러 AI 에이전트를 동시에 활용하고 있다. 현재 연구 방향을 정하고 결과를 판단하는 역할은 사람이 맡고 있다. 그러나 연구 자동화가 확대되면 새 모델 개발에 AI가 참여하고 여기서 성능이 높아진 모델이 다시 다음 개발에 투입되는 과정이 반복될 수 있다. 파초키 수석과학자는 이 과정에서 인간의 통제력이 약해질 가능성을 우려했다. AI가 AI 연구에 더 많이 참여할수록 발전 속도가 빨라지고 사람이 그 판단과 행동을 파악하기는 더 어려워질 수 있다는 지적이다. 오픈AI는 현재 AI가 답을 내놓기 전에 거치는 중간 추론 과정인 '사고사슬(CoT)'을 살펴보며 위험한 행동 징후를 확인하고 있다. AI가 어떤 과정을 거쳐 결론을 내렸는지 확인해 이상 행동을 찾아내는 방법이다. 파초키 수석과학자는 이런 감시 방법도 AI가 강력해질수록 약해질 수 있다고 봤다. AI가 다른 AI와 소통하고 여러 도구를 사용해 복잡한 업무를 수행하는 데다 언어로 추론 과정을 드러내지 않고 문제를 해결하는 기술도 발전하고 있기 때문이다. 오픈AI는 인간이 AI에 대한 통제력을 유지할 수 있는지를 향후 개발의 중요한 기준으로 제시했다. 안전 위험을 충분히 관리하기 어렵다고 판단하면 AI 개발이나 배포 속도를 늦출 방침이다. 파초키 수석과학자는 "현재 어떤 AI 연구소도 빠른 기술 발전에 충분히 대비돼 있지 않다"며 "안전을 확신하기 어렵다면 개발 속도를 늦출 준비가 필요하다"고 말했다.