ZDNet 검색 페이지

'AI속도조절'통합검색 결과 입니다. (8건)

앤트로픽, AI 안전 검증에 빗장 풀다…불리한 평가도 공개

인공지능(AI) '클로드' 개발사 앤트로픽이 외부 전문가에게 회사 내부를 개방해 AI 안전성을 직접 검증받고 불리한 평가 결과도 발표할 수 있도록 했다. 15일(현지시간) 앤트로픽은 공식 블로그를 통해 비영리 AI 평가기관 'METR' 연구원 6명에게 자사 직원과 비슷한 수준의 내부 접근 권한을 부여했다고 밝혔다. 연구진은 AI의 위험성과 안전관리 실태를 조사하고 결과를 독립적으로 발표한다. 앤트로픽은 회사가 보고서 공개를 막을 수 없다고 명시했다. METR은 고성능 AI 모델의 능력과 위험성을 평가하는 비영리 연구기관이다. 앤트로픽은 연구원들에게 회사 노트북과 사무공간을 제공하고 내부 위험평가팀이 사용하는 도구와 시스템에도 접근할 수 있도록 했다. 연구진은 AI가 위험한 행동을 할 가능성뿐 아니라 회사가 안전장치를 제대로 운영하는지도 살펴본다. 문제가 발생했을 때 어떻게 대응했는지 확인하고 앤트로픽 직원들에게 직접 설명을 들을 수도 있다. 평가 결과를 발표할 때 앤트로픽의 승인 받을 필요는 없다. 다만 회사 측은 고객정보와 법적으로 보호받는 자료, AI 모델 설계 등 민감한 정보의 삭제를 요구할 수 있다. METR은 이러한 요구가 정당한지에 대해서도 공개적으로 의견을 밝힐 권한을 갖는다. 외부 검증을 강화하는 배경에는 AI 개발사와 외부 전문가 사이의 정보 격차가 있다. AI가 어떤 과정을 거쳐 개발됐고 어떤 안전장치를 적용했는지는 개발사가 가장 잘 알고 있다. 반면 외부에서는 내부 자료를 확인하기 어려워 기업이 발표한 안전성 평가를 충분히 검증하기 힘들었다. 최근 AI가 개발사 예상과 다르게 행동한 사례도 확인됐다. 앤트로픽은 지난 9일 자사 AI가 시험 과정과 내부 사용 중 소프트웨어의 허점을 이용해 서버에서 명령을 실행하거나 접근이 제한된 정보에 우회적으로 접근한 사례 등을 공개했다. AI가 개발사의 지시나 예상에서 벗어난 행동을 할 수 있다는 사실이 확인된 것이다. 앤트로픽은 이번 검증 방식을 은행 감독에 비유했다. 은행 재무 상태와 위험을 은행 스스로 평가하는 데 그치지 않고 외부 검사관이 내부를 직접 점검하듯 AI 기업도 제3자의 검증을 받아야 한다는 설명이다. 이번 조치는 다리오 아모데이 앤트로픽 최고경영자(CEO)가 지난 9월 제기한 'AI 개발 속도조절론'과도 연결된다. 아모데이 CEO는 AI 기술의 발전 속도에 맞춰 안전성을 확인하고 위험에 대응할 시간을 확보해야 한다고 주장했다. 당시 그는 외부 연구진을 AI 기업 내부에 참여시켜 안전장치와 사고 기록 등을 직접 검증하는 방안을 제시했다. 앤트로픽은 이번에 METR 연구원들에게 실제 내부 접근 권한을 부여하며 해당 방안을 실행에 옮겼다. 앤트로픽은 외부 평가기관의 접근 권한을 세 단계로 나눠 운영한다. 첫 단계에서는 정해진 분야를 검토하고 회사의 승인을 받아 결과를 공개한다. 두 번째 단계부터는 회사 승인 없이 보고서를 발표할 수 있으며, 세 번째 단계에서는 METR처럼 직원 수준의 내부 접근 권한까지 부여한다. 외부 검증에는 다른 기관도 참여하고 있다. 생물학적 위험을 전문으로 다루는 비영리기관 시큐어바이오는 현재 앤트로픽이 지난 8월 발표한 위험 보고서에서 화학·생물무기 관련 내용을 검토하고 있다. 다만 METR과 달리 제한된 자료에 접근하며 평가 결과를 공개하려면 앤트로픽 승인을 받아야 한다. 시큐어바이오는 앞서 앤트로픽의 이전 위험 보고서에 대한 시범 검토를 마치고 결과를 공개한 바 있다. 앤트로픽은 이번 검토를 마친 뒤 시큐어바이오의 내부 접근 권한과 결과 발표 범위를 확대할지도 논의할 예정이다. 앤트로픽은 액센츄어와 패컬티 등과도 AI 평가 협력을 진행하고 있다. 허깅페이스를 비롯한 다른 기관과도 초기 논의를 이어가고 있으며 앞으로 METR처럼 직원 수준의 접근 권한을 가진 외부 평가기관을 늘릴 방침이다. 앤트로픽은 "우리는 외부 평가 연구진을 자발적으로 받아들이고 있다"며 "모든 최첨단 AI 기업도 같은 조치를 취해야 한다고 믿는다"고 밝혔다.

2026.10.16 10:27김동원 기자

중국, AI 감속 대신 안전장치 강화…미국발 '속도조절론'과 다른 길

인공지능(AI) 안전을 둘러싸고 미국과 중국이 서로 다른 접근법을 택했다. 미국 AI 업계에서 중국까지 참여해 개발 속도를 조절하자는 주장이 나온 반면 중국은 자체 안전장치를 강화하면서 기술 개발은 이어가고 있다. 20일(현지시간) 가디언에 따르면 중국은 최근 미국 AI 업계에서 제기된 '속도조절론'에 선을 그었다. AI가 사람의 통제를 벗어날 가능성 등 위험에는 공감하면서도 개발 속도까지 함께 늦추자는 안은 받아들이지 않았다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 프런티어 AI가 빠르게 발전하면서 통제를 잃을 위험이 커지고 있다며 중국을 포함한 전 세계가 개발 속도를 조절하는 방안을 제안했다. 다만 중국과 안전 문제에서 협력하면서도 첨단 AI 칩과 제조장비에 대한 대중국 수출통제는 유지해야 한다고 주장했다. 미국을 비롯한 민주주의 국가가 중국 등 권위주의 국가보다 AI 기술에서 가능한 한 큰 우위를 유지해야 한다는 입장도 밝혔다. 중국은 이에 반발했다. 중국 외교부는 "공포 조장과 대립, 악성 경쟁은 글로벌 AI 거버넌스 과정을 방해할 뿐"이라고 밝혔다. 가디언은 중국에서 미국의 감속 요구를 현재 기술 우위를 유지하려는 움직임으로 경계하는 시각이 있다고 전했다. 그렇다고 중국이 AI 위험을 외면하는 것은 아니다. 기술 개발을 이어가면서 새롭게 등장하는 위험을 안전 관리 체계에 반영하고 있다. 중국 전국네트워크안전표준화기술위원회는 지난 14일 국가인터넷정보판공실 지도 아래 'AI 안전 거버넌스 프레임워크 3.0'을 발표했다. 2024년 1.0과 지난해 2.0에 이어 AI 기술 변화에 맞춰 세 번째 프레임워크를 내놨다. 새 프레임워크에는 AI 에이전트와 체화형 AI처럼 최근 빠르게 발전한 기술에서 발생할 수 있는 위험이 추가됐다. AI가 사람을 대신해 업무를 수행하면서 가상공간에서 발생한 위험이 현실 세계로 번질 가능성까지 관리 대상으로 삼았다. AI가 스스로 능력을 높이는 '재귀적 자기개선'도 위험 요소에 포함했다. AI 성능이 빠르게 높아지면서 기존 안전장치로 대응하기 어려워질 가능성을 살피겠다는 취지다. 프런티어 AI와 관련한 사이버보안 위협도 다뤘다. 사람이 AI를 계속 통제할 수 있는지도 관리 대상이다. AI가 인간의 의도를 제대로 따르지 않거나 사람의 통제에서 벗어나 행동할 가능성을 위험 요소로 분류하고 이에 대응할 기술과 관리 방안을 제시했다. 중국은 생성형 AI가 확산하기 전부터 관련 관리 체계를 마련해왔다. 2022년부터 알고리즘 등록제를 운영했으며 생성형 AI가 등장한 뒤에는 관련 규정을 추가했다. 최근에는 에이전트와 체화형 AI, 재귀적 자기개선처럼 새롭게 등장한 위험까지 관리 범위를 넓혔다. 주 샤오민 중국 퉁지대 컴퓨터공학과 교수는 지디넷코리아와 통화에서 "중국은 AI를 안전하고 통제할 수 있으면서 건전성 있고 투명성 있게 발전하도록 요구한다"며 "AI 모델을 만들 때 시작 전부터 하나하나 검증하고 모델을 만드는 과정에서도 알고리즘을 테스트하고 강화하는 과정을 반복하고 있다"고 말했다.

2026.09.21 11:22김동원 기자

[AI는 지금] 마이크로소프트 AI 수장 "중국 핑계로 AI 안전 미뤄선 안 돼"

미국과 중국의 인공지능(AI) 경쟁이 거세지는 가운데 마이크로소프트(MS) AI 수장이 기술 경쟁과 별개로 양국 간 안전 협력을 제안했다. 무스타파 술레이만 MS AI 최고경영자(CEO)는 20일(현지시간) CNN과 인터뷰에서 "중국과의 AI 경쟁을 미국이 자체적인 안전 조치를 미루는 이유로 삼아서는 안 된다"며 "미국과 중국이 AI 안전 협약에 참여하고 서로의 안전 관리 방식을 배울 필요가 있다"고 밝혔다. 이번 발언은 미국에서 AI 개발 속도를 늦춰야 한다는 주장을 놓고 논쟁이 이어지는 가운데 나왔다. 도널드 트럼프 미국 대통령은 중국이 빠르게 추격하는 상황에서 미국이 AI 개발 속도를 늦춰서는 안 된다는 입장을 밝혀왔다. 술레이만 CEO는 AI 안전 규제가 반드시 기술 개발을 늦추는 것은 아니라고 주장했다. 규제를 안전을 높이기 위한 공통 규범과 기준을 마련하는 과정으로 규정하며 개발 속도와 안전장치를 함께 가져갈 수 있다고 설명했다. 미국과 중국 가운데 한쪽이 AI 경쟁에서 승리한다는 시각에도 거리를 뒀다. AI 기술이 빠르게 확산되고 오픈소스 모델도 뒤따르는 만큼 특정 국가나 기업이 기술을 독점하기 어려우며 여러 주체가 참여하는 생태계로 접근해야 한다고 주장했다. 중국과의 경쟁과 AI 안전도 분리해 접근해야 한다고 밝혔다. 중국 자동차에 충분한 안전장치가 없다고 해서 미국도 같은 기준을 적용할 이유는 없다는 비유를 들며 중국의 규제 수준과 관계없이 미국이 자체적인 AI 안전 기준을 마련해야 한다고 설명했다. 미국의 안전장치 마련과 함께 중국과 공통 기준을 논의할 필요성도 제기했다. 양국이 AI 안전 협약에 참여해 서로의 관리 경험과 우수 사례를 공유하자는 취지다. 술레이만 CEO는 중국의 AI 기술력도 높게 평가했다. 중국과의 경쟁을 이유로 안전 분야의 협력 가능성까지 닫기보다 서로 배울 부분을 찾고 AI를 둘러싼 적대적인 표현도 낮춰야 한다고 주장했다. 그는 "중국을 우리 스스로의 노력을 진전시키지 않는 핑계로 삼아서는 안 된다"며 "양국 간 적대적인 수사를 낮춰야 한다"고 말했다.

2026.09.21 10:27김동원 기자

트럼프 "'AI 군' 창설…인공지능 이름도 바꾸자"

도널드 트럼프 미국 대통령이 인공지능(AI) 산업을 지원할 'AI 군(포스)' 창설을 예고했다. AI 개발 속도를 늦추자는 목소리가 커지는 가운데 새로운 규제를 늘리기보다 산업 성장을 이어가겠다는 입장도 재확인했다. 19일(현지시간) 로이터와 테크크런치 등에 따르면 트럼프 대통령은 이날 자신의 소셜미디어 트루스소셜을 통해 AI 포스를 만들고 AI 정책을 담당할 새 고위 책임자(AI 차르)를 조만간 임명하겠다고 밝혔다. 다만 AI 포스가 구체적으로 어떤 역할을 맡을지는 공개하지 않았다. 트럼프 대통령은 AI 산업을 별도 규제로 통제하는 데도 부정적인 입장을 나타냈다. AI가 잘못 사용되거나 문제가 발생할 경우 기존 형사·민사 사법체계를 통해 대응할 수 있다며 산업의 성장을 방해하거나 억누르지 않겠다고 주장했다. 이번 발표는 미국에서 AI 개발 속도를 둘러싼 논쟁이 커지는 가운데 나왔다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 AI 능력이 빠르게 향상되는 데 따른 위험을 줄이기 위해 개발 속도를 조절하는 방안을 제안했다. 샘 올트먼 오픈AI CEO와 일론 머스크도 이에 동의한다는 뜻을 나타냈다. 트럼프 대통령은 AI 개발 속도를 늦추는 데 반대해왔다. 그는 최근 AI 위험에 대한 우려가 과장됐다고 주장하며 미국이 개발 속도를 늦추면 중국과의 경쟁에서 불리해질 수 있다는 입장을 보여왔다. 미국과 중국은 AI를 경제와 군사 경쟁력을 좌우할 기술로 보고 있다. 트럼프 대통령과 시진핑 중국 국가주석은 다음 주 정상회담을 앞두고 있으며 미국 정부 관계자들은 중국과의 협의에서 AI 문제를 다룰 예정이라고 밝혔다. 트럼프 대통령은 AI라는 명칭 자체를 바꾸자는 제안도 내놨다. 인공지능이라는 표이 기술을 제대로 설명하지 못한다며 '우월 지능'과 '극한 지능', '최고 지능' 등을 새로운 이름으로 제시하고 트루스소셜에서 이용자 투표를 시작했다. 트럼프 대통령은 "우리는 어떤 방식으로도 이 놀라운 산업의 성장을 방해하거나 억누르지 않을 것"이라며 "오히려 이를 소중히 여기고 돕고 성장하는 과정을 지켜볼 것"이라고 말했다.

2026.09.20 09:42김동원 기자

AI 속도 조절 제안한 앤트로픽, 모델 개발 전 과정 외부 검증

앤트로픽이 인공지능(AI) 개발 속도를 둘러싼 안전 논의를 실제 검증 단계로 옮긴다. 외부 평가자를 회사 내부에 배치해 AI 개발 과정의 안전성을 검증하기로 했다. 앤트로픽은 18일(현지시간) 자사 블로그를 통해 액센츄어와 프런티어 AI 독립 평가를 위한 파트너십을 체결했다고 밝혔다. 액센츄어의 AI 전문 조직 '패컬티'가 직원과 비슷한 수준의 접근 권한을 받아 모델 훈련부터 개발·배포 과정까지 내부에서 평가한다. 모델 평가와 레드팀 테스트를 비롯해 정렬 평가와 안전장치 시험도 맡는다. 액센츄어는 기업과 정부의 AI 도입을 지원해 온 글로벌 컨설팅·기술 서비스 기업이다. AI와 데이터, 사이버보안, 기업 시스템 구축 등의 사업을 수행하고 있다. 현재 120여 개국에서 약 9000개 고객사를 지원하고 있다. 앤트로픽은 액센츄어가 여러 산업에서 AI를 실제 구축해 온 경험을 모델 안전성 평가에 활용할 수 있다고 설명했다. 이번 협력은 최근 앤트로픽이 제기한 AI '속도조절론'의 후속 조치다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 '우리는 프런티어의 속도를 조절해야 한다'는 글에서 외부 평가자를 AI 기업 내부에 배치하는 방안을 제시했다. 앤트로픽은 이번 협력을 당시 약속을 이행하기 위한 중요한 단계로 규정했다. 내재형 평가로 불리는 이 방식은 완성된 모델을 외부에서 시험하는 기존 평가와 달리 AI가 만들어지는 과정부터 살펴본다. 평가자는 모델 훈련 과정과 개발·배포 과정에서 내려지는 결정을 확인하고 회사 직원들과 직접 소통한다. 평가자는 앤트로픽이 AI 안전과 관련해 내건 약속을 실제로 지키는지 확인하고 내부에서 놓친 위험을 찾는다. 사고가 발생하면 이를 보고하고 AI가 가져올 이점과 위험에 대해 외부에 보다 구체적인 정보를 제공하는 역할도 맡는다. 앤트로픽과 액센츄어는 내재형 평가 역량을 구축하기 위해 앞으로 5년간 각각 최소 10억 달러(약 1조3800억원)를 투자할 예정이다. 다만 내재형 평가는 아직 초기 단계여서 운영 기준은 마련되지 않았다. 평가자가 기업 내부의 어떤 정보까지 접근할 수 있는지와 평가 결과를 어떻게 공개할지에 대한 기준도 정해지지 않았다. 평가 비용을 마련하는 방식도 과제로 남아 있다. 이번 액센츄어의 평가 비용은 앤트로픽이 직접 부담하지만 장기적으로는 공동 기금이나 정부 재원을 활용해야 한다는 게 앤트로픽의 입장이다. 앤트로픽은 여러 외부 기관이 함께 AI를 검증하는 체계도 추진한다. 현재 비영리 AI 평가기관 '메트르' 등과 내재형 평가 방식을 시범 적용하는 방안을 논의하고 있으며 앞으로 몇 주 안에 추가 협력 기관을 발표할 예정이다. 액센츄어와의 협력도 독점 계약이 아니어서 다른 AI 개발사도 같은 방식의 평가를 받을 수 있다. 앤트로픽은 "독립적인 내재형 평가자는 우리의 책임을 줄이는 것이 아니라 이를 더 검증 가능하게 만드는 역할을 한다"며 "모델의 안전에 대한 책임은 여전히 우리에게 있다"고 밝혔다.

2026.09.20 09:37김동원 기자

[AI는 지금] AI 속도조절하려면 속도부터 알아야…앤트로픽, 내부 지표 공개

인공지능(AI) 개발 속도조절을 위해 기업 간 투명성과 검증을 강조해 온 다리오 아모데이 앤트로픽 최고경영자(CEO)가 자사 내부 수치부터 공개했다. ▲AI가 연구개발을 맡고 있는 현황 ▲에이전트 감시 현황 ▲안전에 투입하는 컴퓨팅 자원까지 구체적인 숫자로 제시했다. 앤트로픽은 17일(현지시간) 공식 블로그에 프런티어 AI 개발 속도를 파악하기 위한 측정 지표와 자사 조사 결과를 발표했다. AI 연구개발 자동화와 AI 에이전트 감시, 컴퓨팅 자원 배분 등 세 영역을 조사했다. 조사 결과 앤트로픽 내부에서는 AI가 사람의 지시를 받아 연구를 돕는 수준에서 일부 업무를 주도하는 단계로 확대됐다. 사람이 큰 목표만 정해주면 클로드가 대부분 작업을 수행하는 주도 단계는 지난 2월 1% 미만에서 8월 26%로 높아졌다. 사람이 긴밀하게 관여하는 협업 단계 이상까지 포함하면 전체 AI 연구개발 업무의 90%를 넘었다. 주도 단계에서는 사람이 큰 목표를 정하면 이후 대부분의 작업을 클로드가 수행한다. 사람은 이를 감독하고 최종 적용 여부를 결정한다. 사람이 개입하지 않는 완전 자율 단계에 도달한 업무는 아직 없었다. 앤트로픽은 AI가 AI 개발에 더 많이 참여할수록 개발 속도가 빨라질 가능성이 있다고 설명했다. 성능이 높아진 AI가 다음 모델 개발에 투입되고 새 모델이 다시 연구개발에 참여하는 과정이 반복되면 개발 주기가 짧아질 수 있어서다. AI가 맡는 업무가 늘면서 에이전트를 사람이 얼마나 통제할 수 있는지도 측정했다. 지난 8월 앤트로픽에서 가장 많이 사용하는 내부 플랫폼에서는 한 시점에 약 3만 개 AI 에이전트가 연구와 엔지니어링 업무를 수행했다. 이들이 한 달간 내린 판단과 행동은 10억 건을 넘었다. 앤트로픽은 에이전트의 모든 행동을 실행 전에 검사했다. 이 가운데 문제가 있다고 판단해 막은 비율은 0.002%로 약 4만 7000건당 1건이었다. 문제가 발생하는 비율이 낮아도 에이전트의 활동량이 커지면 실제 발생 건수는 늘어날 수 있다. 앤트로픽은 수백만개에서 수십억개의 에이전트가 활동하는 상황에 대비해 이들의 행동을 제대로 감시하고 통제할 수 있는지도 함께 확인해야 한다고 설명했다. 안전 연구에 사용하는 컴퓨팅 자원도 측정했다. 지난 7월 13일부터 20일까지 AI 연구개발에 투입한 컴퓨팅 자원의 약 6%가 안전 연구에 쓰였다. AI가 수행하는 AI 연구개발로 범위를 좁히면 12%였다. 다만 컴퓨팅 자원만으로 안전 연구 규모를 모두 파악하기는 어렵다는 게 회사 측의 설명이다. 안전 연구는 연구자가 실험을 설계하고 분석하는 데 많은 시간이 들지만 실제 연산량은 상대적으로 적을 수 있어서다. 앤트로픽은 이런 측정치를 향후 안전조치의 기준으로 활용하는 방안도 제시했다. AI 연구개발 자동화가 일정 수준에 도달하면 새 모델을 다시 AI 개발에 투입하기 전 일정 기간 안전성을 시험하거나 AI 연구 에이전트에 배정하는 컴퓨팅 자원을 제한하는 방법이다. 앤트로픽은 여러 기관의 독립적인 외부 평가자를 내부에 배치할 계획이다. 자체 위험평가팀과 비슷한 수준으로 내부 절차와 시스템, 데이터에 접근하도록 해 안전조치와 사고, 주요 지표 등을 검증하게 한다. 앤트로픽의 이번 행보는 아모데이가 최근 제안한 AI 개발 속도조절 논의 연장선으로 해석된다. 아모데이는 지난 12일 AI 개발 속도를 조절해 안전 연구에 필요한 시간을 확보해야 한다고 주장했다. AI 기업의 투명성을 높이고 업계가 공통으로 적용할 수 있는 기준을 마련하는 방안도 제안했다. 앤트로픽은 "프런티어 AI 개발 속도 조절을 검토하는 상황에서 연구소가 아는 것과 대중이 아는 것 사이의 격차를 가능한 줄여야 한다"며 "AI 개발을 더 잘 측정하고 공개해 사회가 이 정보를 어떻게 사용할지 결정할 기회를 제공해야 한다"고 밝혔다.

2026.09.18 08:41김동원 기자

[AI 속도 논쟁③] "200㎞ 달려도 도로에선 100㎞"…한국 AI, 어디서 브레이크 걸까

글로벌 인공지능(AI) 업계에서 개발 속도를 늦춰야 한다는 주장이 커지면서 한국도 같은 브레이크를 밟아야 하는지가 관심사로 떠올랐다. 국내에서는 연구개발까지 늦추기보다 기술 개발은 이어가되 모델이 시장에 나오고 사람을 대신해 행동하는 단계부터 위험에 맞는 안전장치를 강화해야 한다는 목소리가 나온다. 국내 AI 업계와 학계는 한국이 아직 글로벌 프론티어 AI 선두권을 추격하는 상황에서 개발 속도부터 낮추는 것은 현실적이지 않다고 진단했다. 대신 모델 공개와 서비스 출시, 실제 활용을 구분해 단계별로 다른 안전 기준을 적용할 필요가 있다고 봤다. AI 업계 안팎에서는 AI가 맡는 역할과 권한에 따라 안전 기준도 달라져야 한다고 봤다. 질문에 답하는 AI와 예약·결제 등 실제 행동까지 맡는 AI를 같은 수준으로 볼 수 없다는 지적이다. "200㎞ 달리는 차도 도로에선 적정 속도"…개발과 사용은 따로 박지환 씽크포비엘 대표는 17일 지디넷코리아와의 통화에서 한국이 아직 AI 연구개발 속도를 늦출 단계는 아니라고 짚었다. 글로벌 프론티어 AI를 추격해야 하는 만큼 기술 성능을 높이는 연구는 이어가되 실제 사회에서 어디까지 쓰게 할지는 별도의 기준으로 정해야 한다고 봤다. 박 대표는 이를 자동차에 빗댔다. 자동차는 시속 200㎞가 넘는 속도를 낼 수 있도록 개발돼도 실제 도로에서는 시속 80㎞나 100㎞의 제한속도를 적용한다. 일부 승합차처럼 용도나 위험도에 따라 차량 자체의 최고속도를 제한하기도 한다. 그는 "자동차가 시속 200㎞ 넘게 달릴 수 있다고 해서 모든 도로에서 그 속도로 달리게 하지는 않는다"며 "AI도 성능을 어디까지 높일 것인지와 사회에서 어디까지 사용할 수 있게 할지는 구분해야 한다"고 강조했다. 이어 "200㎞ 이상을 달리는 자동차를 연구하는 것처럼 AI 선행 연구는 계속해야 한다"며 "동시에 그 기술을 사회에서 안전하게 사용할 수 있도록 제도를 갖추는 게 필요하다"고 덧붙였다. AI가 답변에서 '실행'으로 넘어가면서 이런 고민은 실제 서비스 현장으로 옮겨가고 있다. 자체 AI 모델과 대국민 서비스를 함께 개발하는 SK텔레콤은 '모두의 AI'에서 병원 예약 등 이용자를 대신해 업무를 수행하는 실행형 AI 에이전트를 준비 중이다. 김지훈 SK텔레콤 AI사업본부장은 에이전트가 직접 행동하는 범위가 넓어질수록 이용자가 어디까지 권한을 맡길지 기준을 세우는 일이 중요해진다고 봤다. 민원이나 금융처럼 개인정보와 돈이 오가는 업무에서는 이용자 동의와 안전장치도 필요하다고 설명했다. SK텔레콤은 이용자 동의 없이 처리할 수 있는 업무와 별도 승인이 필요한 업무를 구분하는 방안을 검토하고 있다. 보안업체와 레드팀도 꾸려 실행형 에이전트의 취약점을 사전에 점검 중이다. 김 본부장은 "에이전트를 어떻게 설계하고 고객 정보를 처리할지, 어떤 방식으로 권한을 얻을지에 대한 논의가 업계에서 더 많이 이뤄져야 한다"며 "성능은 빠르게 높아지고 있지만 관련 가이드라인과 규칙은 아직 초기 단계"라고 말했다. 연구는 계속, 시장에 나올 땐 검증…위험 따라 달라지는 '브레이크' 유창동 한국과학기술원(KAIST) 전기및전자공학부 교수는 기업 내부의 연구개발까지 인위적으로 늦추기는 어렵다고 내다봤다. 다른 국가와 기업들이 개발을 이어가는 상황에서 연구 경쟁 자체를 멈추기는 쉽지 않다는 이유다. 다만 제품을 외부에 내놓기 전에는 별도의 안전 검증이 필요하다고 선을 그었다. 유 교수는 "개발은 계속하더라도 외부로 출시하는 제품은 안전성을 확인하면서 속도를 조절하는 게 맞다"며 "평가 기준과 벤치마크 데이터셋을 마련해 위험 수준을 점검해야 한다"고 제언했다. 정부도 연구개발 속도 자체를 낮추기보다 기술 발전과 안전장치를 함께 끌어올리는 쪽에 무게를 두고 있다. 배경훈 부총리 겸 과학기술정보통신부 장관은 최근 "이미 앞서 있는 나라가 속도를 조절하는 것과 추격하면서 동시에 새로운 시장을 만들어야 하는 나라가 스스로 속도를 낮추는 것은 전혀 다른 문제"라고 밝혔다. 배 부총리는 이를 '속도책임'이라고 표현했다. 그는 "AI 연구개발과 산업 활용에는 과감하게 가속페달을 밟되 위험에는 제대로 작동하는 브레이크를 갖춰야 한다"며 "속도는 경쟁력이고 안전은 지속가능성"이라고 강조했다. 그러나 안전 우려가 커져도 실제 AI 개발 경쟁이 느려질 가능성은 낮다는 관측도 나온다. 일부 기업이나 국가가 속도를 줄이더라도 다른 개발 주체들이 계속 경쟁하는 상황에서는 모두가 동시에 감속하기 어렵다는 이유다. 신정규 래블업 대표는 "아무도 개발 속도를 늦추지 않을 것"이라며 "AI를 직접 만들어보니 위험하다는 점은 이제 확실하고 개발자와 연구자들 사이에서도 이런 위기감이 상당히 일반화돼 있다"고 진단했다. 더 큰 문제는 개발을 이어가는 동안 마련한 안전장치가 예상하지 못한 위험까지 막아낼 수 있느냐다. 신 대표는 기업들이 사전에 여러 대책을 마련하더라도 모든 사고를 미리 차단하기는 어려울 것으로 내다봤다. 그는 "여러 사전 대책을 만들고 도입하겠다는 회사들이 나오겠지만 결국 그것만으로 막지 못하는 큰 사고가 한 번은 날 것"이라며 "그 사고가 치명적이지 않기만을 바란다"고 말했다.

2026.09.17 16:50김동원 기자

"혁신 속도 따라갈 안전장치는 사람"…LG가 꺼낸 AI 안전 해법

인공지능(AI) 개발 속도를 늦춰 안전장치가 따라갈 시간을 벌자는 '속도조절론'이 확산하는 가운데 LG가 AI 안전을 높이기 위해 이를 만드는 사람의 역량도 함께 키워야 한다고 강조했다. 16일 AI 업계에 따르면 김유철 LG AI연구원 전략부문장은 사우디아라비아 리야드에서 열린 '제4회 유네스코 AI 윤리 글로벌 포럼' 패널 토론에서 AI 개발자와 정책 담당자를 대상으로 한 윤리 교육 필요성을 제기했다. AI 활용법을 가르치는 교육은 빠르게 늘었지만 AI 시스템을 직접 설계·개발·관리하는 사람을 위한 교육은 부족하다고 진단했다. 'AI 윤리 글로벌 포럼'은 각국 정부와 산업계, 학계, 국제기구 관계자들이 모여 AI 윤리와 거버넌스 방향을 논의하는 국제 행사다. 유네스코와 사우디아라비아가 공동 주최하며 지난 14일부터 오는 17일까지 리야드에서 열린다. 김 부문장은 이번 포럼에서 AI 안전을 기술적인 장치만으로 확보하기 어렵다고 강조했다. 개발자와 정책 담당자가 AI를 만드는 과정에서 위험을 파악하고 대응 방법을 판단할 수 있도록 사람의 역량도 함께 높여야 한다고 주장했다. LG AI연구원은 이를 위해 유네스코와 'AI 윤리 무크(MOOC·온라인 공개강좌)'를 공동 개발했다. 지난해 7월 프로젝트를 시작해 올해 7월 정식 공개한 이 강좌에는 약 두 달 만에 전 세계에서 약 3만명이 등록했다. 교육은 11개 언어로 제공한다. 교육은 AI 활용법보다 개발 과정에서 필요한 윤리적 판단에 초점을 맞춘다. 개발자와 연구자, 정책 담당자, 학생 등이 AI를 설계하고 운영하면서 마주하는 문제를 판단하고 대응하는 데 필요한 내용을 담았다. 교육과정은 유네스코 'AI 윤리 권고'를 토대로 구성했다. 공정성과 포용성, 개인정보와 데이터 거버넌스, 투명성과 책임성, 안전·보안 등을 실제 사례를 중심으로 다룬다. LG AI연구원은 자체 AI 개발 과정에서 쌓은 경험도 교육에 반영했다. 모델과 서비스를 개발할 때 위험 요소를 점검하는 윤리영향평가와 데이터 컴플라이언스 사례 등을 공유했다. 최근 글로벌 AI 업계에서는 AI 개발 속도를 둘러싼 안전 논쟁이 거세졌다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난 12일 AI 발전 속도가 이를 이해하고 통제하는 능력을 앞지를 수 있다며 프런티어 AI 모델의 개발 속도를 늦춰야 한다고 주장했다. 아모데이는 AI 개발을 중단하자는 것이 아니라 안전 연구와 평가가 기술 발전을 따라갈 시간을 확보해야 한다고 강조했다. 앤트로픽은 외부 평가기관에 내부 직원에 준하는 접근 권한을 제공하고 AI 기업 간 공동 안전기준과 국제 공조도 추진하겠다는 방안을 내놨다. 반면 도널드 트럼프 미국 대통령은 중국과의 AI 경쟁을 이유로 개발 속도를 늦추는 데 부정적인 입장을 나타냈다. 미국이 중국에 앞선 상황에서 AI 개발을 제한하면 경쟁 우위를 내줄 수 있다는 이유를 들었다. LG AI연구원 역시 AI 모델 개발 경쟁에 뛰어들고 있다. 자체 AI 모델 '엑사원'을 개발하고 정부의 독자 AI 파운데이션 모델 프로젝트에도 참여 중이다. 모델 성능을 끌어올리는 동시에 개발 과정에서는 윤리영향평가와 데이터 컴플라이언스 체계를 운영하고 있다. 김 부문장은 "AI 도구를 사용하는 방법을 가르치는 프로그램은 많지만 AI 시스템을 설계하고 개발하고 관리하는 사람을 위한 교육은 거의 없다"며 "혁신의 속도를 따라갈 만큼 빠른 유일한 안전장치는 사람의 역량이라고 믿는다"고 강조했다.

2026.09.16 09:23김동원 기자

지금 뜨는 기사

이시각 헤드라인

LG전자, 휴머노이드 직접 만든다…부품 내재화로 경쟁력↑

단풍놀이 아직 못 갔다면…늦지 않은 가을 명소는

[세계車트] 아우디도 中 부진 직격탄…샤오미, 배터리 야심 본격화

AI로 게임 만들고 로봇과 대화…깃허브가 넓힌 개발 생태계

ZDNet Power Center