ZDNet 검색 페이지

'AI 안전'통합검색 결과 입니다. (278건)

[AI는 지금] 속도조절론 속 쏟아진 신모델…AI 3사 승부처는

인공지능(AI) 개발 속도를 둘러싼 논쟁이 커지는 가운데 글로벌 AI 기업 3곳이 이틀 사이 신모델을 잇따라 공개했다. 앤트로픽과 오픈AI, 스페이스XAI는 나란히 성능을 높이면서도 안전성과 비용 효율, 에이전트 역량에 각각 무게를 뒀다. 22일(현지시간) 오픈AI는 'GPT-6 솔·루나', 앤트로픽은 '클로드 오퍼스 5.5'를 각각 공개했다. 하루 전인 21일에는 스페이스XAI가 '그록 4.7'을 선보였다. 같은 시기에 나왔지만 각사가 택한 전략은 달랐다. 앤트로픽은 외부 평가와 행동 감사 등 안전 검증을 강화했다. 오픈AI는 GPT-6 아스트라에서 확보한 기술을 더 빠르고 저렴한 솔·루나로 가져왔고 스페이스XAI는 복잡한 작업을 장시간 수행하고 결과를 스스로 확인하는 능력을 키웠다. 성능 경쟁에서는 오퍼스 5.5가 앞섰다. 글로벌 AI 평가기관 아티피셜 애널리시스의 종합 성능 지표(AAII)에서 최고 설정 기준 오퍼스 5.5는 58점을 기록했다. GPT-6 솔은 48점, 그록 4.7은 46점이었다. 다만 오픈AI와 스페이스XAI는 각각 비용 효율과 장시간 에이전트 업무를 주요 경쟁력으로 강조했다. 최근 AI 개발 속도를 조절해야 한다는 주장에는 세 회사 수장 모두 공감을 나타냈다. 다만 실제 안전 대응은 검증 방식과 적용 강도에서 차이가 있었다. 속도조절 필요성을 제기한 앤트로픽은 오퍼스 5.5를 외부 기관에 사전 평가받고 약 2000개 상황을 대상으로 행동 감사를 진행했다. 오픈AI는 솔·루나가 자사 최고 위험 단계에는 이르지 않았다고 판단해 기존 GPT-5.6 솔·루나와 같은 안전장치를 적용했다. 스페이스XAI는 그록 4.7에 새로운 안전체계를 도입했지만 공식 발표에는 외부 기관의 사전 평가나 개발 속도를 늦춘 조치에 대한 내용은 포함되지 않았다. 앤트로픽은 '안전'…외부 검증·고위험 작업 제한 앤트로픽은 오퍼스 5.5에서 외부 검증과 고위험 작업 통제를 강화했다. 회사는 이를 프런티어 AI 개발 속도조절을 제안한 이후 처음 공개한 모델이라고 소개했다. 출시 전에는 미국 비영리 AI 평가기관 모델평가위협연구소(METR)와 프런티어 디자인 등 외부 기관의 평가를 받았다. 내부에서도 모델이 위험하거나 의도하지 않은 행동을 보이는지 자동으로 점검했다. 통제 범위를 벗어나려는 행동도 따로 살폈다. 오퍼스 5.5가 정해진 경계를 우회하려 한 빈도는 기존 오퍼스 5와 미토스 5.1보다 약 85% 낮았다. 확인된 시도는 모두 심각도가 낮았으며 모델이 스스로 이를 보고했다고 회사 측은 설명했다. 악용 가능성이 큰 분야에는 사용 제한을 뒀다. 대부분의 사이버보안 작업은 이전 모델인 오퍼스 4.8이 처리하도록 했으며 일부 생물학 관련 고위험 기능에는 이용자 검증 절차를 적용했다. 성능과 비용도 개선됐다. 초기 평가자가 20만줄 규모의 프로그램 코드를 점검하고 오류를 수정하도록 하자 오퍼스 5.5는 3시간 안에 작업을 마쳤다. 기존 오퍼스 5는 같은 작업에 20시간 이상 걸렸다. 일반적인 작업 비용은 40% 낮아졌고 출력 속도는 30% 이상 빨라졌다. 안전 평가의 한계도 확인됐다. 오퍼스 5.5가 일부 상황에서 자신이 시험받고 있다는 사실을 의심하는 징후를 보였기 때문이다. 앤트로픽은 "모델을 배포하기 전에 모든 실패 가능성을 평가로 찾아내는 방법은 아직 해결되지 않았다"고 설명했다. 오픈AI는 '효율'…아스트라 기술 더 싸게 오픈AI는 아스트라에서 확보한 기술을 더 낮은 비용의 솔과 루나로 가져왔다. 최상위 모델의 성능을 최고가 제품에만 두기보다 작업 난도와 비용에 따라 선택할 수 있도록 GPT-6 제품군을 세분화했다. 솔은 복잡한 코딩과 에이전트 업무처럼 높은 성능이 필요한 작업을 겨냥한다. 루나는 빠른 응답과 낮은 비용이 중요한 대량 작업에 초점을 맞췄다. 오픈AI는 루나를 자사 모델 가운데 가장 빠르고 비용 효율적인 모델로 소개했다. 가격은 GPT-5.6 솔·루나의 프로모션 가격보다 50% 낮췄다. 솔은 입력 토큰 100만개당 2달러, 출력 10달러이며 루나는 각각 0.1달러와 0.5달러다. 안전 대응에서는 기존 체계를 유지했다. 오픈AI는 솔과 루나를 사이버보안과 생물·화학 분야에서 '높은 수준'으로 분류했지만 아스트라가 도달한 사이버보안 '중대한 수준'에는 미치지 않는다고 평가했다. 이에 따라 GPT-5.6 솔·루나와 같은 수준의 안전장치를 적용했다. 아스트라에서 개발한 정렬 기술은 새 모델에도 적용했다. 오픈AI는 솔과 루나가 GPT-5.6 계열보다 탈옥 공격에 대한 저항성과 정렬 평가에서 개선된 결과를 보였다고 밝혔다. 오픈AI는 위험이 일정 수준에 접근하면 실제 개발 속도를 늦춘 경험도 있다. 지난달 아스트라가 중대한 수준의 사이버보안 능력에 도달할 가능성이 나타나자 배포 예정 모델의 강화학습을 2주간 중단했다. 최대 규모의 프런티어 강화학습도 보류하고 보안과 모니터링 체계를 보강했다. 스페이스XAI는 '에이전트'…수시간짜리 업무까지 겨냥 스페이스XAI는 그록 4.7의 장시간 업무 수행과 자기 검증 능력을 강화했다. 기존 그록 4.6보다 큰 기반 모델을 사용하고 강화학습 기간을 늘려 수시간이 걸리는 문제의 학습 비중을 높였다. 모델은 긴 작업을 이어가면서 앞서 내린 판단과 결과를 다시 확인하도록 훈련됐다. 긴 맥락을 관리하는 능력도 높여 코딩뿐 아니라 문서 작성과 전문 지식 업무처럼 여러 단계를 거치는 작업을 겨냥했다. 외부 평가에서도 에이전트 업무 성능이 높아졌다. 아티피셜 애널리시스의 장기 지식 업무 평가 'AA 브리프케이스'에서 그록 4.7은 1657점을 기록해 그록 4.6보다 111점 높았다. 코딩 에이전트 지표도 9점 오른 56점을 기록했다. 가격은 입력 토큰 100만개당 2달러, 출력은 6달러부터 시작한다. 출력 속도를 두 배 높인 별도 모델도 제공한다. 안전 측면에서는 새로운 안전체계를 적용했다. 스페이스XAI는 자체 사이버보안 평가 '해커벤치 0.3'에서 위험한 이중용도 요청 가운데 3.3%만 허용했으며 자사가 평가한 모델 가운데 탈옥 공격 저항성이 가장 높았다고 밝혔다. 머스크도 최근 AI 개발 속도를 늦출 필요성에 공감을 나타냈다. 다만 이번 그록 4.7 공식 발표에서는 개발 속도를 낮추거나 외부 기관의 사전 평가를 받았다는 내용은 공개되지 않았다. 스페이스XAI는 "그록 4.7은 어려운 작업을 더 오래 수행하고 자신의 작업을 더 꼼꼼히 확인할 수 있다"며 "지금까지 가장 잘 조정된 안전장치를 갖췄다"고 밝혔다.

2026.09.23 14:37김동원 기자

AI 위험 검증하는 나라로…韓, '제3자 평가국' 노린다

인공지능(AI) 경쟁이 모델 성능을 넘어 누가 위험을 판단할 것인지로 번지고 있다. 미국과 중국이 프런티어 AI 경쟁을 주도하면서 양국이 서로의 시스템을 직접 검증하기 어려울 경우 제3국이나 국제기구가 평가를 맡는 방안도 거론되고 있다. 김명주 AI안전연구소장은 23일 지디넷코리아와의 통화에서 "미국과 중국 사이에서 제3국의 평가가 필요해지는 상황이 온다면 우리가 나서겠다는 생각을 갖고 있다"며 "다만 아직은 앞서가는 시나리오이자 희망 사항일 뿐 실제 역할을 맡으려면 프런티어 AI 기술과 평가 역량을 갖춰야 한다"고 강조했다. 국제적으로도 프런티어 AI를 공동 평가하고 위험 정보를 공유하려는 움직임이 이어지고 있다. 오픈AI는 21일(현지시간) 한국 등 각국 AI안전연구소가 참여하는 협력망을 활용해 평가 결과를 공유하고 공통 기준을 마련하는 방안을 제안했다. 미중 AI 안전 협의 시작…검증은 누가 최근 AI 개발 속도와 안전을 둘러싼 논쟁이 커지면서 미국과 중국 사이에서도 AI 안전 문제가 의제로 떠올랐다. 양국은 정상회담을 앞두고 관련 논의를 시작했다. 미국은 중대한 AI 사고가 발생할 경우 서로 알리는 통보 체계를 중국 측에 제안했지만 중국은 아직 구체적인 입장을 밝히지 않은 것으로 알려졌다. 김 소장은 "위협의 신호가 보이면 서로 핫라인을 개설해 이야기하고 협의하자는 논의까지 나오고 있다"고 말했다. 통보 체계가 만들어져도 상대국 AI 위험을 누가 확인할지는 남는다. 미국이 중국의 핵심 AI 시스템을 직접 들여다보거나 중국이 미국의 모델을 검사하기는 쉽지 않아서다. 김 소장은 장기적으로 핵확산금지조약(NPT)과 비슷한 국제 통제체제가 AI에서도 등장할 가능성을 거론했다. 실제로 미국과 중국의 안보 전문가 사이에서도 핵 군축과 유사한 안전장치와 위기 소통 채널을 AI에 적용하자는 제안이 나왔다. 한국은 국제 평가체계가 만들어질 경우 참여하겠다는 뜻도 전달했다. 김 소장은 지난 8월 국제 AI 평가 협력망을 조정하는 영국 측과 의견을 나눴고 각국 AI안전연구소가 함께 참여하는 방식이라면 한국도 적극 참여하겠다는 입장을 밝혔다. 이 분야에서 가장 앞서 있다는 평가를 받는 곳은 영국이다. 영국 AI안전연구소는 2023년 11월부터 프런티어 AI를 직접 평가해왔다. 사이버와 생물안보 등 국가안보·공공안전 분야에서 첨단 모델을 반복적으로 시험하면서 평가 방법과 데이터를 축적했다. 김 소장은 영국이 현재 프런티어 AI 평가 기술에서 가장 앞서 있다고 진단했다. 김 소장은 AI안전연구소도 지난 2년간 영국의 평가 기술을 따라잡기 위해 관련 역량을 쌓아왔다고 설명했다. 그는 "한국은 AI 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 강조했다. 국제 논의 발언권, 결국 '경험'에서 나온다 AI 안전 논의에서 한국의 발언권을 키우려면 기술력과 함께 실제 현장에서 쌓은 경험도 중요하다는 지적이 나온다. 박지환 씽크포비엘 대표는 "아직 AI가 실제 현장에서 어떤 문제를 얼마나 자주 일으키는지 충분히 축적되지 않았는데 머릿속에서 만든 기준이 처음부터 정확할 것이라고 기대하기는 어렵다"고 말했다. 그는 혈압 기준을 예로 들었다. 어느 수준부터 치료에 개입할지를 수많은 임상 경험과 데이터를 거쳐 정해온 것처럼 AI도 실제 적용과 실증을 반복하면서 기준을 다듬어야 한다는 설명이다. 박 대표는 "한국이 표준에 대한 현장 실증을 많이 하는 나라가 되는 것이 중요하다"며 "국제기준을 실제 산업과 공공현장에 적용해 무엇이 맞고 무엇이 부족한지를 지속적으로 제시해야 한다"고 강조했다. 현장 경험과 별개로 국제적으로 통용될 표준은 공적인 절차와 합의를 거쳐야 한다. 전종홍 한국전자통신연구원(ETRI) 표준연구본부 책임연구원은 "오픈AI나 앤트로픽이 '표준'이라는 용어를 많이 쓰지만 그렇게 쓴다고 그냥 표준이 되는 것은 아니다"라며 "문서를 만드는 것과 권위를 만드는 것은 다르다"고 밝혔다. 박 대표는 "이런 경험과 데이터가 축적되면 한국의 의견에 무게가 생기고 더 많은 국제 실증과 표준화 논의의 중심에 설 기회가 생긴다"며 "기준을 받아들이는 나라보다 기준이 현실에서 작동하는지를 증명하고 개선하는 나라가 AI 안전 논의의 중심에 설 것"이라고 말했다.

2026.09.23 10:43김동원 기자

[AI는 지금] AI 속도조절 꺼낸 앤트로픽, 성능·안전 높인 '오퍼스 5.5' 공개

앤트로픽이 인공지능(AI) 개발 속도조절론을 제안한 뒤 처음으로 새로운 모델을 선보였다. 성능을 높이면서 외부 평가와 통제 장치를 강화해 안전성도 함께 끌어올렸다. 앤트로픽은 22일(현지시간) 자사 블로그를 통해 '클로드 오퍼스 5.5'를 공개했다. 코딩과 컴퓨터 사용, 지식 업무 능력을 강화하면서 기존 오퍼스 5보다 일반적인 작업 비용은 40% 낮추고 출력 속도는 30% 이상 높였다. 성능 개선은 실제 작업에서도 확인됐다. 앤트로픽에 따르면 초기 평가자가 20만 줄 규모 프로그램 코드를 점검하고 오류를 수정하도록 하자 오퍼스 5.5는 3시간 안에 작업을 마쳤다. 기존 오퍼스 5는 같은 작업에 20시간 이상이 걸렸다. 전문적인 코딩 평가에서도 성능 향상이 나타났다. AI가 컴퓨터에서 직접 명령을 실행하며 문제를 해결하는 능력을 평가하는 '터미널-벤치 4.0'에서 오퍼스 5.5는 66.4%를 기록했다. 앤트로픽이 공개한 자료에서 오픈AI 'GPT-6 아스트라'는 57.9%, 기존 오퍼스 5는 52.3%였다. 앤트로픽은 다만 이런 점수만으로 모델의 우열을 판단하기는 어렵다고 설명했다. 모델 성능이 높아질수록 벤치마크의 작은 점수 차이가 실제 사용 환경에서 그대로 나타나지 않을 수 있어서다. 비용도 낮췄다. 기업이나 개발자가 오퍼스 5.5를 사용할 때 내는 가격은 입력 토큰 100만개당 4달러, 출력 토큰 100만개당 20달러다. 기존 오퍼스 5보다 각각 20% 저렴하다. 앤트로픽은 성능과 비용을 개선하면서 안전장치도 강화했다고 밝혔다. 이번 모델은 출시 전 AI 평가기관인 모델평가위협연구소(METR)와 프런티어 디자인 등 외부 기관의 평가를 거쳤다. 내부에서는 약 2000개 상황을 대상으로 모델이 위험하거나 의도하지 않은 행동을 보이는지 확인하는 자동화 행동 감사도 진행했다. 회사 측은 오퍼스 5.5가 지금까지 평가한 모델 가운데 가장 높은 수준의 안전성을 보였다고 평가했다. 별도 평가에서는 모델이 정해진 통제 경계를 우회하려 한 빈도가 기존 오퍼스 5와 클로드 미토스 5.1보다 약 85% 낮았다. 확인된 우회 시도는 모두 심각도가 낮았으며 모델이 스스로 이를 보고했다. 사이버보안과 생물학처럼 악용 위험이 큰 분야에는 별도 안전장치를 적용했다. 사이버보안 작업 대부분은 이전 모델인 오퍼스 4.8이 처리하도록 했으며 일부 생물학 관련 기능은 검증된 이용자에게만 제공한다. 다만 안전 평가 과정에서는 한계도 드러났다. 오퍼스 5.5는 일부 상황에서 자신이 시험받고 있다는 사실을 눈치챈 듯한 반응을 보였다. 앤트로픽은 평가 환경을 인식한 모델이 실제 사용 환경에서는 다르게 행동할 가능성이 있어 출시 전 평가만으로 모든 문제를 찾아내기는 어렵다고 설명했다. 앤트로픽은 "현재 모델은 기존 안전 관행으로 관리할 수 있는 수준"이라며 "AI 연구를 완전히 자동화할 수 있는 미래 모델에는 더 높은 기준과 공공정책의 더 큰 역할이 필요하다"고 밝혔다.

2026.09.23 09:17김동원 기자

AI 안전, 선언보단 검증으로…국제표준도 달라진다

인공지능(AI) 기술이 빠르게 발전하면서 국제표준도 안전 원칙을 세우는 데서 나아가 실제 위험을 찾아내고 검증하는 쪽으로 기준이 바뀌고 있다. 전종홍 한국전자통신연구원(ETRI) 표준연구본부 책임연구원은 22일 서울대 인공지능신뢰성연구센터 월례세미나에서 "AI 안전과 신뢰성에 대한 국제표준 논의가 원칙 중심에서 이를 입증할 수 있는 증거 중심으로 이동하고 있다"고 밝혔다. 최근 AI는 질문에 답하는 도구에서 스스로 판단하고 행동하는 단계로 빠르게 넘어가고 있다. AI가 직접 도구를 사용하고 여러 작업을 수행하면서 성능과 정확도를 넘어 예상하지 못한 행동과 피해 가능성까지 검증해야 할 필요성이 커졌다. 이에 따라 AI 안전을 확인하는 방법도 달라지고 있다. AI를 직접 공격해 취약점을 찾는 레드팀 테스트와 어떤 안전·신뢰 기준을 충족했는지 근거와 함께 보여주는 신뢰성 사실 라벨(TFL) 등이 국제표준으로 개발되고 있다. 전 책임연구원은 이 같은 AI 안전·신뢰성 분야 국제표준 개발을 주도해온 전문가다. ISO와 IEC의 AI 국제표준화위원회 'ISO/IEC JTC1 SC42'에서 AI 시험·평가와 레드팀 테스트, 신뢰성 표시 관련 표준 개발에 참여하고 있다. 대통령 직속 국가인공지능전략위원회 글로벌협력 분과위원으로도 활동 중이다. 일부러 AI 속여본다…안전 검증도 '레드팀'으로 AI 안전성을 확인하는 대표 방법이 레드팀 테스트다. AI를 일부러 속이거나 공격해 정상적인 사용 과정에서는 드러나지 않는 취약점을 찾는다. AI는 기존 소프트웨어와 달리 모든 상황에서 어떤 결과를 내놓을지 미리 정하기 어렵다. 위험한 답변을 유도하거나 안전장치를 우회하는 등 다양한 공격을 가해 예상하지 못한 행동을 확인하는 이유다. 전 책임연구원이 국제표준 에디터를 맡은 'ISO/IEC 42119-7'은 이러한 레드팀 테스트의 절차와 방법을 정한다. 공격 시나리오 설계부터 시험 수행, 결과 분석과 개선까지 다루며 2027년 5월 제정을 목표로 하고 있다. 그는 "이미 알려진 공격만 반복해서 시험해서는 새로운 취약점을 찾기 어렵다"며 "악의적인 공격뿐 아니라 일반 이용자가 AI를 사용하는 과정에서 우연히 발생하는 문제까지 찾아낼 수 있어야 한다"고 강조했다. AI 공격에 에이전트 30개…평가에도 AI 쓴다 레드팀 테스트에도 AI가 활용되고 있다. 사람이 직접 공격 문장을 만드는 대신 여러 AI 에이전트가 동시에 다양한 공격을 시도하는 방식이다. 실제로 올해 국내 AI 레드팀 챌린지에서는 한 참가자가 AI 에이전트 약 30개를 동시에 가동했다. 참가자 수는 지난해와 비슷했지만 제출된 공격 사례는 약 4900건에서 1만 7500건으로 3배 이상 늘었다. AI를 활용하면서 짧은 시간에 훨씬 많은 공격을 시도할 수 있게 됐다. 동시에 사람이 확인해야 할 결과도 크게 늘었다. 결국 평가에도 AI가 투입됐다. 사람이 수많은 공격 결과를 하나씩 확인하기 어려워지자 AI가 결과를 분석하고 평가하는 데 활용됐다. 전 책임연구원은 "AI를 활용하면서 공격 규모가 크게 늘었다"며 "사람이 모든 결과를 확인하기 어려워져 평가에도 AI를 활용하게 됐다"고 설명했다. AI 안전, 말로 보증 안 된다…증거 보여주는 '신뢰 라벨' AI를 시험하는 것만큼 중요한 것은 그 결과를 어떻게 보여주느냐다. 국제표준화 현장에서는 AI가 어떤 안전·신뢰 기준을 충족했는지 근거와 함께 표시하는 TFL을 개발하고 있다. TFL은 환경 라벨과 비슷하다. 기업이 말로 AI가 안전하다고 주장하는 대신 어떤 시험과 평가를 거쳤는지 확인할 수 있도록 한다. ▲위험관리 체계를 갖췄는지 ▲편향이나 취약점을 시험했는지 ▲사람이 중요한 결정을 통제할 수 있는지 등을 표시하고 이를 뒷받침하는 시험·인증 결과를 연결한다. 전 책임연구원은 "AI가 신뢰할 만하다는 것을 검증 가능한 방법으로 증명할 수 있는 체계를 만들자는 것"이라며 "환경 라벨과 비슷한 개념이라고 보면 된다"고 설명했다. 라벨은 사람뿐 아니라 AI가 읽을 수 있는 형태도 검토되고 있다. 향후 AI 에이전트가 다른 서비스에 접속하기 전에 해당 시스템이 어떤 안전 기준을 충족했는지 자동으로 확인하는 데 활용할 수 있다. 그는 "약 2년간 관련 작업을 진행했다"며 "현재 기본 개념과 요구사항을 담은 표준안이 국제표준 절차를 밟고 있다"고 밝혔다. 답변 넘어 직접 행동하는 AI…새 안전 기준 필요 표준화가 아직 따라가지 못한 영역도 있다. 스스로 판단하고 행동하는 AI 에이전트다. AI 에이전트는 목표를 받아 작업 순서를 정하고 외부 도구를 이용해 직접 행동한다. AI에 어떤 권한을 줄지, 어떤 행동에 사람의 승인을 받도록 할지, 잘못된 행동을 어떻게 중단하거나 되돌릴지 등 새로운 기준이 요구된다. 여러 AI가 역할을 나눠 일하는 멀티에이전트에서는 각각의 권한과 행동을 추적하는 문제까지 더해진다. 하지만 이를 모두 포괄하는 국제표준은 아직 마련되지 않았다. 전 책임연구원은 "신원 확인과 권한 위임, 도구 사용 통제부터 사람의 승인과 검증, 문제가 생겼을 때 되돌리는 기준까지 필요하다"며 "현재 이를 모두 지원하는 표준은 없는 상황"이라고 지적했다. 프런티어 AI도 표준화 논의가 시작된 단계다. 어느 정도 능력이나 연산 규모를 갖춰야 프런티어 AI로 볼지 합의된 정의가 없고 빠르게 높아지는 능력을 어떻게 평가할지도 과제로 남아 있다. AI 발전 속도를 국제표준이 따라갈 수 있느냐는 숙제도 있다. 표준 제정에 수년이 걸리는 만큼 특정 기술에 맞춘 세부 기준은 완성될 때쯤 뒤처질 수 있어서다. 전 책임연구원은 "기술 트렌드에 종속되는 내용은 많이 다루지 않는다"며 "시간이 지나 기술이 변해도 필요성이 없어지지 않는 내용을 주로 다룬다"고 말했다.

2026.09.22 15:44김동원 기자

오픈AI "AI 국제표준, 미국이 주도해야"

오픈AI가 미중 정상회담을 앞두고 미국이 차세대 인공지능(AI)의 국제표준 수립을 주도해야 한다고 촉구했다. 21일(현지시간) 오픈AI는 자사 블로그에 'AI의 다음 단계를 위한 표준 구축'이라는 글을 올리고 미국이 세계 각국과 협력해 최첨단 AI의 글로벌 기술표준 마련을 이끌어야 한다고 밝혔다. 오픈AI는 국가마다 AI 평가와 사고 보고 기준이 다르면 위험이 발생했을 때 공동 대응이 어려워질 수 있다고 지적했다. 최첨단 AI 개발 역량과 전문성도 일부 국가에 집중돼 있어 국가 간 공통 기준이 필요하다고 강조했다. AI 연구 자동화도 국제표준이 필요한 이유로 제시했다. AI가 다음 세대 모델 개발에 더 많이 참여하면 연구 결과가 다시 AI 개발에 활용될 수 있다. 오픈AI는 이런 '재귀적 자기개선(RSI)'이 늘어날수록 AI 발전 속도도 빨라질 수 있다고 경고했다. 아직 사람이 빠진 채 AI가 스스로 이런 과정을 반복하는 단계에 이른 것은 아니다. 다만 자동화가 지나치게 빨라지면 사람이 연구 과정을 이해하지 못해 AI 개발을 제대로 통제하기 어려워질 수 있다. 오픈AI는 국제표준에 AI 연구가 얼마나 자동화됐는지 측정하는 기준과 사람이 개입해야 할 시점, 사고가 발생했을 때 이를 분류하고 보고하는 절차를 담자고 제안했다. 표준 마련에는 한국을 비롯해 호주, 캐나다, 독일, 프랑스, 케냐, 일본, 싱가포르, 인도, 영국의 AI 안전연구소와 관련 기관을 활용하는 방안을 내놨다. 미국 인공지능 표준혁신센터(CAISI)와 각국 기관이 협력해 AI 성능 평가와 위험 관리에 필요한 공통 기술기준을 마련하자는 구상이다. 다만 이를 AI 모델 출시 전 정부 승인을 받도록 하는 규제로 만들자는 것은 아니다. 공통 기술기준을 실제 법과 제도에 적용할지는 각국 정부가 결정하도록 했다. 미국이 국제표준 마련을 이끌어야 하는 이유로는 기술력과 국제 영향력을 들었다. 미국이 최첨단 AI 개발을 주도하고 금융과 무역, 국방, 기술, 정보시스템 등에서 세계 각국과 연결돼 있어 국제 규칙을 만드는 데 유리하다는 주장이다. 오픈AI는 앞으로 AI 경쟁이 누가 더 뛰어난 모델을 개발하느냐에 그치지 않을 것으로 전망했다. 각국 기업과 사회가 어떤 기준 아래 AI를 도입하고 확산할지 정하는 규칙까지 경쟁 영역으로 넓어질 수 있다고 내다봤다. 이번 제안은 미국과 중국이 AI 안전 문제를 양국 간 의제로 다루기 시작한 가운데 나왔다. 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석은 오는 24일 워싱턴에서 정상회담을 갖고 AI와 무역 등 주요 현안을 논의할 예정이다. 앞서 스콧 베선트 미국 재무장관과 허리펑 중국 국무원 부총리는 20일 뉴욕에서 AI 안전 문제를 논의했다. 미국은 국가안보에 영향을 줄 정도의 AI 사고가 발생하면 양국이 서로 알리는 체계를 제안했고 양측은 관련 대화를 이어가기로 했다. 오픈AI는 "미국과 중국 간 대화는 긍정적인 조치가 될 것"이라며 "지금 주도권을 잡아야 미국이 글로벌 AI 체계를 형성할 수 있다"고 밝혔다.

2026.09.22 15:32김동원 기자

미·중, 'AI 사고' 국가 간 충돌 막는다…미국, 중대 사고 상호 통보 제안

미국과 중국이 인공지능(AI) 사고가 국가 간 충돌로 번지는 것을 막기 위한 논의에 들어갔다. 미국은 국가안보에 영향을 줄 만한 AI 사고가 발생하면 양국이 서로 이를 알리는 방안을 중국에 제안했다. 20일(현지시간) 로이터와 AFP통신 등에 따르면 스콧 베선트 미국 재무장관과 허리펑 중국 국무원 부총리는 이날 미국 뉴욕에서 만나 AI 문제를 별도로 논의했다. 미국 측은 중대한 AI 사고가 발생할 경우 상대국에 상황을 알리는 방안을 제시했다. 미국은 이런 소통이 양국의 오해를 줄이는 데 필요하다고 설명했다. AI가 군사나 사이버 분야에서 예상하지 못한 행동을 했을 때 상대국이 이를 실제 공격으로 받아들이는 상황을 막기 위해서다. 중국도 이번 회담에서 AI 문제를 논의했다고 밝혔다. 중국 관영 신화통신은 양국이 경제·무역 현안과 함께 AI 관련 문제를 다뤘다고 전했다. 다만 미국이 제안한 사고 통보 방안에 대해서는 별도 입장을 내놓지 않았다. 이 문제는 오는 24일 워싱턴에서 열리는 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석 간 정상회담에서도 다뤄질 수 있다. 미국과 중국 정상은 지난 5월 베이징 회담에서도 AI 관련 협의 가능성을 논의한 바 있다. 미국과 중국의 안보 전문가들 사이에서는 이미 비슷한 제안이 나왔다. 브루킹스연구소와 칭화대가 주도해 온 AI·국가안보 대화에 참여한 전문가들은 AI 사고가 군사적 충돌로 번지는 것을 막기 위해 양국 간 핫라인을 만들자고 제안했다. 양국의 AI 기술 경쟁과 관련한 모든 문제가 이번 회담에서 다뤄진 것은 아니다. 제이미슨 그리어 미국 무역대표부 대표는 첨단 AI 반도체와 반도체 제조 장비에 대한 미국의 대중국 수출통제는 이번 논의에서 제외됐다고 밝혔다. 베선트 장관은 "우리는 공동의 목표와 공동의 위협에 대한 인식을 공유하기를 원한다"며 "세계 1위와 2위 AI 강국 사이에서 불투명성을 줄이고 더 많은 투명성으로 나아가는 것은 매우 중요하다"고 말했다.

2026.09.21 16:11김동원 기자

AI 안전성, 지정학적 맥락보다 '언어'에 더 큰 영향…한국어 질문 시 유해성 낮아

인공지능(AI) 모델의 안전성이 질문 언어와 지정학적 맥락에 따라 달라질 수 있다는 연구 결과가 나왔다. 영어보다 한국어로, 미국보다 한국 맥락으로 질문했을 때 유해성 점수가 낮았으며 언어에 따른 효과는 지정학적 맥락보다 2.5배 컸다. 오픈소스 모델에서는 이와 다른 양상도 나타났다. 21일 업계에 따르면 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 조직인 인공지능안전연구소는 스케일 AI와 다국어 AI 안전성 벤치마크 'ROK-포트리스'를 공동 개발했다. ROK-포트리스는 스케일 AI의 국가안보·공공안전 분야 벤치마크인 포트리스를 기반으로 개발됐다. 이 최신 벤치마크는 기존 다국어 안전성 평가처럼 동일한 프롬프트를 번역하는 데 그치지 않고 질문의 언어와 지정학적 맥락을 각각 바꿔 모델 응답 변화를 비교한다. 영어·한국어와 미국·한국의 주체, 기관, 사건 등을 조합해 하나의 적대적 프롬프트를 최대 4가지 조건으로 변형하는 방식이다. 공동 연구진은 국가안보·공공안전 분야에서 1235개 과제를 구성해 14개 AI 모델을 평가했다. 평가 영역은 화학·생물학·방사능·핵·폭발물(CBRNE), 정치적 폭력·테러리즘, 범죄·금융 활동, 정보 유출 등 4개다. 각 유해 요청에는 무해한 대응 요청을 함께 구성해 모델의 과잉 거부 여부도 측정했다. 평가에서는 영어 프롬프트가 전반적으로 가장 높은 위험 점수를 기록했고 한국어와 한국 맥락을 함께 적용한 프롬프트의 위험 점수가 가장 낮았다. 영어에서 한국어로 언어를 바꿨을 때의 효과는 약 10%포인트로, 미국 주체·기관을 한국으로 바꿨을 때의 약 4%포인트보다 2.5배 컸다. 한국어로 바꿨을 때 유해성이 낮아지는 효과가 한국 맥락을 추가한다고 더 커지는 것은 아니었다. 14개 모델 중 4개에서는 오히려 한국 맥락을 적용했을 때 한국어 사용에 따른 유해성 억제 효과가 유의미하게 줄었다. 반대로 한국 맥락을 추가하면서 이 효과가 유의미하게 커진 모델은 없었다. 공동 연구진은 언어와 지정학적 맥락이 서로 독립적으로 작용하는 것이 아니라 모델마다 상호작용한다고 분석했다. 한국어의 상대적 안전성이 모든 모델의 고유한 안전성 정렬을 의미하는 것은 아니라는 분석도 나왔다. 공동 연구진이 역할극이나 가상의 배경, 감정적 호소 등 유해한 요청을 감추는 적대적 프레이밍을 제거하고 같은 정보를 직접 요청하도록 조건을 바꾸자 한국어의 상대적 이점이 대부분 사라졌다. 이 과정에서 모델 유형별 차이도 나타났다. 오픈AI와 앤트로픽, 구글 등 폐쇄형 모델은 적대적 프레이밍을 제거한 뒤에도 한국어에서 다소 낮은 유해성을 유지했지만 5개 오픈소스 프론티어 모델은 오히려 한국어 유해 요청에 응할 가능성이 높아졌다. 연구진은 트랜스크리에이션 과정에서 적대적 프롬프트의 포장 방식이 효과를 잃으면서 초기 결과의 일부가 발생했을 가능성을 제시했다. 한국어에서 낮은 유해성 점수가 나타난 것이 거부율이 높았기 때문만은 아니라는 결과 역시 확인됐다. 모델이 요청을 거부하지 않고 실제 답변을 제공한 사례만 따로 분석해도 14개 모델 중 12개가 한국어 질문에 더 낮은 유해성의 응답을 내놨다. 동시에 무해한 한국어 요청에 대한 거부도 늘었으며 일부 모델에서는 거부 빈도가 약 두 배까지 증가했다. 공동 연구진은 이번 결과가 영어 프롬프트를 다른 언어로 번역하는 방식만으로는 배포 환경의 AI 안전성을 충분히 평가하기 어렵다는 점을 보여준다고 설명했다. 실제 서비스에서는 언어와 함께 제도·기관·인물·사건 등 지정학적 맥락도 달라지는 만큼, 안전성 평가에서도 이를 함께 반영해야 한다는 것이다. 인공지능안전연구소와 스케일 AI는 공동 연구와 거대언어모델(LLM) 평가, AI 시스템 취약점과 잠재적인 적대적 악용방식을 식별하기 위한 레드티밍 활동 등을 이어갈 방침이다. 공동 연구진은 "ROK-포트리스의 더 큰 목표는 측정하기 가장 쉬운 환경이 아니라 있는 그대로의 현실 세계를 반영하는 안전성 평가 체계를 확립하는 것"이라며 "영어 환경에서 안전장치가 작동하는지를 확인하는 데 그치지 않고, AI가 실제로 사용될 다양한 맥락에서도 안전성이 일반화되는지를 검증해야 한다"고 말했다.

2026.09.21 11:26이나연 기자

중국, AI 감속 대신 안전장치 강화…미국발 '속도조절론'과 다른 길

인공지능(AI) 안전을 둘러싸고 미국과 중국이 서로 다른 접근법을 택했다. 미국 AI 업계에서 중국까지 참여해 개발 속도를 조절하자는 주장이 나온 반면 중국은 자체 안전장치를 강화하면서 기술 개발은 이어가고 있다. 20일(현지시간) 가디언에 따르면 중국은 최근 미국 AI 업계에서 제기된 '속도조절론'에 선을 그었다. AI가 사람의 통제를 벗어날 가능성 등 위험에는 공감하면서도 개발 속도까지 함께 늦추자는 안은 받아들이지 않았다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 프런티어 AI가 빠르게 발전하면서 통제를 잃을 위험이 커지고 있다며 중국을 포함한 전 세계가 개발 속도를 조절하는 방안을 제안했다. 다만 중국과 안전 문제에서 협력하면서도 첨단 AI 칩과 제조장비에 대한 대중국 수출통제는 유지해야 한다고 주장했다. 미국을 비롯한 민주주의 국가가 중국 등 권위주의 국가보다 AI 기술에서 가능한 한 큰 우위를 유지해야 한다는 입장도 밝혔다. 중국은 이에 반발했다. 중국 외교부는 "공포 조장과 대립, 악성 경쟁은 글로벌 AI 거버넌스 과정을 방해할 뿐"이라고 밝혔다. 가디언은 중국에서 미국의 감속 요구를 현재 기술 우위를 유지하려는 움직임으로 경계하는 시각이 있다고 전했다. 그렇다고 중국이 AI 위험을 외면하는 것은 아니다. 기술 개발을 이어가면서 새롭게 등장하는 위험을 안전 관리 체계에 반영하고 있다. 중국 전국네트워크안전표준화기술위원회는 지난 14일 국가인터넷정보판공실 지도 아래 'AI 안전 거버넌스 프레임워크 3.0'을 발표했다. 2024년 1.0과 지난해 2.0에 이어 AI 기술 변화에 맞춰 세 번째 프레임워크를 내놨다. 새 프레임워크에는 AI 에이전트와 체화형 AI처럼 최근 빠르게 발전한 기술에서 발생할 수 있는 위험이 추가됐다. AI가 사람을 대신해 업무를 수행하면서 가상공간에서 발생한 위험이 현실 세계로 번질 가능성까지 관리 대상으로 삼았다. AI가 스스로 능력을 높이는 '재귀적 자기개선'도 위험 요소에 포함했다. AI 성능이 빠르게 높아지면서 기존 안전장치로 대응하기 어려워질 가능성을 살피겠다는 취지다. 프런티어 AI와 관련한 사이버보안 위협도 다뤘다. 사람이 AI를 계속 통제할 수 있는지도 관리 대상이다. AI가 인간의 의도를 제대로 따르지 않거나 사람의 통제에서 벗어나 행동할 가능성을 위험 요소로 분류하고 이에 대응할 기술과 관리 방안을 제시했다. 중국은 생성형 AI가 확산하기 전부터 관련 관리 체계를 마련해왔다. 2022년부터 알고리즘 등록제를 운영했으며 생성형 AI가 등장한 뒤에는 관련 규정을 추가했다. 최근에는 에이전트와 체화형 AI, 재귀적 자기개선처럼 새롭게 등장한 위험까지 관리 범위를 넓혔다. 주 샤오민 중국 퉁지대 컴퓨터공학과 교수는 지디넷코리아와 통화에서 "중국은 AI를 안전하고 통제할 수 있으면서 건전성 있고 투명성 있게 발전하도록 요구한다"며 "AI 모델을 만들 때 시작 전부터 하나하나 검증하고 모델을 만드는 과정에서도 알고리즘을 테스트하고 강화하는 과정을 반복하고 있다"고 말했다.

2026.09.21 11:22김동원 기자

[AI는 지금] 마이크로소프트 AI 수장 "중국 핑계로 AI 안전 미뤄선 안 돼"

미국과 중국의 인공지능(AI) 경쟁이 거세지는 가운데 마이크로소프트(MS) AI 수장이 기술 경쟁과 별개로 양국 간 안전 협력을 제안했다. 무스타파 술레이만 MS AI 최고경영자(CEO)는 20일(현지시간) CNN과 인터뷰에서 "중국과의 AI 경쟁을 미국이 자체적인 안전 조치를 미루는 이유로 삼아서는 안 된다"며 "미국과 중국이 AI 안전 협약에 참여하고 서로의 안전 관리 방식을 배울 필요가 있다"고 밝혔다. 이번 발언은 미국에서 AI 개발 속도를 늦춰야 한다는 주장을 놓고 논쟁이 이어지는 가운데 나왔다. 도널드 트럼프 미국 대통령은 중국이 빠르게 추격하는 상황에서 미국이 AI 개발 속도를 늦춰서는 안 된다는 입장을 밝혀왔다. 술레이만 CEO는 AI 안전 규제가 반드시 기술 개발을 늦추는 것은 아니라고 주장했다. 규제를 안전을 높이기 위한 공통 규범과 기준을 마련하는 과정으로 규정하며 개발 속도와 안전장치를 함께 가져갈 수 있다고 설명했다. 미국과 중국 가운데 한쪽이 AI 경쟁에서 승리한다는 시각에도 거리를 뒀다. AI 기술이 빠르게 확산되고 오픈소스 모델도 뒤따르는 만큼 특정 국가나 기업이 기술을 독점하기 어려우며 여러 주체가 참여하는 생태계로 접근해야 한다고 주장했다. 중국과의 경쟁과 AI 안전도 분리해 접근해야 한다고 밝혔다. 중국 자동차에 충분한 안전장치가 없다고 해서 미국도 같은 기준을 적용할 이유는 없다는 비유를 들며 중국의 규제 수준과 관계없이 미국이 자체적인 AI 안전 기준을 마련해야 한다고 설명했다. 미국의 안전장치 마련과 함께 중국과 공통 기준을 논의할 필요성도 제기했다. 양국이 AI 안전 협약에 참여해 서로의 관리 경험과 우수 사례를 공유하자는 취지다. 술레이만 CEO는 중국의 AI 기술력도 높게 평가했다. 중국과의 경쟁을 이유로 안전 분야의 협력 가능성까지 닫기보다 서로 배울 부분을 찾고 AI를 둘러싼 적대적인 표현도 낮춰야 한다고 주장했다. 그는 "중국을 우리 스스로의 노력을 진전시키지 않는 핑계로 삼아서는 안 된다"며 "양국 간 적대적인 수사를 낮춰야 한다"고 말했다.

2026.09.21 10:27김동원 기자

트럼프 "'AI 군' 창설…인공지능 이름도 바꾸자"

도널드 트럼프 미국 대통령이 인공지능(AI) 산업을 지원할 'AI 군(포스)' 창설을 예고했다. AI 개발 속도를 늦추자는 목소리가 커지는 가운데 새로운 규제를 늘리기보다 산업 성장을 이어가겠다는 입장도 재확인했다. 19일(현지시간) 로이터와 테크크런치 등에 따르면 트럼프 대통령은 이날 자신의 소셜미디어 트루스소셜을 통해 AI 포스를 만들고 AI 정책을 담당할 새 고위 책임자(AI 차르)를 조만간 임명하겠다고 밝혔다. 다만 AI 포스가 구체적으로 어떤 역할을 맡을지는 공개하지 않았다. 트럼프 대통령은 AI 산업을 별도 규제로 통제하는 데도 부정적인 입장을 나타냈다. AI가 잘못 사용되거나 문제가 발생할 경우 기존 형사·민사 사법체계를 통해 대응할 수 있다며 산업의 성장을 방해하거나 억누르지 않겠다고 주장했다. 이번 발표는 미국에서 AI 개발 속도를 둘러싼 논쟁이 커지는 가운데 나왔다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 AI 능력이 빠르게 향상되는 데 따른 위험을 줄이기 위해 개발 속도를 조절하는 방안을 제안했다. 샘 올트먼 오픈AI CEO와 일론 머스크도 이에 동의한다는 뜻을 나타냈다. 트럼프 대통령은 AI 개발 속도를 늦추는 데 반대해왔다. 그는 최근 AI 위험에 대한 우려가 과장됐다고 주장하며 미국이 개발 속도를 늦추면 중국과의 경쟁에서 불리해질 수 있다는 입장을 보여왔다. 미국과 중국은 AI를 경제와 군사 경쟁력을 좌우할 기술로 보고 있다. 트럼프 대통령과 시진핑 중국 국가주석은 다음 주 정상회담을 앞두고 있으며 미국 정부 관계자들은 중국과의 협의에서 AI 문제를 다룰 예정이라고 밝혔다. 트럼프 대통령은 AI라는 명칭 자체를 바꾸자는 제안도 내놨다. 인공지능이라는 표이 기술을 제대로 설명하지 못한다며 '우월 지능'과 '극한 지능', '최고 지능' 등을 새로운 이름으로 제시하고 트루스소셜에서 이용자 투표를 시작했다. 트럼프 대통령은 "우리는 어떤 방식으로도 이 놀라운 산업의 성장을 방해하거나 억누르지 않을 것"이라며 "오히려 이를 소중히 여기고 돕고 성장하는 과정을 지켜볼 것"이라고 말했다.

2026.09.20 09:42김동원 기자

AI 속도 조절 제안한 앤트로픽, 모델 개발 전 과정 외부 검증

앤트로픽이 인공지능(AI) 개발 속도를 둘러싼 안전 논의를 실제 검증 단계로 옮긴다. 외부 평가자를 회사 내부에 배치해 AI 개발 과정의 안전성을 검증하기로 했다. 앤트로픽은 18일(현지시간) 자사 블로그를 통해 액센츄어와 프런티어 AI 독립 평가를 위한 파트너십을 체결했다고 밝혔다. 액센츄어의 AI 전문 조직 '패컬티'가 직원과 비슷한 수준의 접근 권한을 받아 모델 훈련부터 개발·배포 과정까지 내부에서 평가한다. 모델 평가와 레드팀 테스트를 비롯해 정렬 평가와 안전장치 시험도 맡는다. 액센츄어는 기업과 정부의 AI 도입을 지원해 온 글로벌 컨설팅·기술 서비스 기업이다. AI와 데이터, 사이버보안, 기업 시스템 구축 등의 사업을 수행하고 있다. 현재 120여 개국에서 약 9000개 고객사를 지원하고 있다. 앤트로픽은 액센츄어가 여러 산업에서 AI를 실제 구축해 온 경험을 모델 안전성 평가에 활용할 수 있다고 설명했다. 이번 협력은 최근 앤트로픽이 제기한 AI '속도조절론'의 후속 조치다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 '우리는 프런티어의 속도를 조절해야 한다'는 글에서 외부 평가자를 AI 기업 내부에 배치하는 방안을 제시했다. 앤트로픽은 이번 협력을 당시 약속을 이행하기 위한 중요한 단계로 규정했다. 내재형 평가로 불리는 이 방식은 완성된 모델을 외부에서 시험하는 기존 평가와 달리 AI가 만들어지는 과정부터 살펴본다. 평가자는 모델 훈련 과정과 개발·배포 과정에서 내려지는 결정을 확인하고 회사 직원들과 직접 소통한다. 평가자는 앤트로픽이 AI 안전과 관련해 내건 약속을 실제로 지키는지 확인하고 내부에서 놓친 위험을 찾는다. 사고가 발생하면 이를 보고하고 AI가 가져올 이점과 위험에 대해 외부에 보다 구체적인 정보를 제공하는 역할도 맡는다. 앤트로픽과 액센츄어는 내재형 평가 역량을 구축하기 위해 앞으로 5년간 각각 최소 10억 달러(약 1조3800억원)를 투자할 예정이다. 다만 내재형 평가는 아직 초기 단계여서 운영 기준은 마련되지 않았다. 평가자가 기업 내부의 어떤 정보까지 접근할 수 있는지와 평가 결과를 어떻게 공개할지에 대한 기준도 정해지지 않았다. 평가 비용을 마련하는 방식도 과제로 남아 있다. 이번 액센츄어의 평가 비용은 앤트로픽이 직접 부담하지만 장기적으로는 공동 기금이나 정부 재원을 활용해야 한다는 게 앤트로픽의 입장이다. 앤트로픽은 여러 외부 기관이 함께 AI를 검증하는 체계도 추진한다. 현재 비영리 AI 평가기관 '메트르' 등과 내재형 평가 방식을 시범 적용하는 방안을 논의하고 있으며 앞으로 몇 주 안에 추가 협력 기관을 발표할 예정이다. 액센츄어와의 협력도 독점 계약이 아니어서 다른 AI 개발사도 같은 방식의 평가를 받을 수 있다. 앤트로픽은 "독립적인 내재형 평가자는 우리의 책임을 줄이는 것이 아니라 이를 더 검증 가능하게 만드는 역할을 한다"며 "모델의 안전에 대한 책임은 여전히 우리에게 있다"고 밝혔다.

2026.09.20 09:37김동원 기자

[AI는 지금] AI 위험 경고만 해선 안 된다…팔란티어, '기업 책임론' 제기

팔란티어가 인공지능(AI) 안전 논쟁에 '기업 책임론'을 꺼냈다. AI 개발 속도를 늦추거나 외부 감시를 강화하기에 앞서 기술을 만든 기업이 발생한 문제에 직접 법적 책임을 져야 한다는 주장이다. 알렉스 카프 팔란티어 최고경영자(CEO)는 17일(현지시간) CNBC와 인터뷰에서 "AI에는 합리적인 가이드라인이 필요하다"며 "이 문제를 막기 위한 첫 번째 단계는 자기 행동에 대해 책임지는 것"이라고 말했다. 카프 CEO는 AI를 개발한 기업과 경영진에게 민사뿐 아니라 형사 책임까지 물을 수 있어야 한다고 주장했다. 기업이 위험한 기술을 개발했다면 그로 인해 발생하는 피해에도 책임을 져야 한다고도 강조했다. AI 기업이 안전 지침과 안전장치를 제대로 지키는지 독립적인 제3자가 평가하는 방안에는 부정적인 의견을 밝혔다. AI 안전을 평가하려면 관련 기술을 이해하는 전문가가 필요하지만 이들 상당수가 이미 기업 등에 고용돼 있어 평가자를 신뢰하기 어렵다고 지적했다. 카프 CEO는 AI 기업이 떠안을 법적 책임을 설명하면서 국유화 가능성도 언급했다. 고객사의 데이터와 사업 노하우가 AI 모델에 들어간 뒤 경쟁사 등에 활용될 경우 해당 기업들이 대규모 소송에 직면할 가능성을 제기했다. 팔란티어 고객사들도 자사 사업 노하우가 AI 모델에 흡수돼 다른 기업에 활용될 가능성을 우려하고 있다고 전했다. 카프 CEO는 AI 기업을 국유화하지 않을 경우 고객사들이 소송에 나설 수 있다며 정부 개입 가능성까지 거론했다. 카프 CEO는 "전 세계 10%를 파괴할 수 있는 기술을 만든다면 그에 따른 민사·형사 책임이 뒤따라야 한다"며 "우리는 이 문제를 진지하게 다뤄야 한다"고 말했다.

2026.09.18 17:38김동원 기자

공격도 방어도 AI가…"사업자 보안·복원력 의무화해야"

인공지능(AI)이 사이버 공격을 자동화하는 수단인 동시에 새로운 공격 대상으로 떠오르면서 고영향 AI 사업자에 대한 보안과 복원력 확보 의무를 강화해야 한다는 목소리가 나왔다. 현행 AI기본법에는 사이버보안이나 적대적 공격에 대한 복원력을 명시한 규정이 없어 AI 시대의 보안 위협에 대응하기에 한계가 있다는 지적이다. 국회입법조사처는 이달 초 발간한 'AI로 인한 새로운 보안 위험과 대응에 관한 국내외 입법·정책 비교 연구'에서 AI 발전에 따라 'AI에 의한 위협'과 'AI에 대한 위협'이 동시에 확대되고 있다고 분석했다. 보고서는 생성형 AI와 거대언어모델(LLM)을 활용하면 사이버 공격에 필요한 도구를 생성할 수 있으며 에이전틱 AI 사용 시 외부 도구와 시스템을 연동해 공격 과정을 자동화할 수 있다고 설명했다. AI 활용으로 공격자에게 요구되는 전문 지식이 줄어들면서 공격 준비 시간과 비용이 감소하고, 공격의 속도와 규모가 커질 가능성도 제기했다. 동시에 AI 자체도 새로운 공격 대상이 되고 있다. 머신러닝·딥러닝은 학습 데이터와 모델 자체, 생성형 AI·LLM은 입력과 생성 결과, 에이전틱 AI는 외부 도구 연동과 권한 위임 과정, 피지컬 AI는 센서 입력과 제어 명령이 주요 위협 지점으로 꼽혔다. 국내 제도는 이같은 변화에 충분히 대응하지 못하고 있다는 게 보고서의 분석이다. 현행 AI기본법은 고영향 AI 사업자의 책무와 영향평가를 규정하고 있지만 유럽연합(EU) AI법과 달리 사이버보안이나 적대적 공격 복원력에 관한 명문 규정이 없다. 보안 거버넌스가 공공·민간·금융 등 영역별로 나뉘어 있다는 점도 지적됐다. 국가정보원, 한국인터넷진흥원(KISA), 금융보안원 등이 각 소관 영역에서 위협 정보 공유와 사고 조사를 수행하지만 영역을 초월하는 사이버 침해 사고에 대한 범국가적 차원의 단일 정보 공유와 대응에는 한계가 있다는 것이다. 대안으로는 AI의 전 생애주기에 걸친 보안 설계와 복원력 강화를 비롯해 제로트러스트와 소프트웨어 자재명세서(SBOM)를 AI에 적용한 'AI-BOM'의 법제화가 제안됐다. 보고서는 AI 기반 방어와 신속한 패치 체계를 마련하고, KISA·금융보안원·국정원·경찰 등으로 분산된 침해사고 신고·대응 창구를 실무적으로 일원화하는 방안도 제시했다. 연구 책임자인 이해원 강원대 법학전문대학원 교수는 "AI발 사이버 침해사고가 기존 사고보다 신속화·대량화·다각화·전문화돼 완벽한 방어를 기대하기 어렵다"고 말했다. 이어 "사고 발생시 선 복원력 확보 후 원인조사 및 책임추궁 체계 정립이 필요하다"고 부연했다.

2026.09.18 11:57이나연 기자

[AI는 지금] AI 속도조절하려면 속도부터 알아야…앤트로픽, 내부 지표 공개

인공지능(AI) 개발 속도조절을 위해 기업 간 투명성과 검증을 강조해 온 다리오 아모데이 앤트로픽 최고경영자(CEO)가 자사 내부 수치부터 공개했다. ▲AI가 연구개발을 맡고 있는 현황 ▲에이전트 감시 현황 ▲안전에 투입하는 컴퓨팅 자원까지 구체적인 숫자로 제시했다. 앤트로픽은 17일(현지시간) 공식 블로그에 프런티어 AI 개발 속도를 파악하기 위한 측정 지표와 자사 조사 결과를 발표했다. AI 연구개발 자동화와 AI 에이전트 감시, 컴퓨팅 자원 배분 등 세 영역을 조사했다. 조사 결과 앤트로픽 내부에서는 AI가 사람의 지시를 받아 연구를 돕는 수준에서 일부 업무를 주도하는 단계로 확대됐다. 사람이 큰 목표만 정해주면 클로드가 대부분 작업을 수행하는 주도 단계는 지난 2월 1% 미만에서 8월 26%로 높아졌다. 사람이 긴밀하게 관여하는 협업 단계 이상까지 포함하면 전체 AI 연구개발 업무의 90%를 넘었다. 주도 단계에서는 사람이 큰 목표를 정하면 이후 대부분의 작업을 클로드가 수행한다. 사람은 이를 감독하고 최종 적용 여부를 결정한다. 사람이 개입하지 않는 완전 자율 단계에 도달한 업무는 아직 없었다. 앤트로픽은 AI가 AI 개발에 더 많이 참여할수록 개발 속도가 빨라질 가능성이 있다고 설명했다. 성능이 높아진 AI가 다음 모델 개발에 투입되고 새 모델이 다시 연구개발에 참여하는 과정이 반복되면 개발 주기가 짧아질 수 있어서다. AI가 맡는 업무가 늘면서 에이전트를 사람이 얼마나 통제할 수 있는지도 측정했다. 지난 8월 앤트로픽에서 가장 많이 사용하는 내부 플랫폼에서는 한 시점에 약 3만 개 AI 에이전트가 연구와 엔지니어링 업무를 수행했다. 이들이 한 달간 내린 판단과 행동은 10억 건을 넘었다. 앤트로픽은 에이전트의 모든 행동을 실행 전에 검사했다. 이 가운데 문제가 있다고 판단해 막은 비율은 0.002%로 약 4만 7000건당 1건이었다. 문제가 발생하는 비율이 낮아도 에이전트의 활동량이 커지면 실제 발생 건수는 늘어날 수 있다. 앤트로픽은 수백만개에서 수십억개의 에이전트가 활동하는 상황에 대비해 이들의 행동을 제대로 감시하고 통제할 수 있는지도 함께 확인해야 한다고 설명했다. 안전 연구에 사용하는 컴퓨팅 자원도 측정했다. 지난 7월 13일부터 20일까지 AI 연구개발에 투입한 컴퓨팅 자원의 약 6%가 안전 연구에 쓰였다. AI가 수행하는 AI 연구개발로 범위를 좁히면 12%였다. 다만 컴퓨팅 자원만으로 안전 연구 규모를 모두 파악하기는 어렵다는 게 회사 측의 설명이다. 안전 연구는 연구자가 실험을 설계하고 분석하는 데 많은 시간이 들지만 실제 연산량은 상대적으로 적을 수 있어서다. 앤트로픽은 이런 측정치를 향후 안전조치의 기준으로 활용하는 방안도 제시했다. AI 연구개발 자동화가 일정 수준에 도달하면 새 모델을 다시 AI 개발에 투입하기 전 일정 기간 안전성을 시험하거나 AI 연구 에이전트에 배정하는 컴퓨팅 자원을 제한하는 방법이다. 앤트로픽은 여러 기관의 독립적인 외부 평가자를 내부에 배치할 계획이다. 자체 위험평가팀과 비슷한 수준으로 내부 절차와 시스템, 데이터에 접근하도록 해 안전조치와 사고, 주요 지표 등을 검증하게 한다. 앤트로픽의 이번 행보는 아모데이가 최근 제안한 AI 개발 속도조절 논의 연장선으로 해석된다. 아모데이는 지난 12일 AI 개발 속도를 조절해 안전 연구에 필요한 시간을 확보해야 한다고 주장했다. AI 기업의 투명성을 높이고 업계가 공통으로 적용할 수 있는 기준을 마련하는 방안도 제안했다. 앤트로픽은 "프런티어 AI 개발 속도 조절을 검토하는 상황에서 연구소가 아는 것과 대중이 아는 것 사이의 격차를 가능한 줄여야 한다"며 "AI 개발을 더 잘 측정하고 공개해 사회가 이 정보를 어떻게 사용할지 결정할 기회를 제공해야 한다"고 밝혔다.

2026.09.18 08:41김동원 기자

[AI 속도 논쟁③] "200㎞ 달려도 도로에선 100㎞"…한국 AI, 어디서 브레이크 걸까

글로벌 인공지능(AI) 업계에서 개발 속도를 늦춰야 한다는 주장이 커지면서 한국도 같은 브레이크를 밟아야 하는지가 관심사로 떠올랐다. 국내에서는 연구개발까지 늦추기보다 기술 개발은 이어가되 모델이 시장에 나오고 사람을 대신해 행동하는 단계부터 위험에 맞는 안전장치를 강화해야 한다는 목소리가 나온다. 국내 AI 업계와 학계는 한국이 아직 글로벌 프론티어 AI 선두권을 추격하는 상황에서 개발 속도부터 낮추는 것은 현실적이지 않다고 진단했다. 대신 모델 공개와 서비스 출시, 실제 활용을 구분해 단계별로 다른 안전 기준을 적용할 필요가 있다고 봤다. AI 업계 안팎에서는 AI가 맡는 역할과 권한에 따라 안전 기준도 달라져야 한다고 봤다. 질문에 답하는 AI와 예약·결제 등 실제 행동까지 맡는 AI를 같은 수준으로 볼 수 없다는 지적이다. "200㎞ 달리는 차도 도로에선 적정 속도"…개발과 사용은 따로 박지환 씽크포비엘 대표는 17일 지디넷코리아와의 통화에서 한국이 아직 AI 연구개발 속도를 늦출 단계는 아니라고 짚었다. 글로벌 프론티어 AI를 추격해야 하는 만큼 기술 성능을 높이는 연구는 이어가되 실제 사회에서 어디까지 쓰게 할지는 별도의 기준으로 정해야 한다고 봤다. 박 대표는 이를 자동차에 빗댔다. 자동차는 시속 200㎞가 넘는 속도를 낼 수 있도록 개발돼도 실제 도로에서는 시속 80㎞나 100㎞의 제한속도를 적용한다. 일부 승합차처럼 용도나 위험도에 따라 차량 자체의 최고속도를 제한하기도 한다. 그는 "자동차가 시속 200㎞ 넘게 달릴 수 있다고 해서 모든 도로에서 그 속도로 달리게 하지는 않는다"며 "AI도 성능을 어디까지 높일 것인지와 사회에서 어디까지 사용할 수 있게 할지는 구분해야 한다"고 강조했다. 이어 "200㎞ 이상을 달리는 자동차를 연구하는 것처럼 AI 선행 연구는 계속해야 한다"며 "동시에 그 기술을 사회에서 안전하게 사용할 수 있도록 제도를 갖추는 게 필요하다"고 덧붙였다. AI가 답변에서 '실행'으로 넘어가면서 이런 고민은 실제 서비스 현장으로 옮겨가고 있다. 자체 AI 모델과 대국민 서비스를 함께 개발하는 SK텔레콤은 '모두의 AI'에서 병원 예약 등 이용자를 대신해 업무를 수행하는 실행형 AI 에이전트를 준비 중이다. 김지훈 SK텔레콤 AI사업본부장은 에이전트가 직접 행동하는 범위가 넓어질수록 이용자가 어디까지 권한을 맡길지 기준을 세우는 일이 중요해진다고 봤다. 민원이나 금융처럼 개인정보와 돈이 오가는 업무에서는 이용자 동의와 안전장치도 필요하다고 설명했다. SK텔레콤은 이용자 동의 없이 처리할 수 있는 업무와 별도 승인이 필요한 업무를 구분하는 방안을 검토하고 있다. 보안업체와 레드팀도 꾸려 실행형 에이전트의 취약점을 사전에 점검 중이다. 김 본부장은 "에이전트를 어떻게 설계하고 고객 정보를 처리할지, 어떤 방식으로 권한을 얻을지에 대한 논의가 업계에서 더 많이 이뤄져야 한다"며 "성능은 빠르게 높아지고 있지만 관련 가이드라인과 규칙은 아직 초기 단계"라고 말했다. 연구는 계속, 시장에 나올 땐 검증…위험 따라 달라지는 '브레이크' 유창동 한국과학기술원(KAIST) 전기및전자공학부 교수는 기업 내부의 연구개발까지 인위적으로 늦추기는 어렵다고 내다봤다. 다른 국가와 기업들이 개발을 이어가는 상황에서 연구 경쟁 자체를 멈추기는 쉽지 않다는 이유다. 다만 제품을 외부에 내놓기 전에는 별도의 안전 검증이 필요하다고 선을 그었다. 유 교수는 "개발은 계속하더라도 외부로 출시하는 제품은 안전성을 확인하면서 속도를 조절하는 게 맞다"며 "평가 기준과 벤치마크 데이터셋을 마련해 위험 수준을 점검해야 한다"고 제언했다. 정부도 연구개발 속도 자체를 낮추기보다 기술 발전과 안전장치를 함께 끌어올리는 쪽에 무게를 두고 있다. 배경훈 부총리 겸 과학기술정보통신부 장관은 최근 "이미 앞서 있는 나라가 속도를 조절하는 것과 추격하면서 동시에 새로운 시장을 만들어야 하는 나라가 스스로 속도를 낮추는 것은 전혀 다른 문제"라고 밝혔다. 배 부총리는 이를 '속도책임'이라고 표현했다. 그는 "AI 연구개발과 산업 활용에는 과감하게 가속페달을 밟되 위험에는 제대로 작동하는 브레이크를 갖춰야 한다"며 "속도는 경쟁력이고 안전은 지속가능성"이라고 강조했다. 그러나 안전 우려가 커져도 실제 AI 개발 경쟁이 느려질 가능성은 낮다는 관측도 나온다. 일부 기업이나 국가가 속도를 줄이더라도 다른 개발 주체들이 계속 경쟁하는 상황에서는 모두가 동시에 감속하기 어렵다는 이유다. 신정규 래블업 대표는 "아무도 개발 속도를 늦추지 않을 것"이라며 "AI를 직접 만들어보니 위험하다는 점은 이제 확실하고 개발자와 연구자들 사이에서도 이런 위기감이 상당히 일반화돼 있다"고 진단했다. 더 큰 문제는 개발을 이어가는 동안 마련한 안전장치가 예상하지 못한 위험까지 막아낼 수 있느냐다. 신 대표는 기업들이 사전에 여러 대책을 마련하더라도 모든 사고를 미리 차단하기는 어려울 것으로 내다봤다. 그는 "여러 사전 대책을 만들고 도입하겠다는 회사들이 나오겠지만 결국 그것만으로 막지 못하는 큰 사고가 한 번은 날 것"이라며 "그 사고가 치명적이지 않기만을 바란다"고 말했다.

2026.09.17 16:50김동원 기자

[AI 속도 논쟁②] 빅테크가 정한 AI 안전 기준…스타트업 추격 막을까

인공지능(AI) 개발 속도를 늦추자는 주장이 미국과 중국 간 기술 경쟁을 넘어 국내외 스타트업 성장 기회와 맞물린 논쟁으로 번지고 있다. 안전성 확보를 위한 검증 강화와 기술통제가 스타트업 개발 부담을 키울 수 있어서다. AI 위험을 줄이려는 조치가 선도기업의 우위를 굳히는 진입장벽이 될 수 있다는 우려도 나온다. 17일 업계에 따르면 미국과 중국이 AI 안전 기준과 기술통제 방식을 놓고 이견을 보이는 가운데, 관련 조치가 국내외 스타트업의 기술 개발에 미칠 영향도 쟁점으로 떠오르고 있다. 자체 모델 개발사에는 안전 검증 비용이, 외부 모델로 서비스를 만드는 기업에는 안정적인 기술 접근이 주요 변수가 될 수 있다는 점에서다. 이번 논쟁에 불을 붙인 것은 다리오 아모데이 앤트로픽 최고경영자(CEO)의 최근 기고다. 아모데이 CEO는 AI 성능이 빠르게 높아지는 만큼 개발 속도를 조절해 위험을 확인하고 통제할 시간을 확보해야 한다고 주장했다. 이를 위해 외부 평가자가 AI 기업 내부의 안전 조치를 검증하고 국가 간 공통 기준을 마련하자고 제안했다. 구체적으로는 AI 모델의 능력이 일정 수준을 넘으면 그에 맞는 안전성을 입증하도록 하는 방안을 제시됐다. 모델이 수행할 수 있는 일이 늘어날수록 위험도 커질 수 있는 만큼 평가와 감사 등을 통해 안전장치가 제대로 작동하는지 확인하자는 취지다. 아모데이 CEO 제안에는 중국의 기술 추격을 억제해야 한다는 주장도 담겼다. 미국 기업이 안전성을 점검하는 동안 중국이 앞서가는 상황을 막기 위해 대중국 반도체 수출통제를 강화해야 한다는 것이다. 미국이 기술 우위를 유지해야 개발 속도를 조절할 여유도 확보할 수 있다는 논리다. 중국은 이를 안전을 명분으로 자국의 AI 발전을 억제하려는 시도로 받아들였다. 지난 14일 중국 관영 환구시보는 아모데이 CEO의 감속 제안을 중국을 겨냥한 냉전식 접근이라고 비판했다. 안전 검증과 경쟁국에 대한 기술통제를 함께 추진하자는 구상이 갈등을 키운 셈이다. 검증 비용에 모델 접근 제한까지…스타트업 부담 업계에서는 안전 기준 강화 영향이 적용 범위에 따라 국내외 스타트업으로 확대될 수 있다고 봤다. 일정 수준 이상 성능을 갖춘 모델에 외부 안전평가와 검증을 의무화하면 해당 모델을 개발하는 스타트업도 관련 인력과 체계를 새로 갖춰야 하기 때문이다. 전문가들은 스타트업이 느낄 가장 큰 부담이 평가 비용 자체보다 내부에 부족한 AI 신뢰성 역량을 단기간에 확보해야 한다는 점이라고 지적했다. 위험 요소 발굴과 데이터 검증, 편향·견고성 측정, 인간 감독 설계, 사고 대응 체계까지 마련하려면 전문인력과 조직 전반의 투자가 필요하다는 설명이다. 박지환 씽크포비엘 대표는 "옆 사람이 쓰러졌을 때 살려야 한다고 생각하는 것은 윤리지만 실제로 사람을 살리려면 심폐소생술이라는 기술이 필요하다"며 "스타트업은 AI 위험을 찾아내고 대응할 수 있는 신뢰성 전문역량을 갖춰야 한다"고 말했다. 이어 "이는 식당이 맛있는 음식을 만드는 능력뿐 아니라 위생을 관리할 설비와 체계, 전문인력까지 갖춰야 영업할 수 있는 것과 같다"며 "그동안 AI 기업들이 성능과 개발 속도에 집중했다면 이제는 안전관리 역량까지 한꺼번에 확보해야 한다는 점이 부담일 것"이라고 설명했다. 모델 실제 위험에 맞춰 검증 수준을 세분화할 수 있느냐고 관건으로 꼽히고 있다. 위험도를 충분히 구분하지 않은 채 획일적인 기준을 적용하면 인력과 자금이 부족한 스타트업은 기술 개발에 투입할 자원을 평가와 감사 대응에 사용해야 할 수 있다. 제품 출시가 늦어지고 선도기업과의 격차를 좁히기도 어려워질 가능성이 있다. 외부 모델을 활용하는 스타트업에는 기술 접근 제한이 더 직접적인 문제가 될 수 있다는 우려도 나오고 있다. 모델 공급사가 안전을 이유로 이용 대상이나 기능을 제한하거나 정부가 접근을 차단하면 기존 서비스 운영과 신규 기능 개발에 차질이 생길 수 있기 때문이다. 한 AI 스타트업 관계자는 "다른 모델로 바꾸는 작업은 결코 쉽지 않다"며 "대체 모델을 확보하더라도 답변 정확도와 처리 속도, 이용 비용을 다시 검증하고 서비스 구조도 수정해야 한다"고 지적했다. 국내에서는 AI 안전 규범을 마련하되 후발기업의 개발 여건도 함께 고려해야 한다는 제언도 나왔다. 안전과 산업 육성을 병행하면서 기업 규모와 모델 위험도에 따라 규제를 차등 적용해야 한다는 주장이다. 김동환 포티투마루 대표는 "현실적으로 기술 개발과 안전장치 마련을 병행할 수밖에 없다"며 "특정 기업이나 국가의 이익을 대변하지 않도록 전 인류의 지혜를 모아야 한다"고 강조했다. 이어 "한국 기업도 국제 기준을 만드는 과정에 참여해야 한다"고 덧붙였다. 중국에서는 안전 기준 권한이 소수 빅테크에 집중될 수 있다는 우려가 나왔다. 지난 16일 홍콩 사우스차이나모닝포스트(SCMP)에 따르면 딥시크 V4.1 개발에 참여한 류성위 엔지니어는 최근 소셜미디어에서 앤트로픽과 오픈AI의 폐쇄형 전략을 비판하며 빅테크가 첨단 기술 이용 조건까지 좌우하는 구조를 경계해야 한다고 주장했다. 그는 "앤트로픽이나 오픈AI가 최첨단 AI를 언제나 개방적이고 저렴하게 제공할 것이라고 믿지 않는다"고 비판했다.

2026.09.17 16:45김미정 기자

'AI 안전성' 논쟁 갈수록 확대…英 찰스 3세도 가세

최근 앤트로픽 등 주요 인공지능(AI) 업체 수장들에 도널드 트럼프 미국 대통령까지 가세하면서 AI 위험성 관련 논쟁이 뜨겁게 달아오르고 있다. 이런 가운데 영국 왕실이 AI 안전성과 사회적 영향에 대해 논의하는 자리를 마련해 주목받고 있다. CNN 등 외신은 16일(이하 현지시간) 찰스 3세 영국 국왕이 오는 17일 AI 기업과 정부, 자선단체 고위 인사들을 초청해 AI 기술 활용 방안을 논의할 예정이라고 보도했다. 찰스 3세는 이날 회담에 직접 참여하는 대신 중재자 역할을 맡을 전망이다. 참석자들은 AI 기술이 미래에 인류와 지구 모두에 이익이 되는 방향으로 발전할 수 있도록 공통의 원칙을 마련할 수 있을지 논의할 예정이다. 회담에는 카니슈카 나라얀 영국 AI 담당 장관을 비롯해 엔비디아, 구글 딥마인드, 오픈AI, 앤트로픽 등 주요 AI 기업 관계자들이 참석할 예정이다. 다만 각 기업에서 누가 참석할지는 아직 확정되지 않은 것으로 알려졌다. 찰스 3세 국왕은 약 20분간 회담에 참석할 예정이다. 외신에 따르면 젠슨 황 엔비디아 최고경영자(CEO), 데미스 허사비스 구글 딥마인드 공동창업자, 바티칸 AI 자문위원인 파올로 베난티 신부 등도 초청 명단에 포함됐다. 그 동안 찰스 3세 국왕은 AI에 대해 공개적으로 언급하는 경우가 많지 않았지만, 관련 발언을 할 때마다 위험성을 경고하는 취지의 메시지를 내놓았다고 CNN은 분석했다. 찰스 3세는 2023년 영국에서 열린 AI 안전 정상회의 당시 녹화 연설을 통해 AI 기술이 "심각한 도전 과제를 제시한다"고 지적했다. 이어 "개인의 사생활과 생계를 보호하고 민주주의를 위협으로부터 지키며, 신기술의 혜택이 모두에게 공평하게 돌아가도록 해야 한다"고 강조했다. 2024년 영연방 정상회의 연설에서도 AI를 사회에 해를 끼치는 기술이 아니라 도움이 되는 방향으로 활용하는 것이 중요하다고 언급했다. 한편 영국은 AI 안전성 분야에서 다소 모호한 위치에 있다고 CNN은 평가했다. 세계 최고 수준의 대학과 AI 안전 연구기관을 보유하고 있지만, 최첨단 AI 모델의 개발은 주로 미국과 중국 기업들이 주도하고 있어 영국의 영향력에는 한계가 있다는 분석이다.

2026.09.17 15:47이정현 미디어연구소

[AI는 지금] 미군 AI 활용 전방위 확대…美 의회, 통제·의존 위험 경고

미군의 인공지능(AI) 활용이 빠르게 늘면서 AI 에이전트의 통제 실패와 군인의 과도한 의존을 우려하는 목소리가 미국 의회에서 나오고 있다. 군 전반으로 AI가 확산될수록 예상하지 못한 작동과 기존 전투 능력 저하에 대비해야 한다는 지적이다. 16일(현지시간) 미국 정치전문매체 폴리티코에 따르면 미국 국방부가 AI 활용 범위를 넓히는 가운데 상원에서는 AI 도입 과정에서 발생할 새로운 위험을 점검해야 한다는 요구가 제기됐다. 미국 국방부는 중국 등 경쟁국보다 먼저 군사 AI 역량을 확보한다는 목표 아래 AI 활용 범위를 계속 넓히고 있다. 생성형 AI를 군 내부 업무에 도입한 데 이어 여러 작업을 스스로 수행하는 AI 에이전트 활용도 추진하고 있다. 트로이 마인크 미국 공군장관은 "AI 경쟁은 미국이 질 수 없는 경쟁"이라고 말했다. 미국 국방부는 AI를 활용하지 않는 데 따른 위험도 고려하며 군 전반에 관련 기술을 도입하고 있다. 의회가 우려하는 부분은 AI 활용 확대 과정에서 발생할 수 있는 통제 문제다. 리처드 블루멘털 민주당 상원의원은 최근 민간에서 발생한 AI 에이전트의 통제 실패가 군에서도 반복될 가능성을 경고했다. 블루멘털 의원은 "통제를 벗어난 AI 에이전트가 웹사이트에 침입하거나 시스템 성능을 떨어뜨리는 문제가 미국 국방부에도 적용될 수 있다"고 말했다. 그는 지난 9일 오픈AI의 AI 에이전트가 안전장치를 우회해 AI 플랫폼 허깅페이스에 침입한 사건과 관련해 샘 알트먼 오픈AI 최고경영자(CEO)에게 자료 제출과 해명을 요구했다. 의원실에 따르면 에이전트들은 보안 취약점을 찾는 과정에서 서로 정보를 공유하고 감시를 피하려 한 정황도 드러났다. 군인이 AI에 지나치게 의존하면서 기존 능력이 떨어질 가능성도 점검 대상에 올랐다. 상원 군사위원회가 마련한 2027 회계연도 국방수권법안(NDAA)은 AI 도입이 군인의 '필수 전투 기술' 유지에 미치는 영향을 종합적으로 평가하고 이를 담당할 고위 책임자를 지정하도록 했다. 마크 켈리 민주당 상원의원과 톰 코튼 공화당 상원의원이 지난 6월 공동 발의한 '전투원 AI 준비태세법(WARP Act)'도 군인의 AI 의존에 따른 영향을 구체적으로 살피도록 했다. AI를 사용할 때와 사용하지 않을 때 임무 수행 능력을 비교하고 장기간 사용으로 숙련도가 떨어지는지와 기존 능력을 되찾는 데 얼마나 걸리는지 추적하도록 하는 내용이다. AI 지원이 끊긴 상황에 대한 대비도 포함됐다. 시스템 장애나 적의 공격으로 AI를 사용할 수 없을 때 군인이 기존 기술과 판단만으로 작전을 이어갈 준비가 돼 있는지 확인하고 AI 의존에 취약한 보직과 임무를 파악하도록 했다. 다만 의회의 움직임이 군의 AI 활용 자체를 제한하는 데 초점을 맞춘 것은 아니다. 국방수권법안에는 미국 국방부가 AI 에이전트를 대규모로 활용할 수 있는 체계를 구축하는 내용과 함께 에이전트에 적용할 보안 기준과 지침을 마련하도록 하는 조항도 담겼다. 코튼 의원은 법안 발의 당시 "미래 분쟁에서 우리의 군사적 우위는 AI를 최대한 활용하는 것만큼 AI 시스템이 실패했을 때 적응하고 임무를 수행할 수 있느냐에 달려 있다"고 말했다.

2026.09.17 10:24김동원 기자

행안부 지방정부 AI 우수사례 발표대회...전북특별자치도 '대통령상'

전북특별자치도가 자체 구축한 생성형 인공지능(AI) 시스템 '전북AI'로 지방정부 AI 우수사례 발표대회 최고상인 대통령상을 수상했다. 행정안전부는 16일 '제43회 지역정보화(지방정부 AI) 우수사례 발표대회' 시상 결과를 발표했다. 대통령상은 전북특별자치도, 국무총리상은 서울특별시 광진구가 각각 받았으며 부산광역시·대구광역시 수성구·인천광역시·세종특별자치시·충북 청주시·경남 김해시는 행정안전부 장관상 수상기관으로 선정됐다. 전북도가 출품한 사례는 '기술과 조직을 함께 혁신하다 - 오픈소스로 직접 만든 저비용·고성능·고보안 생성형 AI 및 직원 주도 AI 행정 혁신 연구회'다. 전북AI는 외부 업체에 개발을 맡기지 않고 오픈소스를 활용해 도가 직접 구축한 생성형 AI 시스템이다. 한글 문서 작성, 자료 검색, 회의 녹음·요약, 이미지·영상 생성 등 행정업무에 활용할 수 있는 99종의 기능을 제공한다. 전북도는 약 3억원을 투입해 GPU 11개를 탑재한 서버 2대를 구축하고, 오픈소스를 기반으로 시스템을 완성했다. 특히 데이터 처리가 도청 내부 서버에서 이뤄지는 폐쇄망 구조를 적용해 민감한 행정정보의 외부 유출 우려를 낮췄다. 새로운 AI 모델이 나오면 담당자가 성능과 행정 활용 가능성을 직접 검증해 적용할 수 있는 구조도 갖췄다. 외주 개발 없이 기능을 계속 고도화할 수 있다는 점에서 비용 절감과 기술 자립 측면의 평가를 받았다. 도는 전 직원이 상용 AI 서비스를 개별 구독하는 방식과 비교할 경우 연간 약 25억원의 구독 비용을 절감할 수 있을 것으로 기대하고 있다. 자체 AI를 활용한 도 금고 자금운용 최적화, 보고서 작성 자동화 등도 추진하고 있다. 직원 참여형 운영체계도 주요 성과로 꼽힌다. 전북도는 직원들이 자발적으로 참여하는 'AI 행정 혁신 연구회'를 운영하며 실제 업무 담당자가 필요한 기능을 발굴하고, 개발과 개선 과정에 참여하도록 하고 있다. 국무총리상을 받은 광진구는 '정부 AI 챔피언 육성정책의 현장 성과 - 행정직 공무원이 직접 개발한 AI 도구 6종으로 공공 AX 확산' 사례를 발표했다. 광진구는 AI 챔피언을 중심으로 부서 간 연계체계를 구축하고, 실무자 주도의 상향식 AI 전환 절차를 정립했다. 공무원들이 바이브코딩 방식으로 지방행정의 병목 업무를 해결할 AI 도구 6종을 직접 개발한 것이 핵심이다. 광진구는 자체 개발을 통해 약 15억원의 비용 절감 효과를 거뒀으며, 전사 AI 플랫폼 이용자는 25.6% 증가했다고 밝혔다. 개발한 AI 도구를 오픈소스로 공개해 공공정보에 대한 국민 접근성 향상에도 기여했다. 장관상 수상기관들도 행정 현장의 문제 해결에 초점을 맞춘 AI 서비스를 선보였다. 부산시는 RAG 기반 행정지식 검색과 문서 초안 생성, OCR, 공동편집 등을 제공하는 'AI부기주무관'을 구축했다. 대구 수성구는 부동산 거래 과정의 오류와 분쟁을 사전에 줄이기 위한 AI 기반 공공서비스 3종을 예산 없이 개발했다. 인천시는 지하철 역사 화재 발생 때 AI가 실시간으로 최적 피난경로를 안내하는 시스템을 구축했다. 세종시는 재난·사건 상황 인지부터 전파까지를 초 단위로 처리하는 AI 플랫폼 '세종 SIREN'을, 청주시는 재난 위험·신고·관리·통제 정보를 통합 제공하는 재난안전 지도 플랫폼 '상당맵'을 각각 선보였다. 김해시는 공무원 전방배치 개발(FDE) 모델을 기반으로 자체 AI 플랫폼과 AI 에이전트 6종을 개발해 확산 가능성을 제시했다. 이번 대회는 지방정부 공무원들이 AI를 활용해 행정 현장의 문제를 해결하고 업무 방식을 혁신한 사례를 발굴·공유하기 위해 마련됐다. 전국 15개 시·도가 총 24개 사례를 제출했으며 사전심사를 통과한 8개 사례가 본선에서 경쟁했다. 최종 수상작은 외부 전문가 평가와 현장 참가자 투표를 합산해 선정됐다. 황규철 행정안전부 인공지능정부실장은 "이번 발표대회는 지방정부 공무원들이 AI를 활용해 현장의 문제를 직접 해결하고 일하는 방식을 바꾸어 나가는 사례를 공유하는 자리"라며 "앞으로도 현장의 자율적인 AI 실험은 과감히 지원하고, 검증된 우수 사례는 안전한 보안·관리 체계 아래 범정부적으로 공유·확산될 수 있도록 기반을 더욱 공고히 하겠다"고 말했다.

2026.09.16 17:42남혁우 기자

배경훈 부총리 "대한민국 AI 시계 늦추지 않겠다"…'속도책임' 제시

배경훈 부총리 겸 과학기술정보통신부 장관이 글로벌 인공지능(AI) 업계에서 커지는 개발 속도 조절론에 대해 한국은 기술 개발 속도를 늦춰서는 안 된다는 입장을 내놨다. 연구개발과 산업 활용에는 속도를 내되 커지는 위험에는 안전장치를 함께 강화하는 '속도책임'을 해법으로 제시했다. 배 부총리는 16일 자신의 사회관계망서비스(SNS)에 'AI에 필요한 것은 속도조절이 아니라 속도책임'이라는 제목의 글을 올리고 "우리는 지금 AI의 속도를 늦출 여유가 없다"고 밝혔다. 이미 앞선 국가가 속도를 조절하는 것과 추격하면서 새로운 시장을 만들어야 하는 한국이 스스로 속도를 낮추는 것은 다르다는 입장이다. 배 부총리 발언은 최근 글로벌 AI 업계에서 프론티어 AI의 개발 속도를 조절해야 한다는 주장이 커지는 가운데 나왔다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 AI 개발을 멈추기보다 안전 연구와 검증 체계가 따라갈 수 있도록 속도를 조절해야 한다고 주장했다. 배 부총리도 AI 위험에 대한 우려에는 공감했다. AI 선도기업의 막대한 투자 경쟁과 데이터 확보·활용 문제, 고영향 AI가 가져올 예측하기 어려운 위험 등을 "진지하게 고민하고 대비해야 할 문제"로 꼽았다. 다만 한국은 감속보다 기술 영역을 넓혀야 한다고 봤다. 거대언어모델(LLM) 기반 독자 AI 파운데이션 모델을 넘어 산업 현장에서 보고 이해하고 행동하는 비전언어모델(VLM)과 비전언어행동모델(VLA) 등으로 발전해야 한다는 것이다. 앞으로 범용인공지능(AGI)에 가까운 기술을 확보한 국가와 그렇지 못한 국가의 격차가 산업과 경제를 넘어 안보 등 국가 경쟁력 전반으로 번질 수 있다고도 내다봤다. 배 부총리는 "이미 앞서 있는 나라가 속도를 조절하는 것과 추격하면서 동시에 새로운 시장을 만들어야 하는 나라가 스스로 속도를 낮추는 것은 전혀 다른 문제"라고 말했다. 안전과 신뢰 확보도 함께 강조했다. AI 발전이 빨라질수록 딥페이크와 사이버보안, 개인정보 보호, 일자리 변화 등에 대응할 기술적·제도적 안전장치도 빠르게 갖춰야 한다고 짚었다. 배 부총리는 이를 가속페달과 브레이크에 빗댔다. 그는 "AI 연구개발과 산업 활용에는 과감하게 가속페달을 밟되 위험에는 제대로 작동하는 브레이크를 갖춰야 한다"며 "속도는 경쟁력이고 안전은 지속가능성"이라고 말했다. 정부 정책도 이런 방향으로 추진할 계획이다. 배 부총리는 AI기본법 시행을 위한 제도적 준비와 독자 AI 파운데이션 모델 개발, 모두의 AI, 보안특화모델 사업에 이어 프론티어 AI 역량 확보를 위한 사업도 차질 없이 준비하겠다고 했다. 산업계에서도 AI 산업 육성과 안전 규범을 병행해야 한다는 의견이 나왔다. 국내 기업이 해외 빅테크가 만든 기준을 따르는 데 그치지 않고 국제 규범을 만드는 과정에도 직접 참여해야 한다는 주문이다. 김동환 포티투마루 대표는 "AI 산업 육성과 안전 규범 강화를 동시에 추진해야 한다"며 "안전 규범을 공론화하고 다양한 이해관계자의 의견을 들은 뒤 사회적 합의를 만들어가는 과정이 반드시 필요하다"고 말했다. 이어 "유엔 AI 허브 유치와 AI안전연구소 역할 강화 등을 통해 국제 안전 규범을 만드는 과정에서 한국이 글로벌 리더십을 발휘할 필요가 있다"고 덧붙였다. 박지환 씽크포비엘 대표는 기술 개발과 실제 활용을 구분해 접근할 필요가 있다고 짚었다. 그는 "연구는 계속하되 개발한 기술을 사회에서 어디까지 쓰게 할지는 별도로 정해야 한다"며 "AI의 위험 수준에 맞는 활용 기준과 규범을 함께 마련해야 한다"고 말했다. 배 부총리는 후속 정책 발표도 예고했다. 그는 "조만간 그동안 깊이 고민해 온 독파모의 다음 단계와 대한민국 프론티어 AI 모델 개발 방향도 국민 여러분께 말씀드리겠다"고 밝혔다. 이어 "대한민국의 AI 시계를 늦추지 않겠다"며 "더 빠르게 그러나 더 안전하게 가겠다"고 강조했다.

2026.09.16 15:30김동원 기자

지금 뜨는 기사

이시각 헤드라인

삼성전자, 차세대 D램 'D0a' 로드맵 수정…하이브리드 본딩 앞당긴다

기술전시 넘어 '돈 되는 AI'로…AI페스타, 역대급 사업기회 연다

[AI는 지금] 속도조절론 속 쏟아진 신모델…AI 3사 승부처는

검찰, 카카오 김범수 2심서도 징역 15년 구형..."불법·부정 지시 없었다"

ZDNet Power Center