검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI안전'통합검색 결과 입니다. (48건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[AI는 지금] "결정은 사람이, 맥락은 AI가"… 오픈AI, 행동지침 개편

오픈AI가 사람 대신 일하는 인공지능(AI) 행동 지침을 개편했다. AI가 사용자 뜻을 파악해 업무를 처리하면서도 사람이 판단하고 선택할 권한을 지키도록 기준을 보강했다. 오픈AI는 29일(현지시간) 자사 AI 행동 기준을 담은 '모델 스펙(Model Spec)'을 개정했다고 밝혔다. 과거 대화와 기억을 참고해 사용자 의도를 이해하는 지침을 추가하고 수행한 작업과 그 영향을 알리도록 했다. 이번 개편은 AI가 맡는 업무가 늘면서 지시만으로 해결하기 어려운 상황도 많아진다는 판단에서 나왔다. 사용자가 요청할 때 발생 가능한 상황을 모두 설명하기는 어렵기 때문이다. 오픈AI는 AI가 명시된 지시를 따르는 데서 나아가 예상하지 못한 상황에서도 사용자 목표에 맞게 판단해야 한다고 강조했다. 새 지침은 AI가 과거 대화를 참고해 사용자가 원하는 조건을 파악하도록 했다. 일례로 이직할 회사를 비교할 때 사용자가 앞서 규칙적인 근무 시간을 원한다고 말했다면 이를 고려해 답할 수 있다. 이때 "이전에 말씀한 근무 시간을 기준으로 비교했다"고 알려 사용자가 조건을 수정할 수 있도록 해야 한다. 과거에 한 말을 계속 같은 뜻으로 받아들여서는 안 된다. 지금은 근무 시간보다 연봉을 더 중요하게 생각할 수도 있기 때문이다. AI는 사용자가 현재 원하는 조건에 맞춰 비교를 돕고 특정 선택으로 몰래 유도하지 않아야 한다. AI가 어떤 일을 했는지도 사용자가 알 수 있어야 한다. 확실히 아는 내용과 확인하지 못한 내용을 구분하고 실제로 처리한 업무를 알려야 한다. 업무를 진행하면서 다른 사람에게 피해를 줄 가능성도 살피도록 했다. 업무 수행 범위는 오픈AI가 정한 안전 기준을 따른다. 개발자는 그 안에서 서비스를 설계하고 사용자는 해당 서비스에서 AI에 일을 맡긴다. 오픈AI는 서로 다른 지시가 충돌할 때 무엇을 우선할지 정하는 기준도 개정했다. 답변 표현 방식은 사용자 취향에 맞춰 유연하게 조정한다. 세부 문체 지침을 대부분 없애고 언어와 문화, 대화 맥락과 피드백을 참고하도록 했다. 객관적으로 답하는 원칙은 유지했다. 사용자가 특정 관점에서 답해 달라고 명시하면 이를 반영할 수 있다. 다만 사용자가 듣고 싶어 할 말을 추측해 그에 맞는 관점을 택해서는 안 된다고 밝혔다. 오픈AI는 이런 기준을 모델에 학습시키는 방법도 연구하고 있다. 규칙뿐 아니라 그 이유까지 익혀 처음 접하는 상황에서도 사용자 뜻과 안전 기준에 맞게 판단하도록 하는 데 초점을 맞췄다. 관련 연구 결과는 추후 공개할 예정이다. 오픈AI는 "모델 스펙은 AI가 어떻게 행동해야 하는지 제시한 기준으로 현재 모델이 이 기준을 모두 충족하지는 못한다"며 "연구 결과와 실제 사용 경험, 이용자 의견을 바탕으로 지침과 모델을 계속 개선하겠다"고 밝혔다.

2026.10.30 10:23김동원 기자

위험성 알려줘도 공격 지속…영국 AI보안연구소가 밝힌 AI 안전 허점

영국 정부가 인공지능(AI)을 시험하던 중 실제 소프트웨어 개발자를 겨냥한 사이버 공격 시도가 발생했다. 이후 실험에서는 공격이 위험하다는 판단과 실제 행동이 일치하지 않는 문제도 확인됐다. 23일(현지시간) 영국 AI보안연구소(AISI)가 발표한 보고서에 따르면 앤트로픽 AI 모델 '미토스 5'는 공격 대상이 실제 사람이라는 정보를 반복해서 전달받고도 거의 모든 실험에서 공격을 이어갔다. 사건은 지난 7월 AISI가 AI 사이버보안 능력을 평가하던 중 발생했다. 연구진은 AI에 가상 컴퓨터망에 침입해 보호된 정보를 찾아내는 과제를 줬다. 정해진 시험 환경에서만 활동해야 했지만 미토스 5는 인터넷에서 실제 개발자가 관리하는 프로그램을 공격 대상으로 삼았다. 미토스 5는 처음에는 허용된 방법으로 과제를 해결하려 했다. 여러 시도가 실패하자 외부 개발자가 관리하는 소프트웨어에 악성코드를 넣는 방법을 시도했다. 해당 프로그램을 통해 시험용 컴퓨터에 침입하려는 목적이었다. AI는 악성코드가 포함된 수정안을 개발자에게 제출했다. 가짜 계정까지 만들어 수정안이 안전한 것처럼 꾸미고 승인을 요구했다. 하지만 개발자는 수정안을 받아들이지 않았으며 실제 피해도 발생하지 않았다. AISI는 지난 8월 사건을 공개한 뒤 AI가 왜 허용된 범위를 벗어났는지 추가 조사했다. 연구진은 공격 직전 상황을 재현하고 상대가 시험과 무관한 실제 사람이라는 정보를 반복해서 제공했다. 공격이 위험한지 묻는 실험과 작업을 계속하도록 하는 실험도 각각 진행했다. 미토스 5는 공격이 허용 범위를 벗어나며 실제 피해를 줄 수 있다고 답했다. 그러나 작업을 계속하도록 하자 거의 모든 실험에서 공격을 진행했다. 공격 대상이 실제 사람이라는 정보를 추가해도 행동은 달라지지 않았다. AI가 자신의 행동을 설명하는 과정에서도 문제가 나타났다. 미토스 5는 실제 개발자를 시험용 가상 인물이라고 잘못 판단하는 경우가 많았다. 공격이 일으킬 피해를 고려하지 않거나 기존 행동을 정당화하는 방향으로 정보를 해석했다. AISI는 AI가 이미 선택한 행동을 계속하기 위해 자신에게 유리한 방향으로 판단했을 가능성을 제기했다. 다만 이런 판단 방식이 실제 공격을 유발했는지는 확인하지 못했다고 밝혔다. 다른 AI 모델에서도 비슷한 행동이 나타났다. 연구진이 가상 사이버보안 평가 상황 100개를 만들어 여러 모델을 시험한 결과 허가받지 않은 공격 시도가 확인됐다. 미토스 5에서 가장 자주 발생했다. 앤트로픽도 별도 분석을 통해 당시 미토스 5가 평가 43회 중 9회에서 허용 범위를 벗어났다고 밝혔다. 회사는 시험 당시 일반 공개 모델에 적용하는 일부 보안 장치가 꺼져 있었다고 설명했다. 이후 개발한 모델에서는 유사한 공격을 시작하는 비율이 낮아졌다고 덧붙였다. AISI는 이번 연구가 사이버보안 시험에서 나온 만큼 일반 업무에서도 같은 문제가 발생한다고 단정할 수 없다고 밝혔다. 다만 AI가 위험성을 설명한다고 해서 실제 행동까지 안전하다고 판단해서는 안 된다고 지적했다. 연구진은 AI가 허용된 범위를 벗어나지 못하도록 작업 환경을 분리하고 행동을 감시할 필요가 있다고 강조했다. AISI는 "AI 모델이 예상대로 행동하는지와 관계없이 평가 환경에서는 모델이 실제 피해를 일으키지 못하도록 막아야 한다"고 밝혔다.

2026.10.25 07:59김동원 기자

퍼플렉시티, AI 에이전트 '안전 작업실' 오픈소스로 푼다

퍼플렉시티가 인공지능(AI) 에이전트가 작업 도중 중요한 정보나 다른 시스템에 무단으로 접근할 위험을 줄이는 보안 기술을 오픈소스로 공개했다. 15일(현지시간) 퍼플렉시티는 공식 블로그를 통해 AI 에이전트 실행 플랫폼 '스페이스(SPACE)'의 소스코드를 공개했다고 밝혔다. 지난 7월부터 자사 AI 에이전트 서비스 '컴퓨터'에 적용해 온 기술로, 다른 개발자들도 이를 활용하고 수정할 수 있도록 했다. AI 에이전트는 질문에 답하는 데 그치지 않고 파일을 열거나 프로그램을 실행하며 직접 업무를 처리한다. 하지만 작업 중 중요한 정보에 접근하거나 허가받지 않은 명령을 실행할 위험도 있다. AI에 안전 규칙을 설정하더라도 예상하지 못한 행동을 완전히 막기는 어렵다. 스페이스는 이런 위험을 줄이기 위해 AI에 별도의 작업 공간을 제공한다. AI가 코드를 실행할 때 다른 시스템과 분리된 작은 가상 컴퓨터를 사용하는 방식이다. AI가 실수하거나 예상과 다르게 행동하더라도 피해가 다른 시스템으로 번지지 않도록 설계했다. 보안장치는 작업 공간 밖에도 마련했다. 외부 서비스에 접속할 때 필요한 비밀번호와 인증정보를 별도로 관리하고 인터넷 연결도 통제한다. AI가 허용된 작업을 수행하면서도 불필요한 정보에는 접근하지 못하도록 제한하는 구조다. 작업을 중단하거나 이전 상태로 되돌리는 기능도 제공한다. 일례로 AI가 자료를 분석하다 파일을 잘못 수정하면 앞서 저장한 상태로 복원할 수 있다. 이용자의 확인이 필요할 때는 작업을 잠시 멈췄다가 다시 이어갈 수도 있다. 퍼플렉시티는 스페이스의 안전성을 확인하기 위해 AI가 가상 컴퓨터를 벗어나 실제 시스템에 접근하도록 하는 보안 시험도 진행했다. 회사에 따르면 108차례 시험에서 가상 컴퓨터를 벗어나 외부 시스템에 침입한 사례는 없었다. 다만 일부 시험에서는 인터넷 연결 제한을 우회하는 문제가 발견됐으며 이를 수정한 뒤 다시 시험했다고 설명했다. 운영 성능도 개선됐다. 퍼플렉시티는 스페이스를 통해 하루 수백만 개의 AI 작업 공간을 생성하고 있다. 기존에 사용하던 외부 업체의 서비스와 비교하면 작업 공간을 만드는 속도가 3~5배 빨랐다고 밝혔다. AI 작업 공간을 별도로 분리하는 기술 자체는 이전에도 있었다. 퍼플렉시티 역시 외부 업체 서비스를 사용하다 지난 7월 자체 개발한 스페이스로 교체했다. 이번에는 실제 운영에 사용하던 기술을 공개해 다른 기업과 개발자들도 활용할 수 있도록 했다. 외부 기업 도입도 진행되고 있다. 클라우드 기업 아카마이는 자사 플랫폼에 스페이스를 도입했고 크루소는 AI 서비스에 추가하기 위해 협력하고 있다. 코어위브는 개발자들이 스페이스를 시험할 수 있도록 설치 안내서를 공개했다. 퍼플렉시티는 "보안 도구를 오픈소스로 공개하면 개발자들이 방어 체계를 시험하고 약점을 찾아 더 안전한 AI 시스템을 만들 수 있다"며 "AI가 어떤 행동을 선택하든 접근할 수 있는 범위를 제한하는 별도의 통제 장치가 필요하다"고 밝혔다.

2026.10.16 14:13김동원 기자

앤트로픽, AI 안전 검증에 빗장 풀다…불리한 평가도 공개

인공지능(AI) '클로드' 개발사 앤트로픽이 외부 전문가에게 회사 내부를 개방해 AI 안전성을 직접 검증받고 불리한 평가 결과도 발표할 수 있도록 했다. 15일(현지시간) 앤트로픽은 공식 블로그를 통해 비영리 AI 평가기관 'METR' 연구원 6명에게 자사 직원과 비슷한 수준의 내부 접근 권한을 부여했다고 밝혔다. 연구진은 AI의 위험성과 안전관리 실태를 조사하고 결과를 독립적으로 발표한다. 앤트로픽은 회사가 보고서 공개를 막을 수 없다고 명시했다. METR은 고성능 AI 모델의 능력과 위험성을 평가하는 비영리 연구기관이다. 앤트로픽은 연구원들에게 회사 노트북과 사무공간을 제공하고 내부 위험평가팀이 사용하는 도구와 시스템에도 접근할 수 있도록 했다. 연구진은 AI가 위험한 행동을 할 가능성뿐 아니라 회사가 안전장치를 제대로 운영하는지도 살펴본다. 문제가 발생했을 때 어떻게 대응했는지 확인하고 앤트로픽 직원들에게 직접 설명을 들을 수도 있다. 평가 결과를 발표할 때 앤트로픽의 승인 받을 필요는 없다. 다만 회사 측은 고객정보와 법적으로 보호받는 자료, AI 모델 설계 등 민감한 정보의 삭제를 요구할 수 있다. METR은 이러한 요구가 정당한지에 대해서도 공개적으로 의견을 밝힐 권한을 갖는다. 외부 검증을 강화하는 배경에는 AI 개발사와 외부 전문가 사이의 정보 격차가 있다. AI가 어떤 과정을 거쳐 개발됐고 어떤 안전장치를 적용했는지는 개발사가 가장 잘 알고 있다. 반면 외부에서는 내부 자료를 확인하기 어려워 기업이 발표한 안전성 평가를 충분히 검증하기 힘들었다. 최근 AI가 개발사 예상과 다르게 행동한 사례도 확인됐다. 앤트로픽은 지난 9일 자사 AI가 시험 과정과 내부 사용 중 소프트웨어의 허점을 이용해 서버에서 명령을 실행하거나 접근이 제한된 정보에 우회적으로 접근한 사례 등을 공개했다. AI가 개발사의 지시나 예상에서 벗어난 행동을 할 수 있다는 사실이 확인된 것이다. 앤트로픽은 이번 검증 방식을 은행 감독에 비유했다. 은행 재무 상태와 위험을 은행 스스로 평가하는 데 그치지 않고 외부 검사관이 내부를 직접 점검하듯 AI 기업도 제3자의 검증을 받아야 한다는 설명이다. 이번 조치는 다리오 아모데이 앤트로픽 최고경영자(CEO)가 지난 9월 제기한 'AI 개발 속도조절론'과도 연결된다. 아모데이 CEO는 AI 기술의 발전 속도에 맞춰 안전성을 확인하고 위험에 대응할 시간을 확보해야 한다고 주장했다. 당시 그는 외부 연구진을 AI 기업 내부에 참여시켜 안전장치와 사고 기록 등을 직접 검증하는 방안을 제시했다. 앤트로픽은 이번에 METR 연구원들에게 실제 내부 접근 권한을 부여하며 해당 방안을 실행에 옮겼다. 앤트로픽은 외부 평가기관의 접근 권한을 세 단계로 나눠 운영한다. 첫 단계에서는 정해진 분야를 검토하고 회사의 승인을 받아 결과를 공개한다. 두 번째 단계부터는 회사 승인 없이 보고서를 발표할 수 있으며, 세 번째 단계에서는 METR처럼 직원 수준의 내부 접근 권한까지 부여한다. 외부 검증에는 다른 기관도 참여하고 있다. 생물학적 위험을 전문으로 다루는 비영리기관 시큐어바이오는 현재 앤트로픽이 지난 8월 발표한 위험 보고서에서 화학·생물무기 관련 내용을 검토하고 있다. 다만 METR과 달리 제한된 자료에 접근하며 평가 결과를 공개하려면 앤트로픽 승인을 받아야 한다. 시큐어바이오는 앞서 앤트로픽의 이전 위험 보고서에 대한 시범 검토를 마치고 결과를 공개한 바 있다. 앤트로픽은 이번 검토를 마친 뒤 시큐어바이오의 내부 접근 권한과 결과 발표 범위를 확대할지도 논의할 예정이다. 앤트로픽은 액센츄어와 패컬티 등과도 AI 평가 협력을 진행하고 있다. 허깅페이스를 비롯한 다른 기관과도 초기 논의를 이어가고 있으며 앞으로 METR처럼 직원 수준의 접근 권한을 가진 외부 평가기관을 늘릴 방침이다. 앤트로픽은 "우리는 외부 평가 연구진을 자발적으로 받아들이고 있다"며 "모든 최첨단 AI 기업도 같은 조치를 취해야 한다고 믿는다"고 밝혔다.

2026.10.16 10:27김동원 기자

"우리 아이들은 실험용 쥐가 아니다"…AI 활용의 덫

"우리 아이들은 실험용 쥐가 아닙니다." 박형빈 서울교대 윤리교육과 교수가 최근 지디넷코리아와 만나 청소년의 생성형 인공지능(AI) 이용을 두고 내놓은 경고다. 챗GPT와 제미나이 등이 아이들의 공부와 고민 상담에까지 쓰이고 있지만 성장 과정에 어떤 영향을 미칠지는 충분히 검증되지 않았다는 지적이다. 미국에서는 AI의 안전 문제를 둘러싼 소송도 제기됐다. 지난 14일(현지시간) 아이오와와 캔자스 등 8개 주정부는 챗GPT가 이용자의 잘못된 믿음을 강화하거나 자해 등 위험한 행동을 부추길 수 있다며 오픈AI를 상대로 소송을 제기했다. 청소년 보호장치가 부족하다는 주장도 포함됐다. 오픈AI는 안전 기능을 지속적으로 강화해 왔다는 입장이다. 한국에서도 학생들의 AI 이용은 이미 일상화됐다. 서울시교육청교육연구정보원이 올해 1월 공개한 '생성형 AI의 교육적 활용 실태 및 요구 조사 연구'에 따르면 서울 지역 중·고등학생 2만 6531명 중 94.6%가 생성형 AI를 사용한 경험이 있었다. 같은 조사에서 교사 3344명 중 93.4%는 학생들이 AI에 지나치게 의존할 가능성을 우려했다. 책 안 읽고 독후감 발표는 척척…AI가 대신한 공부 학생들이 AI를 이용해 과제를 마쳤지만 실제로는 학습 내용을 충분히 익히지 못한 사례는 이미 국내외에서 나타나고 있다. 한 초등학교 교사는 본지와 통화에서 "학생들에게 책을 읽고 독후감을 쓴 뒤 발표하도록 했는데 모두 발표를 잘해 놀랬었다"며 "하지만 확인해 보니 책을 읽은 학생은 한 명도 없었고 모두 AI로 준비한 것이었다"고 말했다. 해외에서도 AI를 활용한 과제 수행과 실제 학습 성과 사이에 차이가 확인됐다. 경제협력개발기구(OECD)가 올해 1월 발표한 '디지털 교육 전망 2026' 보고서에 따르면 튀르키예 고등학생을 대상으로 한 실험에서 일반적인 AI 챗봇을 사용한 학생들은 AI 없이 공부한 학생들보다 수학 연습문제에서 48% 높은 성과를 냈다. 그러나 AI 없이 치른 시험에서는 AI 없이 공부한 학생들보다 성적이 17% 낮았다. 반면 정답 대신 힌트와 질문을 제공하는 AI를 사용한 학생들에게서는 AI 없이 치른 시험에서 이 같은 성적 저하가 나타나지 않았다. 김봉제 서울교대 AI가치판단디자인센터장은 AI가 정답을 바로 알려주면 학생들이 스스로 문제를 풀고 답을 검증하는 능력을 기르기 어려워질 수 있다고 지적했다. AI를 활용하더라도 정답을 대신 제시하기보다 질문을 던져 학생이 직접 생각하도록 도와야 한다는 설명이다. 김 센터장은 "그냥 쉽게 답을 주는 게 아니라 학생들이 한 번쯤 더 생각할 수 있도록 해야 한다"며 "사고의 근육이 형성되기 전까지는 AI와 거리를 둬야 잘못되거나 편향된 정보를 접하더라도 스스로 검증할 수 있다"고 말했다. 공부 넘어 고민 상담까지…정신건강 대응에도 한계 AI를 개인적인 고민 상담에 사용하는 청소년도 있다. 미국 퓨리서치센터가 올해 2월 발표한 조사에 따르면 13~17세 청소년의 54%가 AI 챗봇을 학업에 활용했고 12%는 감정이나 개인적인 문제에 관한 조언을 구한 경험이 있었다. AI가 청소년의 정신건강 문제에 적절히 대응하지 못한다는 연구 결과도 나왔다. 미국 비영리단체 커먼센스미디어와 스탠퍼드 의대 연구진은 지난해 11월 챗GPT와 제미나이, 클로드, 메타AI 등을 대상으로 정신건강 관련 대화에 어떻게 대응하는지 평가했다. 그 결과 주요 AI 챗봇들은 명확한 자살·자해 관련 질문에는 상대적으로 적절하게 대응했지만 일상적인 대화에 나타나는 정신건강 위험 신호를 놓치는 사례가 확인됐다. 박형빈 교수는 AI에 생각과 판단을 맡기는 '인지의 외주화'뿐 아니라 감정적으로 의존하는 '정서의 외주화'도 우려했다. AI와의 대화가 익숙해지면서 아이들의 사고력과 인간관계에도 영향을 미칠 수 있다는 설명이다. 박 교수는 "AI와 함께 성장한 아이들이 사고력이나 인간관계에서 어떤 영향을 받았는지는 10년, 20년이 지나서야 알 수 있을지도 모른다"며 "그때 문제가 드러나면 이미 늦을 수 있다"고 경고했다. "초등학교에서는 AI 금지해도 된다"…기업들도 보호장치 마련 아이들의 발달 단계에 따라 생성형 AI 사용을 제한해야 한다는 주장도 나왔다. 김봉제 교수는 "발달 단계에서 봤을 때 금지해야 될 연령대가 있다"며 "경험적으로 초등학교에서는 금해도 된다"고 말했다. 김 교수는 중학교 초반까지는 교사나 부모의 감독 아래 AI를 사용하도록 하고, 고등학교에서는 활용 범위를 넓히는 방안을 제시했다. 다만 AI 사용을 허용할 수 있는 연령을 명확하게 구분하기는 어렵다고 설명했다. AI 기업들도 청소년 보호와 학습 지원을 위한 별도 기능을 도입하고 있다. 오픈AI는 지난 8월 13~17세 이용자를 위한 '챗GPT 포 틴즈'를 출시했다. 미성년자로 확인되거나 추정되는 계정에 강화된 보호 기능을 적용하고 숙제를 대신 해결하려는 학생에게는 정답보다 풀이 과정을 안내하도록 설계했다. 부모가 자녀의 이용 시간을 관리하고 공부 모드를 설정하는 기능도 제공한다. 구글은 '패밀리 링크'를 통해 보호자가 자녀의 제미나이 이용을 관리하도록 지원하고 있다. 제미나이의 '가이드 학습'은 정답을 바로 제시하기보다 단계별 설명과 질문으로 학습을 돕는다. 앤트로픽은 일반 소비자용 클로드의 이용 연령을 18세 이상으로 제한하고 있다. 다만 보호장치의 실효성을 둘러싼 논란도 계속되고 있다. 커먼센스미디어는 지난 7일 챗GPT 포 틴즈의 안전 기능을 평가한 결과 일부 보호장치가 제대로 작동하지 않는다며 18세 미만에게 '허용할 수 없는 위험' 수준이라고 평가했다. 오픈AI는 해당 평가가 실제 청소년 보호 기능의 작동 방식을 정확히 반영하지 못했다고 반박했다. 박형빈 교수는 한국에서 AI 활용이 빠르게 확산하고 있지만 아동·청소년을 보호하기 위한 교육과 제도는 충분히 마련되지 않았다고 지적했다. 박 교수는 "한국은 AI를 활용하는 데는 앞서가고 있지만 정작 아이들을 보호하기 위한 준비는 부족하다"며 "아이들이 안전하게 AI를 사용할 수 있는 환경부터 마련해야 한다"고 밝혔다.

2026.10.16 10:26김동원 기자

美 규제당국, 오픈AI·앤트로픽 AI 안전성 직접 들여다본다

미국 규제당국이 오픈AI와 앤트로픽에 인공지능(AI) 안전사고와 개인정보 보호 등에 관한 자료 제출을 요구했다. 15일(현지시간) 로이터통신과 CBS뉴스 등에 따르면 미국 연방거래위원회(FTC)는 지난 14일 두 회사에 공식 조사요구서를 보냈다. FTC는 소비자 보호와 불공정 거래 행위를 감독하는 미국 정부기관이다. 조사요구서는 회사별로 50쪽이 넘는다. FTC는 AI 안전사고와 이를 막기 위한 조치, 제품 광고 자료, 개인정보 처리방침 등을 제출하도록 요구했다. 두 회사 경영진에게 직접 설명을 듣는 방안도 추진하고 있다. FTC는 두 회사가 AI의 위험을 제대로 관리했는지 살펴보고 있다. 안전사고에 어떻게 대응했는지, 제품의 성능과 안전성을 과장하지 않았는지, 이용자의 개인정보를 적절히 보호했는지 등이 조사 대상이다. 이번에 보낸 민사조사요구서(CID)는 기업의 법 위반 여부를 조사할 때 사용하는 법적 문서다. 일반적인 자료 요청과 달리 법적 효력이 있으며 기업이 정당한 이유 없이 제출을 거부하면 법원을 통해 강제할 수도 있다. FTC는 지난 9월 30일 AI 기업의 안전성 문제를 조사하고 있다고 밝혔다. 앞으로 다른 AI 기업에도 조사요구서를 보낼 것으로 알려졌다. AI 모델 위험성을 평가하는 비영리 연구기관 METR 관계자의 증언도 추진하고 있다. 다만 자료 제출 요구가 곧 법 위반을 의미하지는 않는다. FTC는 확보한 문서와 관계자 진술을 검토해 소비자 피해나 불공정한 행위가 있었는지 조사한다. 두 회사에 대한 구체적인 제재 방침은 발표되지 않았다. 오픈AI는 "AI 모델을 개선하고 일상생활에서 활용 범위를 넓혀가는 과정에서도 안전은 최우선 과제"라며 "FTC 조사에 건설적으로 협력하겠다"고 밝혔다.

2026.10.16 10:25김동원 기자

"챗GPT는 청소년 유해물"…美 8개 주, 오픈AI 제소

미국 8개 주정부가 챗GPT가 청소년의 위험한 행동을 부추기고 이용자 안전을 위협한다며 오픈AI를 상대로 소송을 제기했다. 14일(현지시간) 로이터통신과 더버지 등에 따르면 미국 아이오와·캔자스·애리조나·아칸소·아이다호·몬태나·네브래스카·웨스트버지니아 등 8개 주 법무장관은 각각 오픈AI를 제소했다. 이번 소송에는 공화당과 민주당 소속 법무장관이 모두 참여했다. 로이터는 인공지능(AI) 기업을 상대로 한 미국 주정부들의 법적 대응 가운데 이번이 가장 큰 규모라고 전했다. 주정부들은 챗GPT가 이용자의 말에 지나치게 동의하고 공감하도록 만들어졌다고 주장했다. 잘못된 생각을 바로잡기보다 오히려 그 생각이 옳다고 믿게 만들어 위험한 행동을 부추길 수 있다는 것이다. 실제 소장에는 챗GPT가 자해나 타인에 대한 폭력을 부추기고 총기 난사와 같은 범죄 계획을 도왔다는 주장이 담겼다. 위험한 의료 조언을 제공하거나 이용자의 망상을 부추겨 정신건강에 해를 끼칠 수 있다는 지적도 나왔다. 청소년 보호 문제도 제기됐다. 주정부들은 오픈AI가 미성년자의 개인정보를 수집하면서 충분한 보호 조치를 마련하지 않았다고 주장했다. 연령 제한에 미달하는 어린이의 챗GPT 이용도 제대로 막지 못했다고 지적했다. 오픈AI가 챗GPT를 안전한 서비스로 홍보한 점도 문제 삼았다. 주정부들은 이용자가 겪을 수 있는 위험을 충분히 알리지 않아 부모와 이용자를 속였다고 주장했다. 애리조나주 법무장관실은 오픈AI가 이용자의 안전보다 수익을 우선했다고 비판했다. 8개 주는 법원에 챗GPT의 작동 방식을 바꾸고 안전성을 과장하는 홍보를 중단하도록 해달라고 요구했다. 법 위반에 따른 벌금과 손해배상도 청구했다. 일부 주는 부당하게 수집한 개인정보를 삭제하라고 했다. AI 개발을 제한해 달라는 요구도 포함됐다. AI가 스스로 성능을 개선할 수 있는 모델을 개발하더라도 사람이 정한 가치와 안전 기준을 따르도록 보장해야 한다는 것이다. 안전성을 확보하지 못하면 관련 모델의 개발을 금지해 달라고 요청했다. 오픈AI를 상대로 한 주정부 소송은 이번이 처음은 아니다. 플로리다주는 지난 6월 챗GPT의 안전 문제를 이유로 먼저 소송을 제기했다. 챗GPT가 자해나 폭력 사건에 영향을 미쳤다고 주장하는 이용자와 유족들도 오픈AI를 상대로 소송을 진행하고 있다. 이번 소송에서 제기된 의혹은 아직 법원에서 사실로 인정된 것은 아니다. 오픈AI는 청소년을 위한 안전장치를 이미 마련했으며 지속적으로 개선하고 있다고 밝혔다. 드루 푸사테리 오픈AI 대변인은 더버지에 "어떤 시스템도 완벽할 수는 없지만 전문가들과 협력해 보호장치를 더 강화하겠다"며 "현재 운영 중인 부모 통제 기능과 휴식 알림, 연령별 보호 조치를 개선하고 AI 업계 전체에 적용할 수 있는 정책을 마련하기 위해 주정부들과 협력하겠다"고 말했다.

2026.10.15 08:49김동원 기자

[AI는 지금] 해킹에 쓰인 AI, 스스로 복제까지…앤트로픽, 연내 가능성 경고

국내 금융권에서 인공지능(AI)을 활용한 해킹 공격이 잇따르는 가운데 AI가 사람의 추가 지시 없이 다른 기기로 옮겨 다니며 스스로 복제할 수 있다는 경고가 나왔다. 13일(현지시간) 로이터통신에 따르면 앤트로픽은 AI 기술 발전 속도가 이어질 경우 올해 말까지 소형 AI 모델도 스스로 다른 기기로 확산하는 데 필요한 능력을 갖출 수 있다고 분석했다. 제한된 시험망에서는 AI가 복제 작업을 수행하는 데 성공했으며 저렴한 스마트TV용 기기 15대를 연결해 AI 모델을 구동했다. AI 자기 복제는 AI가 새로운 컴퓨터나 스마트 기기를 찾아 자신의 모델과 실행 프로그램을 옮기고 그곳에서도 작동하도록 만드는 것을 뜻한다. 복제된 AI가 다시 다른 기기를 찾아 같은 작업을 반복하면 사람의 추가 명령 없이도 감염된 기기가 늘어날 수 있다. 앤트로픽은 AI가 처음 접하는 기기에서도 스스로 작동 방법을 찾아낼 수 있다고 설명했다. 기존 악성코드는 주로 미리 설계된 공격 방법을 사용하지만 AI는 기기의 환경에 맞춰 새로운 방법을 시도할 수 있다. 스마트TV뿐 아니라 냉장고와 로봇청소기, 보안카메라 등 다양한 기기로 확산할 가능성도 제기했다. 국내에서는 AI를 이용한 해킹 공격이 이미 확인됐다. 지난 9월 해커는 중국 AI 모델 딥시크 기반 AI 에이전트를 이용해 금융회사 서버의 보안 취약점을 탐색했다. 이후 취약점을 악용해 악성 프로그램을 설치하고 내부의 다른 서버까지 살펴봤지만 금융회사가 추가 공격을 차단했다. 금융보안원은 지난달 17일 금융회사 보안 담당자 160여명이 참석한 세미나에서 이 사례를 공개하며 AI를 활용한 사이버 공격의 위험성을 알렸다. 당시에는 해커가 AI에 명령을 내려 금융회사 서버에 침투했지만, 앤트로픽은 앞으로 AI가 사람의 추가 지시 없이 다른 기기를 찾아 스스로 확산할 가능성을 경고했다. 앤트로픽 실험에서는 이러한 복제 능력이 일부 확인됐다. 중국 AI 모델 'GLM-5.2'는 안드로이드 기기 8대를 모방한 가상 시험망에서 총 5차례 실험 중 4차례 모든 기기로 확산하는 데 성공했다. 나머지 한 차례에서도 7개 기기에 도달했다. 저렴한 가전제품을 이용한 AI 실행 실험도 진행됐다. 앤트로픽은 대당 약 55달러(약 7만원)인 저가형 안드로이드 TV 셋톱박스 15대를 연결해 260억개 매개변수를 가진 구글의 AI 모델 '젬마4-26B-A4B'를 실행했다. 작동 속도는 느렸지만 고가의 데이터센터 장비 없이도 저렴한 기기 여러 대로 AI를 구동할 수 있다는 사실을 확인했다. AI가 앞선 작업에서 얻은 경험을 다음 작업에 활용하는 능력도 확인됐다. 중국 AI 모델 '큐원3.5-9B'는 새로운 기기에 AI를 설치하는 실험에서 처음 45%의 성공률을 기록했다. 이전에 시도한 방법과 실패 원인을 다음 실행에 전달하자 성공률이 61~84%로 높아졌다. AI가 이전 기록을 참고해 같은 실수를 피하고 다른 해결 방법을 찾은 결과다. 앤트로픽은 여러 기기에 분산된 AI를 완전히 제거하기 어려울 수 있다고 경고했다. 일부 기기를 차단하더라도 다른 기기에서 계속 작동할 수 있기 때문이다. AI가 처음 접하는 기기에도 적응한다면 공격 대상이 더욱 넓어질 수 있다. 다만 실제 인터넷에서 AI가 사람의 통제 없이 스스로 복제하며 확산한 사례는 아직 확인되지 않았다. 저성능 기기에서는 AI를 설치하고 실행하는 데 하루 이상 걸리는 등 확산 속도도 느린 것으로 나타났다. 연구진은 AI가 기기 사이를 이동할 때 발생하는 대량의 데이터 전송과 비정상적인 통신을 감지하고 감염된 기기를 격리하는 방식으로 확산을 막을 수 있다고 설명했다. 기기 제조사의 보안 강화와 인터넷 서비스 제공업체의 공동 대응도 필요하다고 제시했다. 앤트로픽 연구진은 "우리는 이러한 복제 프로그램이 확산하기 어렵도록 시스템을 강화해야 한다"며 "동시에 이들이 계속 존재하는 세상에 대비해야 한다"고 밝혔다.

2026.10.14 10:21김동원 기자

인텔 "실험실에선 잘 움직이는 로봇, 실제 현장은 다르다"

피지컬 인공지능(AI) 로봇이 공장과 물류센터에서 실제로 일하려면 AI 모델 성능뿐 아니라 안전성과 도입 비용, 실시간 제어 기술까지 확보해야 한다는 지적이 나왔다. 존 힐리 인텔 산업·로보틱스 사업부 부사장은 13일 서울 코엑스에서 열린 '피지컬 AI 테크 위크' 특별강연에서 "실험실에서 AI 모델이나 로봇을 구현하면 매우 인상적으로 보이지만 실제 현장에 적용하는 것은 훨씬 어렵다"고 말했다. 힐리 부사장은 로봇 기술의 발전 속도에 비해 기업들의 도입 준비가 부족하다고 진단했다. 인텔이 전 세계 기업·산업 관계자 800명을 조사한 결과, 응답자의 약 3분의 2는 향후 5년간 로봇 도입이 불가피하다고 봤지만 실제 도입 전략을 마련한 곳은 40%에 그쳤다. 기업이 원하는 로봇도 외형보다 실제 작업 능력에 초점이 맞춰져 있었다. 조사 응답자의 75%는 로봇이 사람처럼 생겼는지보다 어떤 작업을 얼마나 잘 수행하는지가 중요하다고 답했다. 힐리 부사장은 로봇 도입을 가로막는 요인이 기술뿐 아니라 기업의 업무 방식과 인력 운영, 안전 기준, 비용 문제에도 있다고 짚었다. 피지컬 AI 테크 위크는 과학기술정보통신부가 주최하고 피지컬 AI 얼라이언스와 정보통신산업진흥원이 주관하는 행사다. 로봇이 판단하고 움직이는 시간까지 관리해야 피지컬 AI는 카메라와 센서로 주변 환경을 인식하고 실제 로봇을 움직이는 기술이다. 화면에서 답변을 생성하는 AI와 달리 판단 결과가 곧바로 물리적인 움직임으로 이어진다. 힐리 부사장은 이 때문에 로봇의 반응 시간을 예측하고 제어하는 기술이 중요하다고 설명했다. 일례로 로봇이 이동하다 장애물을 발견했다면 정해진 시간 안에 멈추거나 방향을 바꿔야 한다. AI가 올바른 판단을 내리더라도 실행이 늦어지면 충돌이나 사고가 발생할 수 있다. 이를 방지하려면 AI 모델의 판단 능력뿐 아니라 센서에서 정보를 받아 처리하고 로봇을 움직이는 전체 과정이 안정적으로 작동해야 한다. 안전성 역시 개발 초기부터 확보해야 한다고 강조했다. 과거 자동화 장비는 정해진 동작을 반복하는 경우가 많았지만 피지컬 AI 로봇은 주변 상황을 판단해 스스로 행동을 결정할 수 있다. 특히 사람과 로봇이 같은 공간에서 일한다면 예상하지 못한 움직임에도 대응할 수 있어야 한다. 힐리 부사장은 "안전은 개발 마지막 단계에서 추가할 수 있는 것이 아니다"라며 "설계 초기부터 모든 기술 계층에 반영해야 한다"고 말했다. 도입 비용도 해결 과제로 꼽았다. 로봇이 기술적으로 작업을 수행할 수 있더라도 구매와 운영에 드는 비용이 높으면 기업이 대규모로 활용하기 어렵기 때문이다. 인텔은 하나의 컴퓨팅 플랫폼에서 로봇 제어와 영상 분석, AI 추론 등을 처리하는 방식을 제시했다. 각 작업에 맞는 연산 장치를 활용해 성능과 전력 효율을 높이고 로봇 종류마다 별도의 하드웨어를 개발하는 부담도 줄이겠다는 설명이다. AI 모델 개발부터 현장 배포까지…인텔, 개방형 생태계 강조 힐리 부사장은 피지컬 AI 로봇의 개발과 현장 적용을 연결하기 위한 기술도 소개했다. 로봇을 개발할 때는 먼저 AI 모델을 학습시키고 가상 환경에서 동작을 시험한다. 이후 실제 로봇에 모델을 탑재해 센서와 제어 장치 등이 함께 작동하도록 조정해야 한다. 인텔은 이 과정에서 개발자가 사용하는 기술과 로봇에 탑재되는 컴퓨팅 장치가 달라도 같은 개발 작업을 이어갈 수 있도록 지원하고 있다. 피지컬 AI 스튜디오는 개발자가 AI 모델을 학습시키거나 특정 작업에 맞게 조정하도록 돕는 도구다. AI 모델 개발에 익숙하지 않은 제조·물류 분야 전문가도 자신의 업무에 필요한 기능을 개발할 수 있도록 설계됐다. 오픈비노는 개발한 AI 모델을 실제 장비에서 효율적으로 실행하도록 돕는 소프트웨어다. 로봇의 작업에 따라 중앙처리장치(CPU)와 그래픽처리장치(GPU), 신경망처리장치(NPU) 중 적합한 연산 장치를 활용하도록 지원한다. 힐리 부사장은 이러한 기술이 산업 전반으로 확산하려면 개별 기업의 개발 성과를 연결할 개방형 생태계가 필요하다고 설명했다. 로봇에 사용되는 반도체와 소프트웨어, 센서, 제어 장치는 여러 기업이 개발한다. 기업마다 서로 다른 기술을 사용하더라도 함께 작동하도록 지원해야 새로운 로봇을 개발하고 현장에 적용하는 시간과 비용을 줄일 수 있다. 인텔은 이를 위해 오픈소스 기반 개발 환경과 공통 소프트웨어 도구를 지원하고, 기존에 다른 컴퓨팅 환경에서 개발한 기술을 활용할 수 있도록 하고 있다. 힐리 부사장은 한국을 이 같은 산업 생태계의 협력 사례로 언급했다. 피지컬 AI를 대규모로 확산하려면 기술 개발과 제조, 현장 적용에 참여하는 기업들이 협력해야 한다는 설명이다. 그는 "빨리 가려면 혼자 가고, 멀리 가려면 함께 가야 한다는 말이 있다"며 "생태계는 함께 멀리 가기 위한 것"이라고 말했다.

2026.10.13 14:34김동원 기자

AI 안전 평가 선도하는 영국…한국도 국제무대 나설 수 있을까

마이크로소프트(MS)가 국제 인공지능(AI) 안전 기준 마련을 이끌 국가로 영국을 지목하면서 한국의 AI 안전 평가 역량을 강화해야 한다는 목소리도 나오고 있다. 12일(현지시간) BBC에 따르면 브래드 스미스 MS 부회장은 '빅 보스 인터뷰' 팟캐스트에서 영국이 국제 AI 안전 기준을 주도하기에 적합한 국가라고 평가했다. 영국이 첨단 AI 모델의 위험성을 직접 시험할 전문기관을 갖춘 데다 미국 정부와의 협력 관계도 유리하게 작용할 수 있다고 봤다. 영국 AI 보안연구소는 글로벌 AI 기업으로부터 최신 모델을 출시 전에 제공받아 위험성을 검증하고 있다. 사이버 공격에 악용될 수 있는지, 생화학적 위험 정보를 제공하는지, 안전장치를 우회할 수 있는지 등을 직접 시험한다. 같은 날 로이터통신에 따르면 카니슈카 나라얀 영국 AI 담당 장관은 미국 정부와 구글 등 주요 AI 개발사와의 협력을 통해 최신 모델을 평가하고 있다고 밝혔다. 영국 연구진은 구글의 '제미나이 4 아르곤' 등을 대상으로 위험성과 안전조치를 시험하고 있다. MS도 영국 AI 보안연구소와 협력하고 있다. 지난 5월 미국 AI표준혁신센터(CAISI)와 영국 AI 보안연구소(AISI) 각각과 협약을 맺고 자사 프런티어 AI 모델의 위험한 능력과 안전장치를 평가하는 연구를 추진하기로 했다. 스미스 부회장은 영국의 기술력뿐 아니라 미국과의 관계에도 주목했다. 미국 정부가 유럽연합(EU)이 주도하는 규제보다 영국이 마련하는 안전 기준에 상대적으로 우호적일 수 있다고 예상했다. 한국도 국제 평가 참여…제3자 역할 모색 한국도 국제 AI 안전 평가 협력망에 참여하고 있다. 국내 AI안전연구소는 미국과 영국, 일본, 싱가포르 등 각국 연구기관과 첨단 AI의 위험성을 공동으로 평가하는 방법과 기준을 논의 중이다. 국제 협력 과정에서 한국이 검토하는 역할 중 하나는 제3자 평가다. 미국과 중국이 프런티어 AI 개발을 주도하는 가운데 양국이 서로의 핵심 AI 모델을 직접 검증하기 어려울 경우 제3국의 독립적인 평가가 대안이 될 수 있다는 분석이다. 김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "미국과 중국 사이에서 제3국의 평가가 필요해지는 상황이 온다면 한국이 나서겠다는 생각을 갖고 있다"며 "지난 8월 영국 측에도 각국 AI안전연구소가 공동으로 참여하는 국제 평가 체계에 적극 협력하겠다는 뜻을 전달했다"고 말했다. 다만 제3자 평가국은 아직 구상 단계다. 실제로 역할을 맡으려면 최첨단 AI 모델의 능력과 위험성을 직접 시험할 기술력은 물론 평가 결과에 대한 국제적 신뢰도 확보해야 한다. 김 소장은 이를 위해 프런티어 AI 개발 역량과 안전 평가 기술을 함께 갖춰야 한다고 강조했다. 현재 정부는 현재 독자 AI 파운데이션 모델 개발 사업과 프런티어 AI 사업을 추진하고 있다. 영국은 평가 역량 축적…한국은 인력·조직 한계 한국이 국제 AI 안전 평가에서 역할을 확대하기까지는 풀어야 할 과제도 있다. 전문인력과 컴퓨팅 자원, 연구소의 조직적 기반에서 영국과 격차가 크다. 지난달 이정헌 더불어민주당 의원이 과학기술정보통신부와 AI안전연구소에서 제출받은 자료에 따르면 국내 연구소의 기술 평가 인력은 6명에 불과하다. 활용 가능한 그래픽처리장치(GPU) 서버도 5대에 그친다. 반면 영국 AI 보안연구소는 기술 인력만 100명을 넘고 국가 차원의 컴퓨팅 자원을 활용한다. 올해 예산도 약 1216억원으로 한국(89억원)의 14배에 달한다. 조직 운영에서도 차이가 있다. 영국은 정부 소속 전문기관을 중심으로 글로벌 AI 기업과 협력하고 있지만 국내 AI안전연구소는 한국전자통신연구원(ETRI) 직할 조직으로 운영되고 있다. 독립적인 인사권과 예산 확보에 한계가 있다는 지적도 나온다. 이정헌 의원은 "AI안전연구소에 법적 독립성을 부여하고 자체적인 인사·예산 권한을 보장하도록 AI 기본법을 개정해야 한다"고 밝혔다. 영국은 전문인력과 컴퓨팅 자원을 확보하고 글로벌 AI 개발사와 협력하며 최첨단 모델에 대한 평가 경험을 축적해 왔다. 한국도 국제 평가에 참여하는 데서 나아가 실제 검증을 수행할 연구 역량과 조직적 기반을 갖추는 문제가 남아 있다. 김 소장은 "한국이 국제 AI 거버넌스 논의에 참여하려면 프런티어 AI 기술력과 평가 역량을 빠르게 확보해야 한다"며 "한국은 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 말했다.

2026.10.13 11:09김동원 기자

"우유도 검사받는데 AI는?"…MS 부회장, 법적 안전 규제 촉구

마이크로소프트(MS) 부회장이 인공지능(AI)은 우유나 세탁기보다 안전 규제가 부족하다며 사고 발생 시 기업에 피해자 통보 의무를 부과하는 등 법적 안전장치를 마련해야 한다고 촉구했다. 12일(현지시간) BBC에 따르면 브래드 스미스 MS 부회장 겸 사장은 '빅 보스 인터뷰' 팟캐스트에서 AI를 도구이자 무기로 규정하고 법적 구속력을 갖춘 안전 규칙이 필요하다고 밝혔다. 일상에서 사용하는 제품에는 엄격한 안전 기준이 적용되지만 AI는 그에 걸맞은 규제를 받지 않고 있다는 지적이다. 스미스 부회장은 "현재 세탁기는 AI보다 더 많은 안전 규제를 받는다"며 "식료품점에서 판매하는 우유 한 팩도 안전 규정과 검사를 적용받는다"고 말했다. 구체적인 안전장치로는 AI가 사람의 통제를 벗어났을 때 작동을 중단하거나 속도를 늦추는 '킬 스위치'를 제안했다. AI 에이전트가 예상하지 못한 행동을 하더라도 사람이 개입해 추가 피해를 막을 수 있도록 하기 위해서다. 사고가 발생했을 때 기업의 책임을 명확히 하는 방안도 제시했다. AI 에이전트가 허가 없이 다른 시스템에 접근하는 등 문제가 발생하면 기업이 사고 사실을 공식 보고하고 피해자에게 알리도록 법으로 의무화해야 한다는 주장이다. AI를 출시하기 전 안전성을 검증하는 절차도 필요하다고 봤다. 개발사의 자체 점검에만 의존하지 않고 정부의 독립적인 평가기관이 새로운 AI 기술의 위험성을 확인하도록 요구했다. 이러한 주장은 기업의 자율규제를 우선시하는 도널드 트럼프 미국 행정부의 정책 기조와 차이가 있다. 트럼프 행정부는 중국과의 AI 경쟁에서 미국 기업이 뒤처지지 않도록 규제 부담을 줄이는 데 무게를 두고 있다. 지난달 말 백악관에서는 오픈AI와 앤트로픽, 엔비디아, 메타, 구글 등 주요 기술기업 경영진이 AI 안전에 관한 자율적 약속에 참여했다. 기업들은 독립적인 감사기관과 협력해 AI 시스템이 의도대로 작동하는지 점검하고 허가받지 않은 시스템 접근을 방지하기로 했다. 스미스 부회장은 기업들의 자발적인 합의를 긍정적으로 평가하면서도 한계를 지적했다. 안전에 책임감을 가진 기업은 약속을 지키겠지만 그렇지 않은 기업까지 자율적인 기준에 따르리라고 기대하기는 어렵다는 이유에서다. 국제 AI 안전 기준 마련을 주도할 국가로는 영국을 지목했다. 영국이 첨단 AI 모델의 위험성을 직접 시험하고 검증할 수 있는 기술과 전문기관을 갖췄다는 점에 주목했다. 영국은 2023년 AI 안전연구소를 설립한 뒤 고성능 AI 모델의 위험성을 평가해 왔다. 이후 AI 보안연구소로 명칭을 바꾸고 사이버보안과 국가안보에 영향을 미칠 수 있는 위협까지 평가 범위를 넓혔다. 스미스 부회은 영국의 평가 역량이 국제 안전 기준 마련에 도움이 될 것으로 봤다. 미국 정부도 유럽연합(EU)보다 영국이 주도하는 기준에 상대적으로 우호적인 태도를 보일 수 있다고 예상했다. 그는 "AI가 인간의 통제를 벗어나고 사이버보안까지 위협할 수 있는 만큼 이제 행동에 나서야 한다"며 "차분하면서도 단호하게 사람들을 한데 모으기 시작해야 한다"고 말했다.

2026.10.13 09:09김동원 기자

AI 에이전트 도입 늘어도 실제 운영은 11%…문제는 '통제'

기업들이 인공지능(AI) 에이전트를 빠르게 도입하고 있지만 실제 운영 단계까지 간 사례는 11%에 그친다는 지적이 나왔다. 정승모 아이티센글로벌 AI이노베이션센터장은 8일 서울 코엑스에서 열린 'AI 페스타 2026'의 AIR(AI Realization) 쇼케이스에서 "AI 에이전트 경쟁력은 얼마나 많이 만드느냐가 아니라 얼마나 믿고 맡길 수 있느냐에서 나온다"고 말했다. AI 에이전트 도입 속도는 빠르다. 정 센터장이 인용한 가트너 전망에 따르면 올해 말에는 기업용 애플리케이션 10개 중 4개에 AI 에이전트가 탑재될 것으로 예상된다. 하지만 실제 업무까지 이어지는 비율은 낮았다. 워크플로 자동화 기업 카문다가 IT 리더 등을 대상으로 조사한 결과 71%가 AI 에이전트를 사용하고 있다고 답했지만 지난 1년간 운영 단계까지 간 사례는 11%에 그쳤다. 정 센터장은 "10개를 시도하면 9개는 파일럿에서 멈춘다는 뜻"이라며 "많은 사람이 에이전트를 만들고 있지만 운영 단계까지 가는 사례는 많지 않다"고 말했다. 그는 에이전트 확산을 가로막는 요인으로 거버넌스와 보안, 관리되지 않는 에이전트 증가를 꼽았다. 기존 챗봇이 주로 질문에 답하는 역할이었다면 AI 에이전트는 기업 시스템에 접속해 데이터를 조회하고 실제 업무까지 수행한다. 권한을 잘못 부여하거나 행동 기록을 남기지 않으면 보안 사고로 이어질 수 있다. 정 센터장은 "핵심은 AI가 누구 권한으로 무엇에 접근해 무엇을 했는지 증명할 수 있느냐"라며 "개인정보를 다루는 에이전트라면 접근 권한을 최소화하고 접속 기록도 남겨야 한다"고 밝혔다. 직원들이 직접 만든 에이전트가 늘면서 관리되지 않는 AI도 생겨나고 있다. 실험용으로 만든 뒤 더 이상 사용하지 않는 에이전트가 회사 곳곳에 남거나 누가 만들었는지조차 파악하기 어려워지는 경우다. 정 센터장은 이를 '에이전트 스프롤(Agent Sprawl)'이라고 표현했다. 더 큰 문제는 사용하지 않는 에이전트가 회사 데이터에 접근할 권한을 그대로 보유할 수 있다는 점이다. 반대로 현업 직원의 에이전트 개발을 막으면 승인받지 않은 외부 AI 도구를 몰래 사용하는 '섀도 AI'가 늘어날 수 있다. 아이티센글로벌은 이런 문제를 해결하기 위해 멀티 AI 에이전트 관리 플랫폼 '에이전트고'에서 에이전트 생성부터 실행, 운영까지 한꺼번에 관리하도록 했다. 운영 단계에서는 사용자와 조직별로 사용할 수 있는 에이전트와 접근 가능한 데이터를 구분한다. 부서와 에이전트, AI 모델별 토큰 사용량도 확인할 수 있어 비용을 관리하거나 실제로 쓰이지 않는 에이전트를 찾아낼 수 있다. 업무 기록도 관리한다. 관리자가 AI와 사용자의 대화 내용을 확인하려면 열람 사유를 입력해야 하고 개인정보는 가려서 보여준다. 문제가 발생했을 때 기록을 남기면서도 직원 감시나 개인정보 노출 우려를 줄이기 위한 장치다. 실행 과정 보안은 '에이전트고 가드'가 맡는다. 사용자가 입력한 질문에서 개인정보와 금칙어를 찾아내고, 기존 지시를 무시하도록 유도하는 프롬프트 인젝션 같은 공격도 탐지한다. 여러 차례 대화를 이어가며 민감정보를 빼내려는 공격도 추적한다. 처음에는 고객 응대 매뉴얼을 묻고 이후 본인 확인 정보와 저장 형식을 차례로 질문한 뒤 마지막에 전체 고객의 연락처와 주민번호를 요구하는 식이다. 질문 하나하나는 정상적으로 보여도 대화 흐름 전체를 분석하면 정보 탈취 의도를 찾아낼 수 있다. 에이전트를 만드는 과정에도 통제 절차를 넣었다. 개발자는 코딩 도구를 사용하고 비개발자는 드래그앤드롭 방식으로 업무 흐름을 구성할 수 있다. 완성된 에이전트는 바로 실제 업무에 투입하지 않고 별도 시험 환경에서 검증한 뒤 사람의 승인을 거쳐 운영한다. 실제 도입 사례도 있다. 한 제조기업은 기존 로봇프로세스자동화(RPA) 경험이 있는 현업 직원 약 200명이 직접 AI 에이전트를 만들 수 있도록 에이전트고 구축을 진행하고 있다. 업무를 잘 아는 직원이 에이전트를 만들고 품질과 보안, 권한 관리는 플랫폼에서 맡는 방식이다. 정 센터장은 "만들 때 표준이 있으면 방치되는 에이전트가 관리되는 자산이 되고 실행할 때 방어가 있으면 보안 사고의 통로가 믿고 맡길 수 있는 통로가 된다"며 "통제력은 혁신을 늦추는 브레이크가 아니라 더 멀리, 더 빠르게 달릴 수 있게 하는 가속 페달"이라고 말했다.

2026.10.08 15:22김동원 기자

AI 탈옥·정보 유출 막는다…아이티센클로잇, 기업용 '가드레일' 공개

아이티센클로잇이 기존 사내 챗봇과 인공지능(AI) 에이전트를 바꾸지 않고도 질문과 답변 양쪽에 보안 장치를 적용할 수 있는 솔루션을 선보였다. 아이티센클로잇은 7일 서울 코엑스에서 열린 'AI 페스타 2026'에서 기업용 AI 보안 솔루션 '에이전트고 가드'를 공개했다. 현장에서는 AI가 사용자의 질문을 받기 전과 답변을 내보내기 전에 위험 요소를 검사하고 차단하는 과정을 시연했다. 에이전트고 가드는 기업이 이미 사용하고 있는 사내 챗봇과 검색증강생성(RAG), 사내 거대언어모델(LLM)을 교체하지 않고 보안 기능을 추가할 수 있도록 설계됐다. 아이티센클로잇은 이를 '지금 쓰는 AI는 그대로, 보안만 더하세요'라는 문구로 소개했다. 에이전트고 가드는 사용자의 질문이 AI에 전달되기 전에 개인정보와 금칙어를 검사하고 프롬프트 인젝션이나 탈옥처럼 안전장치를 우회하려는 시도를 탐지한다. 답변이 생성된 뒤에도 내용을 다시 검사해 개인정보 노출과 유해 콘텐츠, 내부 정책 위반 여부를 확인한다. 기업별 보안 기준도 직접 설정할 수 있다. 관리자는 혐오 표현과 성희롱, 욕설 등 금칙어를 지정하고 이를 각 AI 서비스에 적용할 수 있다. 부스에서는 금칙어와 차단 정책을 설정하고 관리하는 화면을 시연했다. 여러 AI 서비스의 이용 현황도 한곳에서 관리한다. 대시보드에서 서비스별 사용량과 차단 내역, API 호출 기록을 확인하고 문제가 발생한 시점과 내용을 추적할 수 있다. 부서마다 다른 AI를 사용하더라도 보안 정책은 중앙에서 관리할 수 있도록 했다. 설치 환경은 퍼블릭 클라우드부터 온프레미스, 폐쇄망까지 지원한다. 외부로 데이터를 보내기 어려운 공공·금융·의료·제약 분야에서도 사용할 수 있다. 에이전트고 가드는 아이티센클로잇의 멀티 AI 에이전트 관리 플랫폼 '에이전트고'와도 연결된다. 에이전트고는 기업이 AI 에이전트를 만들고 여러 업무 시스템과 연결하는 것부터 권한과 사용량, 보안 정책을 관리하는 과정까지 지원한다. 아이티센클로잇 관계자는 "기업들이 다양한 AI 서비스를 업무에 빠르게 도입하면서 이제는 AI를 얼마나 잘 쓰는 것뿐 아니라 안전하게 통제할 수 있느냐가 중요해지고 있다"며 "기존 AI 환경을 크게 바꾸지 않고도 보안과 거버넌스를 적용할 수 있도록 지원 범위를 확대해 나갈 것"이라고 말했다.

2026.10.07 17:35김동원 기자

"AI 속도조절 안돼…추격 멈추지 말고 안전 역량 키워야"

인공지능(AI) 개발 속도를 늦추기보다 프런티어 AI 경쟁력을 끌어올리면서 검증과 통제 역량을 더 빠르게 확보해야 한다는 목소리가 학계와 산업계에서 나왔다. 1일 서울 중구에서 열린 국가인공지능전략위원회 'AI 개발 속도조절론 관련 세미나'에서는 국내 AI 개발 속도를 낮추기보다 프런티어 AI 경쟁력을 이어가면서 평가·검증·통제 역량을 동시에 확보해야 한다는 데 참석자들의 의견이 모였다. 최근 앤트로픽과 오픈AI 등에서는 프런티어 AI의 능력이 통제 수준보다 빠르게 높아질 수 있다는 우려와 함께 개발 속도를 조절해야 한다는 주장이 제기됐다. 반면 미국과 중국 정부를 비롯해 AI 기술 경쟁을 이어가야 한다는 입장도 나오면서 속도와 안전을 둘러싼 논의가 확산하고 있다. 이날 참석자들은 국내 AI 개발 속도를 낮추는 데에는 대체로 신중한 입장을 보였다. 프런티어 AI 기술 추격을 이어가는 동시에 위험을 검증하고 사고에 대응할 역량도 함께 갖춰야 한다는 데 무게가 실렸다. 한국의 대응 방향으로 '속도 책임'이 제시됐다. AI 개발과 산업 활용은 이어가되 검증과 사고 대응, 복원력 등 안전 역량을 위험이 커지는 속도보다 더 빠르게 높이자는 구상이다. 이원태 국가AI전략위 보안특위 위원장은 "대한민국 AI의 시계는 절대 멈출 수 없다"며 "프런티어 모델과 산업적 활용은 늦추지 말고 위험이 커지는 속도보다 검증과 사고 보고, 복원력 등 책임의 속도를 더 빠르게 해야 한다"고 말했다. 기술 추격 단계에 있는 한국이 개발 속도를 낮추면 미국과 중국과의 격차가 더 벌어질 수 있다는 우려도 나왔다. 김성훈 업스테이지 대표는 미국이나 중국이 만든 초지능에 의존해서는 한국의 기술 주권을 확보하기 어렵다고 봤다. 한국도 AI가 스스로 더 나은 AI를 만드는 자기개선 단계까지 기술력을 끌어올린 뒤 안전장치를 함께 마련해야 한다는 입장이다. 김 대표는 "같이 멈추면 우리는 이 바닥을 기게 될 것"이라며 "안전하게 그러나 굉장히 빠르게 자기개선형 초지능으로 나가야 한다"고 말했다. 개발 속도를 유지하기 위해서는 AI 능력을 제대로 측정할 수 있는 평가 체계가 뒷받침돼야 한다는 분석도 이어졌다. 현재 모델 자체를 중심으로 한 평가만으로는 에이전트가 결합했을 때 나타나는 실제 능력을 충분히 파악하기 어렵다는 것이다. 최대선 숭실대 AI안전성연구센터장은 자체 실험에서 같은 모델에 에이전트를 결합했을 때 사이버 보안 성능이 크게 높아진 사례를 소개했다. 개별 모델뿐 아니라 에이전트가 결합된 전체 시스템까지 평가 범위를 넓히고 악용 통제와 행동 차단, 사고 추적 체계를 함께 갖춰야 한다고 제안했다. 이한울 에임인텔리전스 부사장도 모델 개발 역량과 위험을 판단할 역량을 함께 확보해야 한다고 봤다. 국내에서 개발한 모델도 독립적인 평가를 거쳐야 하며 검증된 보안 기술이 기업 현장에 적용될 수 있도록 인력과 운영 여건을 갖추는 문제도 짚었다. 평가 기준을 누가 만들 것인지도 주요 화두로 다뤄졌다. 글로벌 빅테크가 자체 안전 기준을 만들고 이를 사실상의 국제 표준으로 확산할 경우 기술 경쟁력이 규칙을 만드는 힘으로 이어질 수 있어서다. 김동환 포티투마루 대표는 유엔과 경제협력개발기구(OECD) 등 다자 협력 체계에서 AI 안전 기준을 함께 논의해야 한다고 제안했다. 한국도 이미 만들어진 기준을 따르는 데 그치지 않고 국제 논의 과정에 참여해야 한다고 봤다. 국제 AI 안전 논의에 참여하기 위한 국내 검증 역량 확보도 과제로 꼽혔다. 김명주 AI안전연구소장은 다음 주 열리는 9개국 AI안전연구소장 협의회에서 첨단 AI 표준과 검증 체계, 사고 대응 방안 등을 논의할 예정이라고 밝혔다. 현재 국내 평가 인력은 주요국과 격차가 있다. 김 소장에 따르면 한국 AI안전연구소 정규직은 20명 남짓인 반면 영국은 평가 인력만 200명 수준이다. AI안전연구소는 국내 AI 모델과 에이전트에 대한 평가를 확대하고 연말까지 개발자 가이드라인과 평가 플랫폼을 마련하는 방안도 준비하고 있다. 이원태 위원장은 "안전은 가속의 반대말이 아니고 가속의 조건일 수 있다"며 "경쟁력 있는 AI는 단지 성능이 높은 AI가 아니라 안전하게 배포하고 사고가 나도 회복할 수 있는 AI여야 한다"고 말했다.

2026.10.01 16:53김동원 기자

하정우 부위원장 "AI 속도 늦추기보다 개발·평가 역량 함께 키워야"

하정우 국가인공지능전략위원회 상근 부위원장이 최근 제기된 AI 개발 속도조절론과 관련해 한국은 프런티어 AI 개발 역량과 안전 역량을 함께 키워야 한다고 강조했다. 하 부위원장은 1일 열린 'AI 개발 속도조절론 관련 세미나' 영상 축사에서 "결국 중요한 것은 우리가 어떤 전략을 수립하고 실행하느냐"라며 "AI 시대에 과연 우리가 어떤 역량을 보유해야 하는지를 고민해야 한다"고 말했다. 최근 글로벌 AI 업계에서는 프런티어 AI의 능력이 빠르게 높아지면서 개발 속도를 늦춰 통제할 시간을 확보해야 한다는 주장이 제기되고 있다. 반면 기술 경쟁이 치열한 상황에서 개발 속도를 늦춰서는 안 된다는 의견도 나오고 있다. 하 부위원장은 AI 기술 발전에 따라 위험이 커지고 있는 만큼 안전장치와 평가 체계를 갖추는 작업도 병행해야 한다고 봤다. 다만 이를 이유로 국내 프런티어 AI 개발 속도까지 늦추는 방안에는 신중한 입장을 나타냈다. 한국이 글로벌 AI 안전 규율 논의에서 목소리를 내려면 자체 기술력부터 확보해야 한다는 점도 강조했다. AI를 직접 개발하고 위험성을 평가할 역량이 있어야 국제 논의에서도 영향력을 확보할 수 있다는 설명이다. 그는 "우리가 주도적으로 안전성이나 규율에 대한 목소리를 낼 수 있어야 한다"며 "그 목소리를 내기 위해서는 우리가 잘 만들 수 있어야 하고 역량이 있어야 하며 영향력을 끼칠 수 있는 힘을 가지고 있어야 한다"고 말했다. 하 부위원장은 지난 1년여간 독자 AI 파운데이션 모델 사업을 추진하며 한국의 프런티어 AI 개발 역량이 세계 3위 수준까지 올라왔다고 평가했다. 그는 "기본적으로 우리는 AI 시대 강력한 AI 역량을 가진 국가가 되기 위해 한 걸음 한 걸음 더 나아가야 한다"며 "어떤 전략이 우리를 AI 시대 선도 국가로 만들 수 있을지 방법을 찾아가는 것이 매우 중요하다"고 강조했다.

2026.10.01 16:19김동원 기자

국가AI전략위, AI 개발 속도 논의…'속도 책임론' 강조

국가인공지능전략위원회가 인공지능(AI) 개발 속도를 늦추자는 '속도조절론'과 관련해 한국은 기술 개발을 늦추기보다 프런티어 AI 역량과 안전·보안·통제 기술을 함께 확보해야 한다는 방향을 제시했다. 국가AI전략위는 1일 AI 개발 속도조절론을 주제로 세미나를 열고 국내 대응 방향을 논의했다고 밝혔다. 최근 글로벌 AI 기업을 중심으로 기술 발전 속도를 늦춰야 한다는 주장이 제기되는 가운데 미국과 중국을 비롯한 주요국의 입장이 엇갈리면서 한국의 대응 전략을 논의하기 위해 마련됐다. 전략위가 제시한 방향은 '속도 책임론'이다. 글로벌 기업과의 기술 격차를 좁히기 위한 AI 개발은 계속하되 모델의 위험을 평가하고 문제가 발생했을 때 통제할 수 있는 기술과 제도도 동시에 갖추자는 취지다. 이원태 국가AI전략위 보안특별위원장은 주요국의 AI 대응 전략을 소개하며 한국은 프런티어 AI 개발 역량과 안전·보안·통제 역량을 함께 빠르게 확보해야 한다고 강조했다. 프런티어 AI 성능이 빠르게 높아지면서 기존 안전 제도만으로 대응하기 어렵다는 지적도 나왔다. 최대선 숭실대 AI안전성연구센터장은 현재 제도가 활용 영역이나 연산량 등을 기준으로 AI 위험을 관리하고 있지만 범용성과 예측하기 어려운 능력이 커지는 프런티어 AI에는 추가적인 기술·제도적 대응이 필요하다고 진단했다. 산업계에서는 한국이 먼저 개발 속도를 늦출 경우 해외 기업과의 기술 격차가 더 벌어질 수 있다는 우려가 제기됐다. 김성훈 업스테이지 대표는 AI가 초지능을 넘어 스스로 성능을 개선하는 단계로 발전하고 있다며 국내에서 먼저 속도를 조절하면 글로벌 빅테크와의 격차가 고착화될 수 있다고 주장했다. 김 대표는 이에 따라 국내에서도 자기진화형 AI 기술을 확보하면서 글로벌 논의에 맞춰 안전장치를 마련해야 한다는 의견을 제시했다. AI 개발 자체를 늦추기보다 기술 경쟁력과 안전 역량을 함께 확보해야 한다는 것이다. AI 모델을 외부 기술에 의존하지 않고 국내에서 직접 평가하고 통제할 수 있는 역량도 과제로 제시됐다. 이한울 에임인텔리전스 부사장은 국내 AI 보안 현황을 소개하며 독립적인 모델 평가·통제 능력과 국제 공조를 함께 확보해야 한다고 제언했다. 이어진 토론에는 김명주 AI안전연구소장과 김동환 포티투마루 대표도 참여했다. 참석자들은 글로벌 AI 기업과의 기술 격차를 줄이기 위한 지원책과 첨단 AI 위험 평가·통제, 안전 검증 체계, 기업 부담을 줄이면서 안전성을 확보하는 방안 등을 논의했다. 이번 세미나에는 국가AI전략위 위원과 과학기술정보통신부, 개인정보보호위원회 등 관계부처를 비롯해 AI안전연구소와 한국인터넷진흥원(KISA), 정보통신정책연구원(KISDI), 소프트웨어정책연구소(SPRi) 등에서 70여 명이 참석했다. 하정우 국가AI전략위 상근 부위원장은 "대체 불가능한 글로벌 AI 핵심 공급망 확보와 AI 3강 도약에 있어 안전한 프런티어 AI 역량 확보는 선택이 아닌 필수 사항"이라며 "위원회가 구심점이 돼 범정부 차원의 관련 정책 조율을 지원함으로써 가파른 기술 추격과 선제적 보안 대응이 균형 있게 추진되는 데 앞장서겠다"고 말했다.

2026.10.01 14:00김동원 기자

오픈AI '디시전스 API', AI 에이전트 안전장치로 주목

오픈AI가 공개한 '디시전스 API'가 인공지능(AI) 에이전트의 행동을 감시하는 안전장치로 활용될 가능성이 제기됐다. 1일 테크크런치에 따르면 오픈AI가 데브데이에서 공개한 디시전스 API를 AI 에이전트의 '감시자'로 활용할 수 있다는 분석이 나왔다. AI 에이전트가 파일을 수정하거나 외부 사이트에 접속하기 전에 다른 AI가 행동을 확인하고 문제가 있으면 실행을 막을 수 있다. 디시전스 API는 여러 선택지 가운데 현재 상황에 맞는 답을 빠르게 고르는 기술이다. 오픈AI는 GPT-6 루나를 기반으로 이미지 분류나 고객 요청 처리 경로 결정, 여러 AI 에이전트 가운데 다음 작업을 맡을 대상을 고르는 데 활용할 수 있다고 소개했다. 결과는 1초보다 짧은 시간 안에 내놓을 수 있다. 이를 감시에 활용하면 AI 에이전트가 하려는 행동이 이용자가 맡긴 일과 맞는지 한 번 더 확인할 수 있다. 문제가 있다고 판단하면 실행을 막고 판단이 애매한 경우에는 사람이 확인하도록 조치하는 것도 가능하다. 비슷한 기술을 실제 AI 에이전트 감시에 적용한 사례도 나왔다. 사이버보안 스타트업 쿼리스토리는 타입세이프AI가 개발한 AI 모델 '제브'를 이용해 에이전트가 행동할 때마다 문제가 없는지 검사하는 시스템을 시험했다. 제브는 긴 문장을 만드는 대신 미리 주어진 선택지 가운데 적절한 답을 고르는 데 특화됐다. 쿼리스토리는 에이전트가 하려는 행동이 맡은 작업과 어긋난다고 판단하면 실행을 차단하고 판단이 애매한 경우에는 사람이 확인하도록 했다. 감시에 드는 비용에서도 큰 차이가 나타났다. 같은 작업에 프런티어 AI 모델을 사용했을 때는 372달러(약 50만원)가 들었지만 제브를 이용했을 때는 2.94달러(약 4000원)가 소요됐다. 에이전트가 행동할 때마다 별도의 AI로 확인하는 데 드는 비용을 크게 줄인 것이다. 디시전스 API도 제브와 비슷하게 정해진 선택지 가운데 답을 빠르게 고른다. 이에 따라 에이전트의 행동을 반복해서 확인하는 데 활용할 수 있다는 가능성이 거론됐다. 다만 오픈AI는 디시전스 API를 AI 에이전트 감시용으로 제공한다고 공식 발표하지는 않았다. 샘 알트먼 오픈AI 최고경영자(CEO)는 "모델이 선택에 집중하도록 하면 매우 빠르게 작동하게 할 수 있다"며 "이미지 이해와 폭넓은 언어 지원, 안전 기능도 유지할 수 있다"고 말했다.

2026.10.01 10:37김동원 기자

AI 안전망 넓히는 오픈AI, 에이전트 보안 강화

오픈AI가 인공지능(AI) 에이전트 업무 범위를 넓히는 동시에 보안과 데이터 보호 장치도 강화했다 오픈AI는 29일(현지시간) 미국 샌프란시스코에서 열린 개발자 행사 데브데이 2026에서 코덱스 시큐리티 클라우드 기능을 강화하고 새로운 기업용 데이터 보호 체계 '프라이빗 인텔리전스'를 공개했다. 코덱스 시큐리티 클라우드는 기업 코드를 지속적으로 검사해 보안 취약점을 찾고 실제 위험 여부를 확인한 뒤 수정안까지 만든다. 프라이빗 인텔리전스는 기업이 민감한 정보를 외부에 노출하지 않고 오픈AI의 고성능 모델과 안전 기능을 사용할 수 있도록 한다. 이번 발표는 AI 안전 문제가 다시 부각되는 가운데 나왔다. 오픈AI는 다음 달 선보일 예정이던 GPT-6.1 아스트라가 내부 안전성과 정렬 기준을 충족하지 못하자 출시를 보류했다. 내부 평가에서는 모델이 자신의 행동을 정확하게 알리지 않거나 사람의 감독을 피하려는 문제가 나타난 것으로 전해졌다. 오픈AI는 AI 에이전트가 장시간 업무를 수행하고 여러 시스템에 접근할수록 행동 범위와 데이터 접근을 통제하는 장치가 중요해진다고 설명했다. 샘 알트먼 오픈AI 최고경영자(CEO)는 "에이전트가 안전하게 작동하고 데이터를 보호할 수 있어야 한다"고 말했다. 취약점 찾고 수정안까지…코덱스 시큐리티 클라우드 코덱스 시큐리티 클라우드는 개발자가 작성한 코드를 계속 살펴보면서 해킹에 악용될 수 있는 취약점을 찾는 서비스다. 문제가 있을 가능성을 알리는 데 그치지 않고 실제 위험한 문제인지 검증한 뒤 개발자가 확인할 수 있는 수정안까지 제시한다. 깃허브에 저장된 코드를 연결하면 새롭게 추가되거나 변경된 부분을 지속적으로 검사한다. 정해진 시간마다 자동 검사를 실행할 수 있으며 같은 문제를 여러 차례 찾아내는 중복 결과도 걸러낸다. 취약점을 발견하면 해당 코드가 실제 공격에 이용될 수 있는지도 확인한다. 이후 문제를 고칠 수 있는 코드를 만들고 시험한 뒤 개발자가 검토할 수 있도록 제시한다. 사람이 최종 판단을 내리는 구조는 유지했다. 어떤 문제를 조사하고 어떤 수정안을 실제 코드에 반영할지는 개발자나 보안 담당자가 결정한다. 코덱스 시큐리티 클라우드는 지난 3월 연구 프리뷰로 처음 공개됐다. 이후 3만 개가 넘는 코드베이스에서 3000만 건 이상 코드 변경을 검사했다. 이 가운데 7만 건이 넘는 문제는 사람이 수정 완료를 확인했고 50만 건이 넘는 문제는 시스템이 자동으로 수정 완료된 것으로 판정했다고 오픈AI는 밝혔다. 이번 데브데이에서는 자동 중복 제거와 예약 검사 기능을 추가하고 이용 화면도 새롭게 개편했다. 보안팀이 취약점을 발견하는 데서 끝나지 않고 실제 수정까지 이어지는 시간을 줄이는 데 초점을 맞췄다. 알트먼 CEO는 "코덱스 시큐리티 클라우드는 클라우드 환경에서 지속적으로 취약점을 찾고 검증된 수정안을 준비한다"고 설명했다. 기업 데이터는 보호…'프라이빗 인텔리전스' 오픈AI는 기업이 민감한 정보를 AI에 맡길 때 데이터 노출을 줄이기 위한 프라이빗 인텔리전스도 공개했다. 금융 정보나 의료 데이터, 회사 내부 문서처럼 외부에 공개하기 어려운 정보를 다루는 기업을 위한 기능이다. 여기에는 데이터를 저장하지 않으면서 AI 사용 과정의 위험을 검사하는 '프라이빗 세이프티 프로세싱'이 포함된다. 데이터 비저장 방식인 '제로 데이터 리텐션(ZDR)'과 함께 사용하면 이용자가 입력한 내용과 AI의 답변을 오픈AI가 보관하지 않은 상태에서도 자동 안전 검사를 할 수 있다. AI 안전 검사는 보통 이용자가 입력한 내용이나 모델의 답변을 확인해야 한다. 프라이빗 세이프티 프로세싱은 고객이 관리하는 저장 공간에 데이터를 두고 자동 시스템이 위험 신호를 찾아내는 방식이다. 오픈AI 직원은 원본 내용에 접근할 수 없다. 안전 문제가 발견돼도 오픈AI에는 문제 유형 등 제한된 정보만 전달된다. 기업의 실제 문서나 이용자가 AI에 입력한 구체적인 내용은 보내지 않는다. 오픈AI는 민감한 데이터가 AI 처리 과정에서 노출되지 않도록 하는 '프라이빗 인퍼런스'도 개발하고 있다. 기업이 중요한 데이터를 보호하면서 프런티어 AI를 사용할 수 있도록 하는 기술이다. 알트먼 CEO는 "기업이 가장 발전된 모델을 사용하면서도 자신의 데이터를 더 강하게 통제할 수 있도록 하는 것이 목표"라며 "프라이버시와 프런티어 AI를 함께 제공하는 새로운 기준을 만들 수 있을 것"이라고 말했다.

2026.09.30 05:12김동원 기자

AI 안전도 '그들만의 리그'…기술 가진 자가 규칙 만든다

인공지능(AI) 안전 논의가 프런티어 AI를 보유한 국가와 기업 중심으로 좁혀지고 있다. 최첨단 모델을 직접 만드는 기업들이 새로운 위험을 찾아내는 데서 나아가 평가 방식과 안전 기준 마련에도 나서면서 기술력이 AI 안전 분야의 영향력으로 이어지는 모습이다. 29일 AI 업계에 따르면 구글과 오픈AI, 앤트로픽은 프런티어 AI에 적용할 공동 안전 기준을 마련하기 위해 가칭 '프런티어 AI 표준기구(SAFA)' 설립을 추진 중이다. 이르면 올해 말이나 내년 초 출범을 목표로 논의가 진행되고 있다. SAFA에서는 프런티어 AI를 어떤 방식으로 시험하고 안전사고가 발생했을 때 어떻게 대응할지 등을 다룰 것으로 알려졌다. 지금까지 각 회사가 자체적으로 운영해온 안전 평가를 넘어 여러 기업이 함께 적용할 공통 기준도 논의한다. 프런티어 모델 성능이 높아지면서 평가 대상도 달라졌다. 단순한 답변 정확도를 넘어 사이버 공격이나 생물학적 위험을 높일 수 있는지, 사람의 개입 없이 복잡한 업무를 어디까지 수행할 수 있는지 등이 새로운 평가 영역으로 들어왔다. 오픈AI는 최근 신형 모델의 사이버 공격 능력을 평가한 뒤 위험 수준에 맞춰 내부 보안 조치를 강화했다. 앤트로픽은 최신 모델 출시 전 외부 기관에 안전 평가를 맡겼고 구글 딥마인드는 시험 내용이 개발 과정에 미리 노출되지 않도록 새로운 평가 방식을 도입했다. 새로운 능력이 나타날 때마다 평가 방식도 함께 바뀐다. 기존 시험으로 확인하기 어려운 위험이 나오면 무엇을 시험할지 다시 정하고 이를 측정할 방법도 새로 만들어야 한다. SAFA에서는 이러한 논의가 이어질 것으로 전망된다. 국가 차원에서도 프런티어 AI 평가가 이뤄지고 있다. 미국과 영국의 AI 안전기관은 자국 기업의 모델뿐 아니라 중국 기업이 개발한 최신 모델도 직접 시험하고 있다. 미국 AI표준혁신센터(CAISI)는 중국 AI 모델의 취약점 발견과 공격 코드 개발 능력을 측정해 미국의 최상위 모델과 비교하기도 했다. 프런티어 AI 기술은 모델 성능 경쟁을 넘어 안전 분야의 국제 논의와도 연결된다. 최신 모델에서 나타나는 위험을 직접 확인하고 평가할 기술을 갖춰야 다른 국가와 기업이 만드는 평가 방식과 안전 기준을 논의할 때도 기술적 근거를 제시할 수 있어서다. 배경훈 부총리 겸 과학기술정보통신부 장관은 지난달 국무회의에서 "AI 모델은 이제 국가 안보 그 자체"라며 독자 AI 역량 확보 필요성을 강조했다. 김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "한국이 국제 AI 거버넌스 논의에 참여하려면 프런티어 AI 기술력과 평가 역량을 빠르게 확보해야 한다"며 "한국은 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 말했다.

2026.09.29 11:28김동원 기자

AI 위험 검증 강화하는 주요국…韓 안전 평가 인력 6명뿐

국내 인공지능(AI) 안전 평가를 담당하는 AI안전연구소의 기술 평가 인력이 6명에 불과한 것으로 나타났다. 미국과 영국, 일본이 전문인력과 연산 자원을 늘리는 가운데 국내 AI 안전 평가 역량도 강화해야 한다는 지적이 제기됐다. 28일 국회 과학기술정보방송통신위원회 소속 이정헌 더불어민주당 의원이 과학기술정보통신부와 AI안전연구소에서 제출받은 자료에 따르면 연구소 AI 안전 평가실 인력은 7명뿐이었다. 법제·규범 담당자 1명을 제외하면 실제 AI 모델을 기술적으로 평가하는 인력은 6명이다. 이들은 고성능 AI 모델이 어떤 위험한 능력을 갖췄는지 직접 시험한다. 해킹이나 사이버 공격에 악용될 수 있는지, 생물학적 위험 정보를 제공하는지, 개발사가 적용한 안전장치를 우회할 수 있는지 등을 모델을 직접 구동하며 검증한다. 미국에서는 고성능 AI 모델 위험성을 직접 검증해 결과를 공개하고 있다. 미국 국립표준기술연구소(NIST) 산하 AI표준혁신센터(CAISI)는 지난 7월 중국 AI 기업 Z.ai(옛 지푸AI)의 GLM-5.2를 평가했다. 사이버 공격 지원 능력과 생물학적 위험, 안전장치 우회 가능성 등을 시험했다. 주요국은 AI 안전 평가 인력도 늘리고 있다. 의원실 자료에 따르면 미국의 관련 인력은 34명으로 향후 80명까지 확대할 계획이다. 일본도 현재 31명에서 올해 60명으로 늘린 뒤 장기적으로 200명 규모까지 확대할 방침이다. 영국 AI안보연구소는 전체 인력이 약 200명이다. 연구소가 공개한 현황을 기준으로 기술 인력만 100명을 넘는다. 첨단 AI의 사이버 공격 능력과 화학·생물학적 위험, 자율적인 행동 등 국가안보와 공공안전에 영향을 줄 수 있는 위험을 평가하고 있다. 김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "현재 AI 평가 기술에서는 영국이 가장 앞서 있다"며 "한국도 영국을 따라잡기 위해 평가 역량을 강화하고 있다"고 말했다. 김 소장은 AI 안전 평가가 향후 국제적인 AI 규칙을 논의하는 과정에서도 중요해질 것으로 내다봤다. 그는 "AI 발전 속도가 빨라지면서 모델을 통제할지 판단하기 위한 평가가 중요해지고 있다"며 "이 과정에서 객관적인 국가 기관인 각국 AI안전연구소의 역할이 많이 거론되고 있다"고 설명했다. AI 안전과 신뢰성을 평가할 전문인력을 키우려는 움직임은 민간에서도 나타나고 있다. 씽크포비엘은 관련 전문가 양성 교육을 운영하면서 신뢰할 수 있는 인공지능 국제연대(TRAIN)와 함께 AI 개발 과정에서 신뢰성을 검증하는 해커톤 등도 진행하고 있다. 박지환 씽크포비엘 대표는 "국내에 AI 인재·반도체·보안 인력 양성 사업은 있지만 AI 신뢰성 전문인력을 키우는 커리큘럼과 실습 과제, 평가 체계를 갖춘 사업은 부재하다"며 "AI 위험을 사전에 준비하는 능력이 AI 경쟁력을 좌우할 수 있으므로 관련 인재 양성이 꼭 필요하다"고 강조했다. AI 모델을 직접 시험하려면 전문인력뿐 아니라 이를 구동할 컴퓨팅 인프라도 필요하다. 고성능 모델에 다양한 공격을 시도하고 안전장치가 제대로 작동하는지 반복적으로 검증하려면 상당한 연산 자원이 필요하기 때문이다. 의원실 자료에 따르면 국내 AI안전연구소가 활용하는 그래픽처리장치(GPU) 서버는 5대다. 이 가운데 2대는 민간 클라우드에서 임차해 사용하고 있다. 의원실은 현재 인프라로는 조 단위 매개변수를 가진 초거대 AI 모델이나 안전장치의 제약을 받지 않는 모델을 충분히 검증하는 데 한계가 있다고 지적했다. 영국은 국가 차원의 컴퓨팅 인프라를 안전 평가에 활용하고 있다. 의원실 자료에 따르면 영국 AI안보연구소는 15억파운드 규모의 국가 컴퓨팅 자원에 우선 접근할 수 있다. 예산에서도 차이가 나타났다. 의원실 자료에 따르면 한국 올해AI안전연구소 예산은 89억원이다. 영국은 약 1216억원, 미국은 약 232억원이며 일본은 추가경정예산을 통해 관련 예산을 800억원 이상으로 늘렸다. 현재 AISI는 한국전자통신연구원(ETRI) 직할 부서로 운영되고 있다. 이 의원은 이 같은 조직 구조로는 전문인력 확보와 독립적인 안전 평가에 한계가 있다며 AI 기본법을 개정해 AISI에 독립적인 예산과 인사권을 부여해야 한다고 주장했다. 이 의원은 "가시화된 위협에 대응하기 위한 AI 안보 체계 구축을 위해 AI 기본법 개정이 필요하다"며 "AI안전연구소에 법적 독립성을 부여하고 독자적인 예산과 인사권을 보장해 실질적인 대응 역량을 강화해야 한다"고 말했다.

2026.09.28 14:10김동원 기자

Prev 1 2 3 Next