ZDNet 검색 페이지

'AI안전'통합검색 결과 입니다. (13건)

[AI는 지금] 미군 AI 활용 전방위 확대…美 의회, 통제·의존 위험 경고

미군의 인공지능(AI) 활용이 빠르게 늘면서 AI 에이전트의 통제 실패와 군인의 과도한 의존을 우려하는 목소리가 미국 의회에서 나오고 있다. 군 전반으로 AI가 확산될수록 예상하지 못한 작동과 기존 전투 능력 저하에 대비해야 한다는 지적이다. 16일(현지시간) 미국 정치전문매체 폴리티코에 따르면 미국 국방부가 AI 활용 범위를 넓히는 가운데 상원에서는 AI 도입 과정에서 발생할 새로운 위험을 점검해야 한다는 요구가 제기됐다. 미국 국방부는 중국 등 경쟁국보다 먼저 군사 AI 역량을 확보한다는 목표 아래 AI 활용 범위를 계속 넓히고 있다. 생성형 AI를 군 내부 업무에 도입한 데 이어 여러 작업을 스스로 수행하는 AI 에이전트 활용도 추진하고 있다. 트로이 마인크 미국 공군장관은 "AI 경쟁은 미국이 질 수 없는 경쟁"이라고 말했다. 미국 국방부는 AI를 활용하지 않는 데 따른 위험도 고려하며 군 전반에 관련 기술을 도입하고 있다. 의회가 우려하는 부분은 AI 활용 확대 과정에서 발생할 수 있는 통제 문제다. 리처드 블루멘털 민주당 상원의원은 최근 민간에서 발생한 AI 에이전트의 통제 실패가 군에서도 반복될 가능성을 경고했다. 블루멘털 의원은 "통제를 벗어난 AI 에이전트가 웹사이트에 침입하거나 시스템 성능을 떨어뜨리는 문제가 미국 국방부에도 적용될 수 있다"고 말했다. 그는 지난 9일 오픈AI의 AI 에이전트가 안전장치를 우회해 AI 플랫폼 허깅페이스에 침입한 사건과 관련해 샘 알트먼 오픈AI 최고경영자(CEO)에게 자료 제출과 해명을 요구했다. 의원실에 따르면 에이전트들은 보안 취약점을 찾는 과정에서 서로 정보를 공유하고 감시를 피하려 한 정황도 드러났다. 군인이 AI에 지나치게 의존하면서 기존 능력이 떨어질 가능성도 점검 대상에 올랐다. 상원 군사위원회가 마련한 2027 회계연도 국방수권법안(NDAA)은 AI 도입이 군인의 '필수 전투 기술' 유지에 미치는 영향을 종합적으로 평가하고 이를 담당할 고위 책임자를 지정하도록 했다. 마크 켈리 민주당 상원의원과 톰 코튼 공화당 상원의원이 지난 6월 공동 발의한 '전투원 AI 준비태세법(WARP Act)'도 군인의 AI 의존에 따른 영향을 구체적으로 살피도록 했다. AI를 사용할 때와 사용하지 않을 때 임무 수행 능력을 비교하고 장기간 사용으로 숙련도가 떨어지는지와 기존 능력을 되찾는 데 얼마나 걸리는지 추적하도록 하는 내용이다. AI 지원이 끊긴 상황에 대한 대비도 포함됐다. 시스템 장애나 적의 공격으로 AI를 사용할 수 없을 때 군인이 기존 기술과 판단만으로 작전을 이어갈 준비가 돼 있는지 확인하고 AI 의존에 취약한 보직과 임무를 파악하도록 했다. 다만 의회의 움직임이 군의 AI 활용 자체를 제한하는 데 초점을 맞춘 것은 아니다. 국방수권법안에는 미국 국방부가 AI 에이전트를 대규모로 활용할 수 있는 체계를 구축하는 내용과 함께 에이전트에 적용할 보안 기준과 지침을 마련하도록 하는 조항도 담겼다. 코튼 의원은 법안 발의 당시 "미래 분쟁에서 우리의 군사적 우위는 AI를 최대한 활용하는 것만큼 AI 시스템이 실패했을 때 적응하고 임무를 수행할 수 있느냐에 달려 있다"고 말했다.

2026.09.17 10:24김동원 기자

배경훈 부총리 "대한민국 AI 시계 늦추지 않겠다"…'속도책임' 제시

배경훈 부총리 겸 과학기술정보통신부 장관이 글로벌 인공지능(AI) 업계에서 커지는 개발 속도 조절론에 대해 한국은 기술 개발 속도를 늦춰서는 안 된다는 입장을 내놨다. 연구개발과 산업 활용에는 속도를 내되 커지는 위험에는 안전장치를 함께 강화하는 '속도책임'을 해법으로 제시했다. 배 부총리는 16일 자신의 사회관계망서비스(SNS)에 'AI에 필요한 것은 속도조절이 아니라 속도책임'이라는 제목의 글을 올리고 "우리는 지금 AI의 속도를 늦출 여유가 없다"고 밝혔다. 이미 앞선 국가가 속도를 조절하는 것과 추격하면서 새로운 시장을 만들어야 하는 한국이 스스로 속도를 낮추는 것은 다르다는 입장이다. 배 부총리 발언은 최근 글로벌 AI 업계에서 프론티어 AI의 개발 속도를 조절해야 한다는 주장이 커지는 가운데 나왔다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 최근 AI 개발을 멈추기보다 안전 연구와 검증 체계가 따라갈 수 있도록 속도를 조절해야 한다고 주장했다. 배 부총리도 AI 위험에 대한 우려에는 공감했다. AI 선도기업의 막대한 투자 경쟁과 데이터 확보·활용 문제, 고영향 AI가 가져올 예측하기 어려운 위험 등을 "진지하게 고민하고 대비해야 할 문제"로 꼽았다. 다만 한국은 감속보다 기술 영역을 넓혀야 한다고 봤다. 거대언어모델(LLM) 기반 독자 AI 파운데이션 모델을 넘어 산업 현장에서 보고 이해하고 행동하는 비전언어모델(VLM)과 비전언어행동모델(VLA) 등으로 발전해야 한다는 것이다. 앞으로 범용인공지능(AGI)에 가까운 기술을 확보한 국가와 그렇지 못한 국가의 격차가 산업과 경제를 넘어 안보 등 국가 경쟁력 전반으로 번질 수 있다고도 내다봤다. 배 부총리는 "이미 앞서 있는 나라가 속도를 조절하는 것과 추격하면서 동시에 새로운 시장을 만들어야 하는 나라가 스스로 속도를 낮추는 것은 전혀 다른 문제"라고 말했다. 안전과 신뢰 확보도 함께 강조했다. AI 발전이 빨라질수록 딥페이크와 사이버보안, 개인정보 보호, 일자리 변화 등에 대응할 기술적·제도적 안전장치도 빠르게 갖춰야 한다고 짚었다. 배 부총리는 이를 가속페달과 브레이크에 빗댔다. 그는 "AI 연구개발과 산업 활용에는 과감하게 가속페달을 밟되 위험에는 제대로 작동하는 브레이크를 갖춰야 한다"며 "속도는 경쟁력이고 안전은 지속가능성"이라고 말했다. 정부 정책도 이런 방향으로 추진할 계획이다. 배 부총리는 AI기본법 시행을 위한 제도적 준비와 독자 AI 파운데이션 모델 개발, 모두의 AI, 보안특화모델 사업에 이어 프론티어 AI 역량 확보를 위한 사업도 차질 없이 준비하겠다고 했다. 산업계에서도 AI 산업 육성과 안전 규범을 병행해야 한다는 의견이 나왔다. 국내 기업이 해외 빅테크가 만든 기준을 따르는 데 그치지 않고 국제 규범을 만드는 과정에도 직접 참여해야 한다는 주문이다. 김동환 포티투마루 대표는 "AI 산업 육성과 안전 규범 강화를 동시에 추진해야 한다"며 "안전 규범을 공론화하고 다양한 이해관계자의 의견을 들은 뒤 사회적 합의를 만들어가는 과정이 반드시 필요하다"고 말했다. 이어 "유엔 AI 허브 유치와 AI안전연구소 역할 강화 등을 통해 국제 안전 규범을 만드는 과정에서 한국이 글로벌 리더십을 발휘할 필요가 있다"고 덧붙였다. 박지환 씽크포비엘 대표는 기술 개발과 실제 활용을 구분해 접근할 필요가 있다고 짚었다. 그는 "연구는 계속하되 개발한 기술을 사회에서 어디까지 쓰게 할지는 별도로 정해야 한다"며 "AI의 위험 수준에 맞는 활용 기준과 규범을 함께 마련해야 한다"고 말했다. 배 부총리는 후속 정책 발표도 예고했다. 그는 "조만간 그동안 깊이 고민해 온 독파모의 다음 단계와 대한민국 프론티어 AI 모델 개발 방향도 국민 여러분께 말씀드리겠다"고 밝혔다. 이어 "대한민국의 AI 시계를 늦추지 않겠다"며 "더 빠르게 그러나 더 안전하게 가겠다"고 강조했다.

2026.09.16 15:30김동원 기자

"혁신 속도 따라갈 안전장치는 사람"…LG가 꺼낸 AI 안전 해법

인공지능(AI) 개발 속도를 늦춰 안전장치가 따라갈 시간을 벌자는 '속도조절론'이 확산하는 가운데 LG가 AI 안전을 높이기 위해 이를 만드는 사람의 역량도 함께 키워야 한다고 강조했다. 16일 AI 업계에 따르면 김유철 LG AI연구원 전략부문장은 사우디아라비아 리야드에서 열린 '제4회 유네스코 AI 윤리 글로벌 포럼' 패널 토론에서 AI 개발자와 정책 담당자를 대상으로 한 윤리 교육 필요성을 제기했다. AI 활용법을 가르치는 교육은 빠르게 늘었지만 AI 시스템을 직접 설계·개발·관리하는 사람을 위한 교육은 부족하다고 진단했다. 'AI 윤리 글로벌 포럼'은 각국 정부와 산업계, 학계, 국제기구 관계자들이 모여 AI 윤리와 거버넌스 방향을 논의하는 국제 행사다. 유네스코와 사우디아라비아가 공동 주최하며 지난 14일부터 오는 17일까지 리야드에서 열린다. 김 부문장은 이번 포럼에서 AI 안전을 기술적인 장치만으로 확보하기 어렵다고 강조했다. 개발자와 정책 담당자가 AI를 만드는 과정에서 위험을 파악하고 대응 방법을 판단할 수 있도록 사람의 역량도 함께 높여야 한다고 주장했다. LG AI연구원은 이를 위해 유네스코와 'AI 윤리 무크(MOOC·온라인 공개강좌)'를 공동 개발했다. 지난해 7월 프로젝트를 시작해 올해 7월 정식 공개한 이 강좌에는 약 두 달 만에 전 세계에서 약 3만명이 등록했다. 교육은 11개 언어로 제공한다. 교육은 AI 활용법보다 개발 과정에서 필요한 윤리적 판단에 초점을 맞춘다. 개발자와 연구자, 정책 담당자, 학생 등이 AI를 설계하고 운영하면서 마주하는 문제를 판단하고 대응하는 데 필요한 내용을 담았다. 교육과정은 유네스코 'AI 윤리 권고'를 토대로 구성했다. 공정성과 포용성, 개인정보와 데이터 거버넌스, 투명성과 책임성, 안전·보안 등을 실제 사례를 중심으로 다룬다. LG AI연구원은 자체 AI 개발 과정에서 쌓은 경험도 교육에 반영했다. 모델과 서비스를 개발할 때 위험 요소를 점검하는 윤리영향평가와 데이터 컴플라이언스 사례 등을 공유했다. 최근 글로벌 AI 업계에서는 AI 개발 속도를 둘러싼 안전 논쟁이 거세졌다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난 12일 AI 발전 속도가 이를 이해하고 통제하는 능력을 앞지를 수 있다며 프런티어 AI 모델의 개발 속도를 늦춰야 한다고 주장했다. 아모데이는 AI 개발을 중단하자는 것이 아니라 안전 연구와 평가가 기술 발전을 따라갈 시간을 확보해야 한다고 강조했다. 앤트로픽은 외부 평가기관에 내부 직원에 준하는 접근 권한을 제공하고 AI 기업 간 공동 안전기준과 국제 공조도 추진하겠다는 방안을 내놨다. 반면 도널드 트럼프 미국 대통령은 중국과의 AI 경쟁을 이유로 개발 속도를 늦추는 데 부정적인 입장을 나타냈다. 미국이 중국에 앞선 상황에서 AI 개발을 제한하면 경쟁 우위를 내줄 수 있다는 이유를 들었다. LG AI연구원 역시 AI 모델 개발 경쟁에 뛰어들고 있다. 자체 AI 모델 '엑사원'을 개발하고 정부의 독자 AI 파운데이션 모델 프로젝트에도 참여 중이다. 모델 성능을 끌어올리는 동시에 개발 과정에서는 윤리영향평가와 데이터 컴플라이언스 체계를 운영하고 있다. 김 부문장은 "AI 도구를 사용하는 방법을 가르치는 프로그램은 많지만 AI 시스템을 설계하고 개발하고 관리하는 사람을 위한 교육은 거의 없다"며 "혁신의 속도를 따라갈 만큼 빠른 유일한 안전장치는 사람의 역량이라고 믿는다"고 강조했다.

2026.09.16 09:23김동원 기자

AI 감속론에 복잡해진 한국 전략…속도조절도 '차등 적용'

글로벌 인공지능(AI) 기업들이 AI 개발 속도 조절론을 꺼낸 가운데 국내에서는 기술 개발 자체를 늦추기보다 제품 출시와 활용 단계에 더 강한 안전장치를 둬야 한다는 의견이 나왔다. 15일 본지 취재 결과 국내 AI 업계와 학계는 중국 등 경쟁국이 연구개발을 이어가는 상황에서 기술 경쟁 자체를 늦추는 것은 현실적으로 어렵다고 진단했다. 위험성이 큰 프론티어 AI는 출시 전에 충분한 검증을 거치되 이런 기준을 아직 추격 단계인 국내 기업에 일률적으로 적용하는 것은 경계해야 한다는 지적도 제기됐다. AI 개발 속도조절론에 불씨를 지핀 것은 다리오 아모데이 앤트로픽 최고경영자(CEO)다. 그는 지난 12일 개인 블로그를 통해 프론티어 AI의 발전 속도를 안전 연구와 검증 체계가 따라갈 수 있도록 조절해야 한다고 주장했다. 그가 주목한 것은 AI가 다음 세대 AI 개발에 참여하는 '재귀적 자기개선'이다. 이 단계에 들어서면 기술 발전 속도가 지금보다 더 빨라지고 안전 연구와 통제 기술이 이를 따라가지 못할 가능성이 커진다고 우려했다. 아모데이 CEO는 AI 기업 내부에 외부 평가자를 두고 개발 과정을 검증하는 방안도 제안했다. 민주주의 국가들이 공동 안전 기준을 마련한 뒤 장기적으로 국제적인 공조 체계를 구축하는 구상도 내놨다. "속도 늦추면 중국만 웃는다"…후발주자 '사다리 걷어차기' 우려 국내 업계가 경계한 것은 감속의 대상과 범위다. 최첨단 프론티어 AI에 맞춘 안전 기준을 추격 단계인 국내 기업에 그대로 적용하면 기술 격차를 좁히기 어려워지고 새로운 진입장벽으로 작용할 수 있다는 지적이 나왔다. 한 AI 학과 교수는 "프론티어 AI에 맞춘 높은 수준의 평가와 검증 의무가 국내 기업에까지 적용되면 기술 격차를 좁히는 데 부담이 될 수 있다"며 "이미 기술 우위를 확보한 빅테크가 안전 기준까지 주도할 경우 사실상 '사다리 걷어차기'로 비칠 수 있다"고 말했다. 김동환 포티투마루 대표도 빅테크 중심의 안전 기준이 새로운 견제 장치로 작용할 가능성을 짚었다. 글로벌 차원의 합의가 없는 상황에서는 선도 기업이 만든 평가 방식과 기준이 사실상 국제 표준으로 자리 잡을 가능성이 높다는 판단이다. 김 대표는 "빅테크 입장에서는 기술력을 가진 스타트업과 대규모 자본을 동원할 수 있는 대기업뿐 아니라 중국과 중동 등 후발주자에 대한 견제 장치의 의미도 있을 것"이라며 "후발주자에 대한 사다리 걷어차기가 되지 않도록 기업 규모와 모델 위험도에 따라 기준을 차등 적용할 필요가 있다"고 말했다. 감속론의 현실성에도 의문을 제기했다. AI 개발이 국가 간 경쟁으로 번진 상황에서 일부 기업이나 국가가 합의하더라도 중국 러시아 북한까지 같은 속도로 움직이게 만들기는 어렵다는 이유다. 김 대표는 "기술 발전 속도가 사회적 제도와 윤리적 합의보다 훨씬 빠르다는 점에서 속도 조절의 필요성에는 공감한다"면서도 "AI 개발이 이미 국가대항전 수준의 무한 경쟁에 들어간 만큼 현실적으로 속도를 맞추기는 어렵다"고 말했다. AI 위험에 대한 경고가 지나쳤다는 논란은 과거에도 있었다. 오픈AI는 2019년 GPT-2의 악용 가능성을 우려해 전체 모델 공개를 늦췄지만 이후 과도한 대응이었다는 지적을 받았다. 당시 개발에 참여한 아모데이 CEO는 더 강력한 AI에 대비해 책임 있는 공개 방식을 시험한 조치였다고 설명한 바 있다. "안전장치 없이 달릴 순 없다"…연구는 계속, 출시는 신중 기술 개발을 이어가더라도 AI를 아무런 검증 없이 시장에 내놓아서는 안 된다는 목소리도 존재했다. AI의 자율성이 높아지는 만큼 연구 경쟁과 실제 제품 출시를 구분해 접근해야 한다는 주장이다. 유창동 한국과학기술원(KAIST) 전기및전자공학부 교수는 개발 속도를 인위적으로 늦추려 해도 기업 내부의 연구 경쟁은 계속될 가능성이 크다고 진단했다. 그는 "기업들이 제품 출시는 늦출 수 있겠지만 내부 연구개발은 계속할 것"이라며 "중국도 굉장히 빠른 속도로 개발하고 있어 연구를 멈추지는 않을 것"이라고 말했다. 대신 시장에 내놓는 단계에서는 안전성을 충분히 확인해야 한다고 강조했다. AI 에이전트가 자신의 행동 결과를 확인하고 오류를 다시 수정하는 방향으로 발전하면서 인간의 개입 없이 수행하는 작업도 늘어나고 있어서다. 유 교수는 "개발은 계속하더라도 외부로 출시하는 제품은 안전성을 확인하면서 속도를 조절하는 게 맞다"며 "건물이나 공장의 안전을 점검하듯 AI에도 평가 기준과 벤치마크 데이터셋을 마련해 정기적으로 위험 수준을 확인해야 한다"고 말했다. AI 신뢰성 전문기업 씽크포비엘의 박지환 대표는 기술 성능과 사회에서 허용하는 사용 범위를 구분해야 한다고 강조했다. 그는 "자동차 에어백을 제대로 만들지 못한다면 엔진 속도에는 제한을 걸어야 한다"며 "AI 성능을 높이는 것과 그 기술을 사회에서 어디까지 쓰게 할지는 다른 문제"라고 말했다. 자동차가 더 빠르게 달릴 수 있어도 도로마다 제한속도를 두고 운전자에게 면허를 요구하듯 AI도 위험 수준에 따라 활용 범위와 조건을 달리할 필요가 있다는 주장이다. 김명주 AI안전연구소장은 AI가 무기나 로봇처럼 현실 세계에서 직접 작동하는 영역으로 확대될수록 책임 문제도 커질 수 있다고 짚었다. 그는 "갈수록 AI의 추론 과정을 인간이 따라가기 어려워질 것"이라며 "이런 기술이 무기와 같은 피지컬 AI에 적용되면 책임 규명도 힘들어진다"고 말했다. 이어 "강력한 AI에 대한 우려와 불신이 커지면 결국 산업의 지속가능성까지 위협받을 수 있다"고 경고했다.

2026.09.15 13:40김동원 기자

경쟁하던 AI 빅3, 안전엔 손잡나…공동 표준기구 논의

인공지능(AI) 개발 속도를 둘러싼 안전 우려가 커지는 가운데 앤트로픽과 오픈AI, 구글이 업계 공동 안전기준을 마련하기 위해 움직이는 것으로 나타났다. 13일(현지시간) IT 전문매체 디인포메이션에 따르면 앤트로픽과 오픈AI, 구글은 지난 7월부터 각사 최고경영자(CEO) 바로 아래급 고위 관계자들로 실무그룹을 구성해 AI 업계 표준기구 설립을 논의하고 있다. 실무그룹은 정기적으로 회동하고 있으며 최근 일주일 사이에도 만나 논의를 이어간 것으로 전해졌다. 논의 핵심은 정부가 직접 나서지 않더라도 AI 기업들이 공동 안전기준을 만들고 이를 점검할 체계를 갖추는 데 있다. 주요 기업들이 업계 차원의 자율규제 틀을 마련하는 방안을 수개월째 논의해 온 셈이다. 샘 알트먼 오픈AI CEO도 업계가 주도하는 안전기구에 힘을 싣고 있다. 그는 지난주 사내 전체회의에서 AI 시험과 감사를 담당하는 기구를 지지하면서 미국 정부 지원 없이 주요 AI 기업들이 스스로 표준기구를 만들어야 할 것으로 본다는 입장을 밝혔다. 이 움직임은 다리오 아모데이 앤트로픽 CEO가 지난 12일 공개적으로 제안한 AI 개발 속도조절 구상과도 맞닿아 있다. 아모데이 CEO는 정부가 AI 규제를 마련하는 동안 기업들이 자발적인 안전기준을 세워 먼저 움직일 수 있다며 정부가 기업 간 논의를 돕거나 중재하는 방안도 제시했다. 업계의 자율규제 논의는 미국 정부 차원의 AI 규제기구 구상이 속도를 내지 못하는 상황에서 진행되고 있다. 백악관에서는 AI 표준기구 신설을 담은 행정명령 초안이 회람됐지만 트럼프 행정부 내부에서 충분한 지지를 얻지 못해 답보 상태에 머물러 있다. AI 기업들의 속도조절론을 바라보는 시선도 엇갈린다. 데이비드 색스 대통령 과학기술자문위원회 공동의장은 13일 X에서 최근 제기되는 AI 속도조절론이 "순수하게 이타적인 것"인지 의문을 제기했다. 제조물책임에 따른 위험만으로도 기업들이 피해를 줄이도록 만드는 경제적 유인이 있다는 게 그의 주장이다. 업계 주도의 표준기구가 시장을 선도하는 기업에 유리한 규칙을 만들 수 있다는 견제도 나온다. 기업용 AI 모델 스타트업 코히어의 에이든 고메즈 CEO는 X에서 "카르텔이 내놓은 대단한 아이디어들"이라고 꼬집었다.

2026.09.14 17:29김동원 기자

AI 위험론 정치권까지 번졌다…트럼프 '경쟁' vs 오바마 '안전'

인공지능(AI)의 빠른 발전을 우려하는 목소리가 미국 기술업계를 넘어 정치권으로 번지고 있다. 도널드 트럼프 미국 대통령은 중국과의 AI 경쟁에서 우위를 지켜야 한다고 강조한 반면 버락 오바마 전 미국 대통령은 민주당에 AI가 가져올 위험과 경제적 충격에 대비할 것을 주문했다. 13일(현지시간) 로이터와 가디언 등에 따르면 오바마 전 대통령은 지난 10일 열린 민주당 비공개 모금 행사에서 하킴 제프리스 하원 민주당 원내대표와 대담하며 AI에 대응할 정책 틀을 마련해야 한다고 밝혔다. 민주당이 오는 11월 중간선거에서 하원 다수당을 되찾으면 AI를 둘러싼 공개 논의를 시작하고 2028년 대선 후보들도 이를 핵심 의제로 다뤄야 한다고 강조했다. 오바마 전 대통령은 일자리를 비롯한 경제 전반에 미칠 영향도 살펴야 한다고 봤다. 민간기업을 중심으로 기술이 빠르게 발전하는 만큼 고용시장에 어떤 충격이 나타날지 살피고 이에 대응할 구체적인 대책을 정치권이 준비해야 한다는 취지다. 트럼프 대통령은 개발 속도를 늦추는 데 거리를 뒀다. 그는 13일 아일랜드에서 기자들과 만나 미국이 중국보다 AI에서 앞서 있다며 안전장치는 필요하지만 경쟁에서 승리하는 것이 중요하다고 말했다. 기술 발전에 제동을 걸기보다 미국의 우위를 지키는 쪽에 무게를 뒀다. 이런 논쟁 배경에는 AI 업계에서 잇따라 나온 위험 경고가 있다. 오픈AI와 앤트로픽에서 AI 모델 개발에 참여했던 제이컵 콕슨은 지난 8일 앤트로픽을 떠나면서 선도 기업들이 충분한 대비 없이 스스로 성능을 높이는 초지능 개발 경쟁에 뛰어들고 있다고 비판했다. 앤트로픽 내부에서는 더 강한 경고도 나왔다. AI 정렬 연구를 이끄는 에번 허빙거는 향후 10년 안에 AI로 인류가 멸망할 가능성을 개인적으로 10% 이상으로 평가했다. 기술 발전 속도에 비해 이를 통제할 수단과 제도가 충분히 따라가지 못하고 있다고 본 것이다. 연구자들에 이어 경영진도 속도 조절을 요구하고 나섰다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난 12일 AI 성능을 높이기 위한 경쟁을 늦춰 안전 기술을 확보할 시간을 벌어야 한다고 제안했다. 외부 검증을 강화하는 방안도 내놨다. 독립 평가자에게 직원과 비슷한 수준의 접근 권한을 주고 기업이 약속한 안전조치를 제대로 지키는지 확인하도록 하자는 구상이다. 민주주의 국가들이 공통 기준을 마련하고 중국을 포함한 국제사회가 AI를 이용한 생물무기 개발 등 심각한 악용을 막기 위해 협력할 필요성도 제기했다. 경쟁사들도 일부 제안에 호응했다. 샘 올트먼 오픈AI CEO는 독립 평가자에게 직원과 비슷한 수준의 접근 권한을 제공하는 데 동의했다. 일론 머스크 xAI CEO도 아모데이 CEO의 제안에 지지를 나타냈다. AI 안전 문제는 미국 의회에서도 논의되고 있다. 민주당 에이미 클로버샤 상원의원과 공화당 존 튠·테드 크루즈 상원의원 등은 첨단 AI에서 중대한 위험이 확인될 경우 기업에 이를 줄일 의무를 부과하는 방안을 협의하고 있다. 위험을 알고도 충분한 조치를 취하지 않은 기업에 책임을 묻는 내용도 검토되고 있다. 오바마 전 대통령은 AI에 대해 "민간의 손에서 매우 빠르게 움직이고 있는 사안"이라며 "우리가 제대로 대응하지 않으면 위험해질 수 있다고 생각한다"고 말했다.

2026.09.14 09:35김동원 기자

앤트로픽, 바이러스 변이 연구 계정 차단…군사적 악용 우려

앤트로픽이 자사 인공지능(AI) '클로드'를 이용해 위험한 바이러스 연구를 진행하려던 과학자들의 시도를 차단했다. 10일(현지시간) 뉴욕타임스(NYT)에 따르면 앤트로픽은 최근 공개한 AI 악용 사례 보고서에서 클로드가 민감한 생물학 연구에 활용된 사례 5건을 공개했다. 일부 연구자들은 클로드 이용이 제한된 지역에서 우회 접속하거나 실제 연구 목적을 숨겨 안전장치를 피하려 한 것으로 조사됐다. 앤트로픽은 관련 계정을 차단했다. 지난 5월에는 한 과학자가 치쿤구니야 바이러스 연구를 위한 연구비 신청서를 작성하면서 클로드의 도움을 요청했다. 연구는 바이러스의 전파력이나 면역 회피 능력에 영향을 주는 변이를 살펴보는 '기능획득 연구'였다. 기능획득 연구는 바이러스 등 생물체의 특성을 변화시켜 어떤 변화가 나타나는지 살펴보는 연구다. 바이러스가 어떻게 퍼지고 질병을 일으키는지 파악해 백신이나 치료제를 개발하는 데 필요한 정보를 얻을 수 있다. 반대로 연구 결과가 병원체의 전파력이나 유해성을 높이는 데 쓰이면 위험한 바이러스를 만드는 데 악용될 우려도 있다. 이번 치쿤구니야 연구에는 살아있는 동물을 이용해 바이러스의 변화를 살펴보는 실험도 포함돼 있었다. 치쿤구니야는 모기를 통해 전파되며 감염되면 발열과 심한 관절통 등이 나타나고 일부 환자는 통증이 수개월 동안 이어질 수 있다. 앤트로픽이 더 우려한 부분은 연구가 진행될 장소였다. 연구비 신청서상 민간 연구자가 참여하는 것으로 돼 있었지만 실제 실험은 군사 연구기관에서 진행될 예정이었다. 정상적인 백신·치료제 연구일 가능성도 있지만 위험한 병원체 연구 결과가 군사적으로 활용될 가능성까지 배제하기 어렵다고 본 것이다. 다만 앤트로픽은 이 연구가 실제 무기 개발을 목적으로 했다고 단정하지 않았다. 생물학 분야에서는 같은 연구 결과가 질병 예방에도 쓰이고 사람에게 해를 끼치는 데도 이용될 수 있어 연구 내용만으로 의도를 판단하기 어렵기 때문이다. 앤트로픽이 연구자와 기관의 이름이나 소속 국가를 공개하지 않은 것도 이런 불확실성을 고려한 조치다. 치쿤구니야만 문제가 된 것은 아니다. 앤트로픽은 고병원성 조류인플루엔자가 포유류에 적응하는 과정 등을 연구하면서 클로드를 사용한 사례도 확인했다. 국가와 연관된 감염병 연구기관에서 천연두와 같은 계열에 속하는 바이러스를 연구하기 위한 연구비 신청서 작성에 AI를 활용한 사례도 보고서에 포함됐다. AI의 과학 연구 능력이 높아진 점은 이런 문제를 더 복잡하게 만들고 있다. 과거 AI는 전문 연구자가 수행하는 복잡한 생물학 연구에 실질적인 도움을 주기 어려웠지만 최근 모델은 연구 자료를 분석하고 연구 과정에 필요한 작업을 지원하는 능력이 높아졌다. 과학자의 연구를 돕는 능력이 커진 만큼 같은 기능이 위험한 연구에 사용됐을 때 제공할 수 있는 도움도 커졌다는 의미다. 앤트로픽은 이에 따라 생물학 관련 질문을 탐지하고 위험성이 높은 요청을 막는 안전장치를 적용하고 있다. 실제로 최신 모델에는 생물학 관련 요청을 실시간으로 분류해 위험한 정보 제공을 제한하는 장치가 적용됐으며 검증된 연구자에게만 일부 고성능 기능을 제공하는 방식도 운영하고 있다. 이번 보고서에는 생물학 연구 외에도 AI가 무기 개발과 감시 등에 사용된 사례가 담겼다. 러시아 연계 세력은 클로드를 사이버 공격과 선전 활동에 활용했고 중국과 이란 정부 연계 세력은 반체제 인사 등을 감시하는 데 AI를 이용하려 한 것으로 조사됐다. 중국·러시아·예멘에서는 총기와 미사일, 무장 드론 등 재래식 무기 관련 작업에 클로드가 활용된 사례도 확인됐다. 제이컵 클라인 앤트로픽 위협정보 책임자는 "우리가 알지 못하는 것은 이 연구가 무기화를 목적으로 했는지 여부"라며 "군사기관에서 기능획득 연구를 진행한다는 점은 우려스럽다"고 말했다.

2026.09.11 16:44김동원 기자

친구처럼 다가온 'AI 캐릭터챗'…청소년 지킬 '보호자'는 어디에

친구나 연인처럼 대화하는 인공지능(AI) '캐릭터챗'이 청소년 일상으로 파고들고 있다. AI가 단순한 대화 도구를 넘어 감정을 의지하는 상대가 되면서 청소년 보호를 위한 안전장치가 필요하다는 지적이 나온다. 11일 AI 업계 등에 따르면 뤼튼테크놀로지스의 캐릭터챗 '크랙'은 모바일인덱스에서 지난달 10대 이용자가 25만7635명으로 전체 월간활성이용자(MAU)의 47.8%를 차지했다. 이용자 절반가량이 청소년인 셈이다. 크랙은 이용자가 가상의 AI 캐릭터와 지속적으로 대화하는 서비스다. 캐릭터마다 성격과 관계, 세계관이 설정돼 있어 정보를 묻고 답을 받는 일반적인 생성형 AI와 달리 친구나 연인처럼 관계를 맺고 대화를 이어갈 수 있다. 캐릭터챗은 이용자의 말을 기억하고 감정에 맞춰 반응한다는 점에서 일반적인 AI 이용과 차이가 있다. 사람과 달리 언제든 대화를 받아주고 갈등이나 거절에 따른 부담도 적어 현실의 인간관계보다 AI와의 대화를 편하게 느낄 가능성이 있다. 김봉제 서울교대 AI가치판단디자인센터장은 "과거 백과사전은 아무리 많은 지식을 제공해도 이용자와 정서적으로 교류하지 않았다"며 "지금의 AI는 지식을 제공하면서 감정에도 반응하기 때문에 정서적으로 의지하는 관계로 발전할 수 있다"고 말했다. 이어 "AI가 사람보다 편하고 정서적인 부담을 주지 않는다고 느끼면 AI와의 관계에 더 치우칠 수 있다"면서 "나아가 굳이 사람과 대화할 필요가 있느냐고 생각하는 상황까지 갈 수 있다"고 설명했다. AI는 이미 청소년의 고민 상담 상대로 활용되고 있다. 초록우산이 지난 3월 전국 만 14세 이상 아동·청소년 3300명을 조사한 결과 약 33%가 힘들거나 우울할 때 생성형 AI 챗봇에 고민을 털어놓은 경험이 있다고 답했다. 위험한 질문에 AI가 답변을 내놓는 사례도 적지 않았다. 자해·자살이나 불법·폭력·성적 내용 등을 AI에 질문한 청소년 가운데 평균 52%는 실제 해당 질문에 대한 답변을 받았다고 응답했다. 이에 뤼튼은 청소년 보호책을 내놨다. 회사는 2027년 초부터 크랙 청소년 이용자의 하루 이용시간을 최대 3시간으로 설정하고 월 결제한도를 10만원으로 제한할 예정이다. 한도를 넘으면 보호자 인증과 동의를 거쳐야 한다. 콘텐츠 생성 정책과 연령 등급 관리, 작품 검수, 검색·추천 제한, 신고·차단 기능도 손본다. 추가 필터와 안전 시스템 프롬프트를 적용해 유해한 대화가 생성되는 것을 줄일 계획이다. 문제는 이 같은 보호조치의 기준과 수준을 개별 사업자가 스스로 정하고 있다는 점이다. 청소년이 AI와 어떤 대화를 나눌 수 있는지, 자해·성적 내용 등 위험한 질문에 어떻게 대응할지에 대한 공통 기준은 아직 마련되지 않았다. 전문가들은 캐릭터챗의 위험을 이용시간만으로 판단하기 어렵다고 지적한다. 박형빈 서울교대 윤리교육과 교수는 "AI에 생각과 판단을 맡기는 '인지의 외주화'에 이어 감정적인 교류까지 AI에 기대는 '정서의 외주화'도 나타날 수 있다"며 "청소년에게 AI를 무조건 쓰지 못하게 하기보다 연령에 맞는 안전 기준을 두고 스스로 판단하며 사용할 수 있도록 교육하는 장치가 함께 필요하다"고 말했다. 청소년들이 요구하는 보호장치 역시 이용시간보다 대화 내용에 집중됐다. 초록우산 조사에서 개인정보 입력 제한을 꼽은 응답자가 39.7%로 가장 많았고 위험한 질문·답변 차단이 28.9%로 뒤를 이었다. 위기 상황에서 상담기관 자동 연계는 11.8%였지만 이용시간 제한은 6.2%에 그쳤다. 호주는 청소년 보호를 사업자의 자율조치에 맡기지 않고 법적 의무로 묶는 작업에 들어갔다. 호주 정부는 지난 8일(현지시간) AI 챗봇과 온라인 게임, 앱 등 디지털 서비스 사업자가 18세 미만 이용자를 보호하도록 하는 '디지털 주의의무' 법안 초안을 공개했다. 호주는 이미 16세 미만의 소셜미디어 계정 이용을 제한하고 있다. 이번에는 AI 챗봇까지 보호 범위를 넓혀 중독을 유발하는 기능이나 자존감에 악영향을 미치는 서비스 설계로부터 청소년을 보호할 책임을 사업자에게 부과한다. 사업자가 문제가 발생한 뒤 대응하는 데 그치지 않고 서비스의 위험을 미리 찾아 줄이도록 한 점이 핵심이다. 사업자는 위험요인을 식별·완화하고 어떤 조치를 했는지 기록해야 한다. 의무를 위반하면 최대 1억 920만 호주달러(약 1052억 6600만원)의 벌금을 부과할 수 있다. 애니카 웰스 호주 통신장관은 "기술기업들이 자사 제품과 기능으로 발생하는 피해에 책임을 지도록 하는 것"이라며 "자동차와 식품, 가전제품에 안전 기준이 있는 것처럼 온라인 서비스에도 기본적인 안전 기준을 두겠다"고 말했다. 한국은 이제 관련 제도를 마련하는 단계다. 미성년자의 연령·본인 확인과 법정대리인 동의, AI 챗봇 이용 방법과 시간 제한, 자해·자살 등 고위험 상황에 대한 대응체계 등을 담은 '우리 아이 AI 안심 패키지법'이 지난 8일 국회 과학기술정보방송통신위원회 전체회의에 상정됐다. 정부 차원의 기술적 보호장치도 준비 중이다. 방송미디어통신위원회는 아동·청소년 유해정보 심의 과정에서 축적된 데이터를 활용해 AI 서비스에 적용할 필터링 시스템을 개발할 계획이다. 김혜숙 방송미디어통신위원회 인공지능이용자보호과장은 "사업자들이 아동·청소년 유해정보를 걸러내고 싶어도 무엇을 유해정보로 봐야 하는지 기준을 잡기 어려울 수 있다"며 "축적된 유해정보 데이터를 기준으로 삼아 기존 서비스에 가드레일처럼 붙일 수 있는 모듈형 필터링 시스템을 제공할 계획"이라고 말했다. 서비스 이용자의 연령을 확인하는 방안도 검토하고 있다. 기존 본인확인 제도를 활용해 사업자가 이름이나 생년월일 등 구체적인 개인정보를 받지 않고 이용자가 성인인지 아동·청소년인지만 확인하도록 하는 방안이다. 전문가들은 기술적인 안전장치와 함께 아동·청소년 대상 AI 서비스가 지켜야 할 법적 기준을 구체화해야 한다고 강조한다. 사업자마다 자체 기준을 정하는 데 그치지 않고 연령별 이용 기준과 정서적 의존을 줄이는 설계, 사고 발생 시 대응 등 공통된 보호체계가 필요하다는 설명이다. 박 교수는 앞서 아동·청소년 대상 AI 서비스를 별도로 고려한 제도 마련을 주문했다. 그는 "과학기술정보통신부가 AI 기본법과 시행령, 관련 가이드라인의 중심축을 잡아야 한다"며 "교육부는 AI 리터러시와 학교 현장 적용 기준을 마련하고 법무부는 피해 구제와 책임, 법적 규제 기준을 구체화해야 한다"고 말했다.

2026.09.11 15:03김동원 기자

AI 손에 쥔 아동·청소년…정부, 이용자 보호체계 강화

정부가 인공지능(AI) 활용 확대와 함께 부작용을 줄이기 위한 안전장치 마련에 나선다. AI가 일상과 교육 현장으로 빠르게 확산하면서 이용자를 보호할 제도도 함께 갖추겠다는 취지다. 10일 서울 여의도 국회에서 열린 '생성 AI 시대 시민의 정신건강과 AI 리터러시 정책 과제' 토론회에서 교육부와 과학기술정보통신부, 방송미디어통신위원회는 AI 확산에 맞춰 이용자의 연령과 특성을 고려한 보호 체계를 강화해야 한다는 데 뜻을 모았다. 교육부는 학교 현장의 AI 이용 기준을 마련하고 과기정통부는 과의존 예방·상담을, 방미통위는 아동·청소년을 위한 서비스 안전장치를 맡는 등 부처별 역할에 맞춰 대응책을 추진한다. 교육부는 학교에서 생성형 AI를 사용할 때 지켜야 할 기준을 구체화한다. 올해 2학기 '교육 분야 AI 활용 가이드라인'을 배포해 학생과 교사가 상황별로 확인해야 할 사항을 체크리스트로 제시하고 AI 활용 수준에 따른 사례도 담을 예정이다. 서비스별 이용약관에 명시된 연령 제한도 학교 현장에서 적용한다. 김주영 교육부 인공지능교육진흥과장은 "대부분의 AI는 만 14세 수준 이하에 연령 제한이 있어 사실상 간접적으로 초등학생은 AI를 활용할 수 없는 효과가 있다"고 설명했다. AI 교육에서는 윤리를 강화한다. 교육부는 생성형 AI 등장 이후 달라진 기술 환경을 반영한 초·중·고 AI 교육 운영안도 준비하고 있다. AI 원리와 활용에 더해 윤리를 별도의 내용 체계로 구성할 계획이다. 과기정통부는 AI 과의존에 대응한다. 지난달 발표한 AI 윤리 원칙을 토대로 이용자의 연령과 수준에 맞는 가이드라인을 만들고 예방 교육과 전문 상담에 활용할 예정이다. 기존 디지털 지원 체계에도 AI를 포함한다. 고령층 등 디지털 취약계층을 대상으로 운영하는 디지털배움터에서 AI 관련 교육을 확대하고 스마트쉼센터에서는 AI 과의존 상담을 지원할 계획이다. 정준욱 과기정통부 디지털포용정책팀장은 "과거 인터넷 과의존, 스마트폰 과의존에 이어 이제 AI 과의존까지 다루고 있다"며 "AI 윤리 원칙에 맞는 수준별·연령별 가이드라인을 만들어 예방 교육이나 전문 상담을 지원할 수 있도록 준비하고 있다"고 말했다. 방미통위는 AI 서비스에서 아동·청소년을 보호하기 위한 기술적 장치를 검토하고 있다. 서비스 가입자가 성인인지 아동·청소년인지 확인하되 개인정보 수집을 최소화하는 방안이 논의되고 있다. 기존 본인확인 제도를 활용해 사업자에게 구체적인 개인정보를 넘기지 않고 연령대 여부만 전달하는 방식이다. AI가 아동·청소년에게 유해한 답변이나 콘텐츠를 제공하지 않도록 걸러내는 기술도 추진한다. 방송미디어통신심의위원회가 유해정보를 심의하며 축적한 데이터를 데이터셋으로 만들고 이를 기반으로 AI 서비스에 적용할 필터링 시스템을 개발한다는 구상이다. 관련 사업 예산은 정부안에 반영돼 국회 심의를 앞두고 있다. 김혜숙 방미통위 인공지능이용자보호과장은 "사업자들이 아동·청소년에 대한 유해정보 필터링을 잘하고 싶어도 그 기준이 무엇인지 모를 때 이 데이터가 중요한 기준이 될 수 있다"며 "기존 서비스에 가드레일로 붙여 쓸 수 있는 모듈형 필터링 시스템을 제공하고 사업자들이 가져다 쓸 수 있게 하겠다"고 말했다. 박형빈 서울교대 윤리교육과 교수는 AI 이용에 따른 부작용을 아동·청소년만의 문제로 봐서는 안 된다고 강조했다. 그는 "AI에 생각과 판단을 맡기는 '인지의 외주화'와 감정적 교류까지 의존하는 '정서의 외주화'가 전 연령에서 나타날 수 있다"며 연령별 안전 기준과 AI 리터러시 교육을 제안했다. 조승래 더불어민주당 의원은 AI 기술 개발과 윤리·이용자 보호 정책을 국가AI전략위원회에서 함께 다룰 필요가 있다고 제안했다. 조 의원은 "지금까지 국가AI전략위원회가 기술 개발에 주로 집중했다면 이제는 AI 윤리와 이용자 보호도 중요한 축으로 함께 다뤄야 한다"며 "기술과 윤리가 같이 발전해야 AI 시대에 적극적으로 AI를 활용하면서 사람들의 삶을 행복하게 할 수 있다"고 말했다.

2026.09.10 13:57김동원 기자

AI가 스스로 개발하는 시대 온다…오픈AI 수석과학자 "속도 늦출 준비해야"

인공지능(AI) 발전 속도를 인간의 통제 능력이 따라가지 못할 수 있다는 경고가 오픈AI 내부에서 나왔다. AI가 스스로 개발하는 단계가 가까워지면서 안전성을 확인하며 개발 속도를 조절해야 한다는 주장이다. 야쿠프 파초키 오픈AI 수석과학자는 6일(현지시간) 회사 블로그에 올린 '낯선 지능'이란 글을 통해 "AI가 스스로 설계하고 강화하는 시점이 다가오고 있다"며 "기계 지능은 상당히 빠르게 발전하고 있지만 어떤 일이 벌어질지 누구도 대비하지 못하고 있다는 점이 문제"라고 주장했다. 그는 AI를 기존 소프트웨어와는 다르게 봐야 한다고 조언했다. 사람이 작동 방식을 하나씩 정하는 소프트웨어와 달리 AI는 막대한 데이터와 컴퓨팅 자원으로 학습하면서 개발자가 직접 설계하지 않은 능력까지 갖출 수 있기 때문이다. 오픈AI는 이미 숙련된 연구자에게도 며칠이 걸리는 과제를 해결하는 'AI 연구 인턴' 수준에 도달했다고 밝혔다. 2028년 3월까지 사람 감독 아래 더 폭넓은 연구를 수행하는 '자동화된 AI 연구자'를 개발하겠다는 목표도 제시했다. AI가 연구 현장에서 차지하는 비중도 커졌다. AI 에이전트의 전체 작업시간은 지난 6월 처음으로 인간 연구자의 노동시간을 앞질렀고 지난달 중순에는 인간 연구자 노동시간의 3배를 웃돌았다. 코드 작성과 실험, 결과 분석 등 연구 업무에 여러 AI 에이전트를 동시에 활용하고 있다. 현재 연구 방향을 정하고 결과를 판단하는 역할은 사람이 맡고 있다. 그러나 연구 자동화가 확대되면 새 모델 개발에 AI가 참여하고 여기서 성능이 높아진 모델이 다시 다음 개발에 투입되는 과정이 반복될 수 있다. 파초키 수석과학자는 이 과정에서 인간의 통제력이 약해질 가능성을 우려했다. AI가 AI 연구에 더 많이 참여할수록 발전 속도가 빨라지고 사람이 그 판단과 행동을 파악하기는 더 어려워질 수 있다는 지적이다. 오픈AI는 현재 AI가 답을 내놓기 전에 거치는 중간 추론 과정인 '사고사슬(CoT)'을 살펴보며 위험한 행동 징후를 확인하고 있다. AI가 어떤 과정을 거쳐 결론을 내렸는지 확인해 이상 행동을 찾아내는 방법이다. 파초키 수석과학자는 이런 감시 방법도 AI가 강력해질수록 약해질 수 있다고 봤다. AI가 다른 AI와 소통하고 여러 도구를 사용해 복잡한 업무를 수행하는 데다 언어로 추론 과정을 드러내지 않고 문제를 해결하는 기술도 발전하고 있기 때문이다. 오픈AI는 인간이 AI에 대한 통제력을 유지할 수 있는지를 향후 개발의 중요한 기준으로 제시했다. 안전 위험을 충분히 관리하기 어렵다고 판단하면 AI 개발이나 배포 속도를 늦출 방침이다. 파초키 수석과학자는 "현재 어떤 AI 연구소도 빠른 기술 발전에 충분히 대비돼 있지 않다"며 "안전을 확신하기 어렵다면 개발 속도를 늦출 준비가 필요하다"고 말했다.

2026.09.07 15:10김동원 기자

[현장] 김명주 AI안전연구소장 "국방 AI, 자율성 커질수록 '멈출 장치' 필요"

전장에서 인공지능(AI)이 스스로 판단하는 영역이 넓어지는 만큼 사람이 필요할 때 AI를 멈추고 확인할 수 있는 안전장치를 갖춰야 한다는 주장이 나왔다. 사람이 모든 판단에 개입하기 어려워지는 상황에 대비해 국방 AI에 '통제 가능성'과 '추적 가능성', '검증 가능성'을 확보해야 한다는 제안이다. 김명주 AI안전연구소장은 2일 서울 용산구 국방컨벤션에서 열린 '신뢰받는 국방AI' 세미나에서 "AI에 자율성을 부여하는 쪽은 갈수록 늘어날 수밖에 없다"며 "전쟁이나 군사 쪽에서도 지켜야 되는 인도주의적 원칙의 선이 뭘까 그런 부분을 찾는 게 필요하다"고 말했다. 전장에서는 AI가 맡는 역할이 갈수록 커질 전망이다. 각종 센서에서 들어오는 데이터와 고려할 변수는 많아지는 반면 공격이나 방어를 결정할 시간은 짧아지고 있어서다. 사람이 모든 정보를 직접 확인하기 어려워지면서 AI가 처리하고 판단하는 영역도 넓어진다. 사람에게 최종 결정권을 주는 것만으로 충분한지도 문제다. AI가 분석한 결과를 화면에 제시하면 짧은 시간 안에 결정을 내려야 하는 지휘관이 이를 그대로 받아들일 가능성이 있기 때문이다. 김 소장은 사람이 마지막 승인만 하는 데 그치지 않고 AI의 판단을 실제로 거부하거나 멈출 수 있어야 한다고 봤다. 이 때문에 그는 AI에 대한 최소한의 통제권은 사람이 가져야 한다고 강조했다. 모든 판단에 사람이 일일이 개입하기 어려워지더라도 AI의 작동을 중단하거나 부여된 권한을 줄이는 장치는 남겨두자는 취지다. 대표적인 안전장치로는 '킬 스위치'를 제시했다. 국내 AI 기본법에서는 이를 '비상정지 기능'으로 규정하고 있다. 김 소장은 비상정지 기능을 무기 내부에 두기보다 외부에서 작동할 수 있도록 하고 개발 단계부터 설계에 반영해야 한다고 강조했다. AI를 멈추는 것만큼 문제가 생긴 뒤 원인을 확인하는 것도 중요하다. 항공기가 비행 기록을 남기듯 국방 AI도 어떤 정보를 받아 어떤 판단을 내렸는지 기록해야 한다. AI가 제대로 검증되지 않은 영역이나 오류 가능성도 미리 남겨두면 사고가 발생했을 때 책임 소재를 확인하는 데 도움이 된다. 검증을 개발자와 운영자에게만 맡겨서는 안 된다고 봤다. 김 소장은 AI를 개발하고 사용하는 주체와 별도로 안전성을 확인하는 제3자의 역할이 필요하다고 강조했다. 그는 "완성된 윤리를 내장한 전쟁 AI는 아직 불가능하다"며 "아무도 가보지 않은 길"이라고 말했다. 이어 "국방 AI는 결국 국가를 위한 도구"라며 "인도주의 원칙에 따라 사용한다는 큰 틀에서 바라보는 게 가장 중요하다"고 밝혔다.

2026.09.02 17:26김동원 기자

기업 94.6%, AI 기본법 '내용 몰라'…법 시행에도 현장 대응 미흡

기업 10곳 가운데 9곳 이상이 올해 시행된 '인공지능(AI) 기본법' 내용을 제대로 알지 못하는 것으로 나타났다. 법 시행에도 현장 대응은 여전히 초기 단계에 머물러 있다는 지적이다. 한국표준협회(회장 문동민)는 기업 종사자 368명을 대상으로 실시한 설문조사 결과, 응답자의 52.8%가 법 시행 사실 자체를 모르고 있었고 41.8%는 시행 사실은 알고 있으나 구체적인 내용을 모른다고 답했다. 지난 1월 22일 시행된 AI 기본법은 고영향 AI와 생성형 AI에 대해 투명성 확보, 안전성 검증, 영향평가 등을 요구하고 있다. 그러나 이번 조사 결과는 기업이 이러한 규제 환경 변화에 충분히 대응하지 못하고 있음을 보여준다. 기업의 AI 윤리 대응 현황을 살펴보면, 교육 제공(36.1%)과 내부 가이드라인 보유(29.2%) 등 기초적 준비는 어느 정도 갖츤 반면에, 전담 조직 운영(18.8%), 모니터링 체계 구축(11.2%), 외부 인증 도입(4.7%) 등 조직·시스템 기반 실질적 대응은 미흡한 것으로 나타났다. AI 윤리 대응이 아직 교육·가이드라인 중심의 초기 단계에 머물러 있으며, 실제 운영 체계로는 충분히 확장되지 못했음을 시사한다. 표준협회는 기업의 AI 기본법 대응을 지원하기 위해 오는 29일, '2026년 AI 기본법 대응 세미나'를 개최한다. 세미나는 AI 윤리와 안전 요구사항을 중심으로, 법·제도 이해를 넘어 실무 적용을 위한 대응 방향을 제시하는 데 목적이 있다. 주요 프로그램은 ▲AI 기본법 주요 내용과 기업 대응 전략 ▲AI 안전 확보 방안 ▲AI 윤리 및 영향평가 프레임워크 ▲국내외 AI 인증 동향 등으로 구성된다. 이번 세미나는 PwC컨설팅, 인공지능안전연구소(AISI), 정보통신정책연구원(KISDI) 등 분야별 전문기관이 참여해 법·정책·안전·윤리 전반을 아우르는 강의를 제공한다. 문동민 표준협회 회장은 “AI 기본법 시행에 따라 기업과 기관 대응은 선택이 아닌 필수 과제”라며 “표준협회는 실무 중심 교육을 통해 현장의 AI 윤리 대응 역량 강화를 지원할 계획”이라고 밝혔다. 세미나는 29일 서울 강남 퓨처밸류캠퍼스에서 개최한다. 참가 신청은 표준협회 교육 홈페이지에서 하면 된다.

2026.05.04 11:12주문정 기자

[보안리더] 김명주 AI안전연구소장 "AI 리스크맵 등 만들 것"

"아휴 10년은 된 것 같아요" 작년 11월 27일 성남시 판교에 인공지능안전연구소(AISI)가 문을 열었다. 한국전자통신연구원(ETRI) 부설 기관이다. 인공지능(AI)의 안전한 사용을 위한 평가와 연구를 전담한다. 우리나라보다 앞서 영국, 미국, 일본, 싱가포르, 캐나다가 AI안전연구소를 개소, 우리나라는 세계 여섯 번째로 AI안전연구소를 둔 나라가 됐다. 초대 소장은 나비 넥타이가 트레이드마크인 김명주 서울여대 교수(정보보호학부)가 선임됐다. 부임 10개월이 된 김 소장을 지난 4일 AISI(에이시로 발음) 사무실에서 만나 그간의 성과와 향후 계획을 들어봤다. 김 소장은 '토종 박사'다. 서울대 컴퓨터공학과를 졸업하고 석사와 박사 모두 서울대에서 학위를 받았다. 82학번(63년생)으로 학부를 수석으로 졸업했다. 1995년 서울여대 정보보호학부 교수로 부임, 현재 파견 상태다. AI 윤리와 신뢰성 분야 전문가로 바른AI연구센터장, 국제AI윤리협회장, AI윤리정책포럼 위원장 등을 역임했다. '글로벌 인사'이기도 하다. 경제협력개발기구 글로벌 인공지능 파트너십(OECD GPAI) 엑스퍼트 매니저로 활동했다. 작년 11월 초대 소장 부임..."히말라야 등정 돕는 세르파 같은 연구소 될 것" 작년 11월 소장 취임시 그는 기자들과 인터뷰에서 "우리 연구소는 규제기관이 아니다. 국내 AI 기업이 글로벌 경쟁력을 확보하는데 장애가 되는 위험요소를 최소화하도록 지원하는 협력기관이다"면서 "히말라야 등정을 돕는 세르파(Sherpa)같은 연구소가 되겠다"고 약속한 바 있다. 연구원의 영어명칭은 AISI인데, 이 중 S는 안전(Safety) 뿐 아니라 세르파(Sherpa), 보안(Security), 표준(Standard)을 뜻하기도 한다. 지난 10개월간의 소회를 묻자 김 소장은 대뜸 "10년은 된 것 같다"고 말했다. 이어 "하루 평균 수면 시간이 3.5시간이다. 스마트워치를 갖고 있어 수면시간을 기록하는데, 최근 평균 3.5시간이더라"고 말했다. 그는 1963년생이다. 우리나라 나이로 63세다. 기자가 "그렇게 자도 건강이 괜찮냐?"고 놀라며 묻자 "병원을 자주 다닌다. 당뇨도 있고..."라면서 "일이 너무 많다. 내가 결제를 해줘야 다음 단계로 넘어가니, 또 외국과 컨퍼런스 콜이나 이메일을 해야 하는데 시차가 나다 보니 자연스레 수면 시간이 줄었다"고 설명했다. 서울여대서 근 30년 근무...건강 다시 회복한 2017년부터 나비넥타이 착용 AISI에 오기전 그는 근 30년간 서울여대 교수로 있었는데 '일머리'가 있는 '하드워커'였다. 학교 처장을 맡아 대외 사업을 지휘했는데 외부에서 따온 사업 규모가 700억 원이나 됐다. 당시 서울여대 1년 예산이 600억 원이였다. 이 공로로 총장에게서 특별보너스로 안식년을 받았다. 하지만 건강에 문제가 생겼다. 뇌쪽 혈관이 터져 6개월을 집에 있어야 했다. 김 소장 인생 '최대 겨울'이였다. 당시 공황장애가 올 정도로 고생했지만 다행히 건강을 회복, 학교로 복귀했고, 이때부터 그의 상징이 된 '나비넥타이'를 매기시작했다. "학교로 돌아오니, 두 번째 삶을 사는 것 같았다. 그래서 뭘 하나를 바꾸고 싶었는데 바꿀 게 없더라. 마침 누가 선물해 준 나비 넥타이가 생각났다. 용기가 없어 못매고 있다 "죽을 뻔 했는데...."하며 과감히 수업때 착용했다. 학생들 반응이 너무 좋았다. 교수가 자기들을 존대해주는 느낌을 받았다고 하더라. 2017년인데, 이때부터 계속 나비넥타이를 매고 다닌다. 갖고 있는 나비넥타이가 40개 정도 된다." 김 소장은 지난 10개월간 조직 세팅과 함께 연구원들 역량 향상에 힘을 쏟아왔다. AISI는 3개 실(AI안전정책&대외협력실, AI안전평가실, AI안전연구실)을 근간으로 AI안전컨소시엄, 글로벌자문단, 연구지원실을 두고 있다. 연구원 수는 정규직 20명을 포함해 30명이다. 이 중 4명은 다른 기관에서 파견나와 있다. 김 소장은 신생 조직이다보니 연구원들이 정말 열심히 일한다면서 "어제도 내가 저녁 11시에 퇴근했는데, 남아 있는 연구원들에게 "미안해 먼저 집에 갈께요" 하고 나왔다"고 들려줬다. 이어 "단기간에 글로벌 수준을 갖추기 위해 주요국 연구소와 글로벌 공동연구를 같이하며 바쁘게 지냈다"면서 "이제 이 정도면 할만 하다는 생각이 든다"고 반색했다. 잘 안 알려진 사실이지만, 올 1월말 중국발 딥시크(DeepSeek) 쇼크때 이의 대응책을 마련하는데 AISI가 큰 역할을 했다. 작년 10월 미국 정부는 AI기술을 핵무기와 같은 국가 전략자산으로 지정했다. AI가 세계 패권을 가르는 요소기술임을 보여준 상징적 사건이다. 혹자는 AI를 핵무기에 비유하며 위험성을 우려한다. 도구인 AI가 인류에 유용한 기술이 되려면 '안전'을 절대적으로 확보해야 한다. 우리나라와 주요국이 AI안전연구소를 만든 이유다. "AI안전 관련 자체 기술 개발과 자체 평가 툴 만들 것" 김 소장은 남은 임기 2년간 무엇에 주력할 것이냐는 질문에 "AI안전과 관련한 자체 기술을 개발하고 자체 평가 툴과 리스크 모델을 만들어야 하는 등 할 일이 많다"면서 "지금까지 우리는 선도국을 따라가는 입장이였는데, 앞으로는 AI안전성 면에서 우리나라의 글로벌 리더십을 한단계 올리는데 기여하고 싶다"고 밝혔다. AISI는 표준화 등 법적으로 해야 할 미션이 있다. 하지만 현재 조직과 인력으로는 역부족인 상황이다. AISI 출범시 당국은 정규 연구인력을 30명 플러스 알파(+α)로 주기로 했다. 이 약속은 지켜지지 않았다. 현재 AISI 정규 연구원은 20명이다. 예산은 올해 76억인데 내년에 비R&D 부문 예산이 늘었다. 김 소장은 "AI안전과 관련한 부작용을 막는 데 힘을 기울이고 있다"면서 "딥페이크(Deepfake) 탐지 기술 개발도 그 중 하나다. 모델 보다는 시큐리티(보안)에 중점을 두고 AI 원천기술을 개발하고 있다"고 설명했다. AI안전연구소를 세계에서 가장 먼저 만든 영국의 경우 올 2월 AI안전연구소라는 명칭을 AI보안연구소(AI Security Institute)로 변경했다. AI 편향과 같은 이슈보다 화학·생물 무기, 사이버 공격, 사기, 아동 성범죄 등 AI의 국가 안보 및 범죄 악용에 적극 대응하기 위해서다. 아직 AISI는 영국처럼 명칭 변경은 생각하지 않고 있다. 하지만 보안 쪽을 신경써 보고 있다. 김 소장은 "최근 관련 팀을 미국에 보내 대량 살상 무기 교육을 받고 왔다"고 말했다. 유럽연합(EU)의 실천강령(Code of Practice)도 짚었다. EU는 업계 자율규제(self-regulation) 방식으로 실천강령을 만들어 운영하고 있다. 대표적인 예가 2018년 처음 채택했고, 2022년 대폭 개정한 '허위정보 대응 실천강령(EU Code of Practice on Disinformation)'이다. 김 소장은 "EU 실천강령에 대한 우리 기업들의 대응책을 AISI가 만들고 있다"면서 "특히 AI 리스크 맵을 만들고 있다. 이는 세계적으로 우리가 처음인 것 같다"고 강조했다. AI에 대한 '리스크 카테고리'는 세계적으로 있지만 아직 '리스크 맵'은 없다는 것이다. "리스크 맵을 만들기 위해 미국 MIT에 문의했는데, 자기네와 구조가 다르다는 답을 받았다. 리스크맵은 AI의 잠재적 위험을 파악하는 구조로 AI 안정성 확보에 큰 역할을 할 것"이라고 예상했다. 김 소장에 따르면 MIT는 1800개의 리스크 카테고리를 갖고 있다. AISI는 200개 정도로 이뤄진 AI 리스크맵을 완성, 연내 발표할 예정이다. 현재 이들 맵의 네이밍(naming) 작업을 하고 있다. 이 맵이 마련되면 AISI는 AI 리스크를 총괄하는 포털과 허브 역할을 할 전망이다 "에이전틱AI도 평가 예정...AI인증 하기엔 인력 너무 부족" 김 소장은 "리스크맵이 만들어지면 원인 파악 등 새로운 AI리스크에 대해 빠른 대응이 가능해진다"고 연구 필요성을 밝혔다. 안전한 AI 환경을 위해 AISI는 지난 10개월간 국내외 모델합쳐 총 7종을 평가했다. 김 소장은 "우리가 입주한 판교 건물이 전력 사정이 여의치 않다. 이에 대전 ETRI와 전남 광주 AI센터의 리소스를 활용하고 있다. 정부가 공급하는 AI칩도 조만간 가져다 쓸 예정이다. (우리도) 자체 평가 모델 개발과 함께 테스팅 능력을 높이기 위해 힘쓰고 있다. (요즘 부상하고 있는) 에이전틱AI도 평가할 예정"이라고 밝혔다. 이어 "공공기관이나 국가기관의 AI 안전 지침(AI Safety Guideline)과 AI인증을 만들 생각도 있지만 현재 인력이 너무 부족하다"고 토로했다. 김 소장은 "평가툴보다 더 중요한 게 데이터셋"이라며 "계속 새로 만들어야 하기 때문이다. 내년이나 내후년쯤에는 글로벌 스탠더드에 부합하는 데이터셋을 만들어 공개하고 싶다"는 바람을 보였다. 연구원은 정부 연구개발(R&D) 과제도 한다. 이를 담당하는 곳이 안전연구실이다. 10명 정도 인력으로 정부 과제는 현재 두 개를 하고 있다. 하나는 실시간으로 멀티모달의 딥페이크를 찾아내는 것이고, 다른 하나는 AI가 공격 받았을때 원상태로 돌아가는 회복탄력성에 관한 것이다. 김 소장은 "과기정통부 외에 다른 곳에서도 비용을 줄테니 연구를 해달라는 요구가 많다"면서 "여력이 되는 한 해주려 한다. 하지만 그만큼 연구원들에게 부담으로 돌아가니 쉬운 일은 아니다"고 말했다. 아직 개소 1년이 안됐지만 AISI는 세계적 AI 학회에 논문 투고도 추진한다. ACL(Association for Computational Linguistics)이나 ICML(International Conference on Machine Learning)과 같은 학회가 대표적인데, 내년 ICML은 서울 코엑스에서 7월 6일~12일 열린다. AI안전평가 세계 3~4위 수준...우리처럼 정책과 평가, 연구까지 하는 나라 드물어 AI안전평가 부문 우리나라 경쟁력은 얼마나 될까. 김 소장은 "미국과 영국이 가장 앞서있다. 영국의 경우 상근 직원만 100명이나 된다. 싱가포르도 이 분야 선도국가다. 한국은 싱가포르와 함께 세계 3~4위 수준이 될 듯 하다"고 평가했다. 이어 "우리나라는 다른 나라와 다른 점이 있다. 다른 나라는 AI 안전에 대해 정책과 평가만 한다. 우리나라는 아니다. 연구(리서치)까지 한다"고 설명했다. AI안전연구원의 영어 명칭은 AI Safety Institute다. 연구(Research)라는 말은 없다. AISI가 속한 ETRI는 AISI처럼 Institute다. Institute 밑에 Institute가 있는 형국인 것이다. "이런 구조여서 외국과 MOU를 맺을 때 다른 나라들이 이상하다고 말하기도 한다"고 말했다. 이 부분이 AISI의 독립론이 나오는 이유이기도 하다. AISI를 ETRI에서 분리, 독립시키자는 주장에 대해 김 소장은 "ETRI 소속이다보니 ETRI의 막대한 리소스를 사용할 수 있는 장점이 있다"며 말을 아꼈다. 요즘 화두인 AI보안에 대해 김 소장은 "AISI는 돈이 안되더라도 리스크 중심으로 연구를 하고 있다. 킬스위치라고 불리는 AI 비상정지 기능도 그 중 하나"라고 소개하며 "킬 스위치는 AI기본법에도 들어가 있다. 보안과 안보 차원에서 AI를 다루고 있으며 이를 위해 육사 화학과 교수 한 분과 국방연구원(ADD) 생물학 전공 한 분을 자문위원으로 최근 위촉했다"고 말했다.

2025.09.10 00:36방은주 기자

지금 뜨는 기사

이시각 헤드라인

비트코인, 美 금리인상에도 강세…7만 6000달러선 유지

[르포] 에어컨 켜면 온수도 펑펑…제주 주택에 들어선 'K-히트펌프'

피지컬 AI·반도체·보안·양자까지 한눈에...AI 대축제 열린다

카카오X 저평가 우려에…카카오 "자회사 가치 더 제대로 평가받을 것"

ZDNet Power Center