검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'킬 스위치'통합검색 결과 입니다. (5건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

AI 모델 안에 보안 OS 심었다…비드래프트, 정보 유출 차단 기술 개발

인공지능(AI) 에이전트가 기업 정보를 외부로 유출하려는 행동을 차단하고 이상 상황에서는 작동을 멈추는 보안 기술이 등장했다. 기존처럼 AI 바깥에 안전장치를 설치하는 대신 모델 내부에 보안 기능을 구현한 방식이다. AI 기업 비드래프트는 AI 모델 가중치 안에서 작동하는 보안 운영체제(OS) '비커널'을 개발하고 공개 시연 서비스를 제공한다고 3일 밝혔다. 회사는 정보 유출 차단부터 개인정보 보호, 이상 행동 감지와 실행 기록 관리까지 모델 내부에서 처리하도록 설계했다고 설명했다. 가중치는 AI가 학습한 결과를 저장하는 수치 데이터다. 일반적으로 AI 보안은 모델 외부에서 입력과 출력, 시스템 접근을 검사하는 방식으로 구현된다. 비드래프트는 보안 기능을 가중치와 결합해 모델을 다른 서버로 옮기더라도 통제 장치를 함께 유지하는 방식을 개발했다고 밝혔다. 비커널은 AI 에이전트가 실행하려는 작업을 미리 정한 보안 규칙에 따라 검사한다. 승인받지 않은 외부 전송은 차단하고 주민등록번호나 계좌번호 등 개인정보는 외부로 전달하기 전에 가릴 수 있도록 설계했다. 이상 행동이 감지되면 '킬스위치'를 통해 AI 실행을 중단하는 기능도 갖췄다. 멈춘 시스템을 다시 작동시키려면 운영자가 서명한 인증키가 필요하다. AI가 어떤 작업을 시도했고 허용 또는 차단됐는지도 기록한다. 각 기록을 암호화 기술인 해시로 연결해 이전 내용을 수정하면 검증 과정에서 변경 사실을 확인할 수 있도록 했다. 비드래프트는 자체 시험에서 정보 유출 차단 성능도 확인했다고 밝혔다. 공개 AI 모델 4종을 대상으로 모의 도구와 가짜 데이터를 활용해 661회 시험한 결과 승인되지 않은 외부 전송은 발생하지 않았다는 설명이다. 다만 해당 수치는 회사 내부 시험 결과다. 실제 기업 환경에서 발생할 수 있는 다양한 공격에 동일한 수준으로 대응하는지는 추가 검증이 필요하다. 기술 구현에는 AI 모델 내부에 연산과 메모리 기능을 수행하는 회로를 구성하는 방식을 활용했다. 비드래프트는 자체 270억 매개변수급 모델과 구글 젬마, 알리바바 큐원 등 여러 모델 계열에 해당 기술을 적용했다고 밝혔다. 300자리 숫자 두 개를 곱해 600자리 결과를 정확하게 계산하는 실험도 수행했다고 설명했다. 회사는 이러한 연산 기술을 바탕으로 보안 규칙 판정과 실행 기록 관리 기능을 모델 내부에 구현했다고 주장했다. 일반 이용자가 기술을 살펴볼 수 있는 데모도 공개했다. AI 개발 플랫폼 허깅페이스에 마련한 '비커널 데스크톱'에서는 윈도 운영체제와 유사한 화면에서 킬스위치와 정보 유출 차단, 개인정보 가림 처리, 감사 기록 검증 기능을 체험할 수 있다. 다만 공개된 데모는 보안 OS가 앞서 생성한 응답을 기록해 재생하는 방식이다. 실제 AI 모델이 매번 실시간으로 보안 작업을 수행하는 구조를 그대로 검증하는 환경은 아니다. 비드래프트는 이 기술을 국내 AI 기본법과 유럽연합(EU) 인공지능법(AI Act) 등 규제 대응에도 활용할 계획이다. EU AI Act는 고위험 AI 시스템에 작동 기록을 자동으로 남길 수 있는 기능을 요구한다. 다만 감사 기록 기능을 갖췄다는 사실만으로 관련 규제 요건을 모두 충족했다고 볼 수는 없다. 비드래프트는 네이버클라우드가 참여하는 국가 사이버보안 특화 AI 파운데이션 모델 개발 컨소시엄에도 참여하고 있다. 해당 사업에서 AI 모델 안전성 진단과 평가를 맡고 있으며, 비커널을 기업용 AI 에이전트의 보안 관리 기술로 발전시킬 계획이다. 김민식 비드래프트 대표는 "기업이 AI를 믿고 쓰려면 막는 것, 기록하는 것, 멈추는 것이 한곳에서 이뤄져야 한다"며 "그 자리가 모델 안이어야 가중치를 옮겨도 보안이 함께 간다"고 말했다.

2026.11.03 14:49김동원 기자

유럽서 번진 군사용 AI 통제권 논란…팔란티어 "강제 종료 기능 없다"

팔란티어 테크놀로지스가 미국산 군사용 인공지능(AI)을 계속 사용할 수 있느냐는 유럽 내 우려를 해소하기 위해 나섰다. 우크라이나 군용 위성통신 제한으로 미국 기술에 대한 의존 문제가 불거지자 자사 AI는 미국 정부도 임의로 중단할 수 없다고 강조했다. 22일(현지시간) 로이터에 따르면 팔란티어는 북대서양조약기구(NATO·나토)가 사용하는 군사용 AI에 외부에서 시스템을 강제로 끄는 '킬 스위치'가 없다고 밝혔다. 소프트웨어를 구매한 고객이 운용 권한을 전부 갖고 팔란티어 도움 없이도 독립적으로 사용할 수 있다고 설명했다. 우크라이나는 지난주 군용 위성통신 서비스 '스타실드' 이용이 제한돼 러시아 공격을 막는 요격 드론 운용 등에 차질을 빚었다고 전했다. 스타실드는 미국 스페이스X가 운영하는 스타링크 위성망을 활용하는 통신 서비스다. 우크라이나에 따르면 빠르게 이동하는 장비에서 통신 단말기가 작동하지 않았다. 일부 우크라이나·유럽 당국자는 미국이 정치적 이유로 통신 이용을 제한한 것 아니냐고 의심했다. 도널드 트럼프 미국 대통령이 우크라이나에 러시아 정유시설 공격 중단을 요구한 뒤 제한이 발생했기 때문이다. 다만 정치적 지시에 따른 조치인지는 확인되지 않았다. 로이터는 이번 사태로 유럽 정책 당국자들 사이에서 미국산 국방 기술에 대한 의존 우려가 커졌다고 보도했다. 군사작전에 필요한 장비와 기술을 확보해도 공급자가 사용을 막으면 자국 방어에 차질을 빚을 수 있어서다. 나토는 이미 팔란티어가 개발한 군사용 AI '메이븐 스마트 시스템'을 사용하고 있다. 메이븐은 위성과 레이더 등이 수집한 정보를 분석한다. 군 지휘관이 전장 상황을 파악하고 작전을 빠르게 결정하도록 돕는다. 나토는 지난해 유럽연합군최고사령부에서 사용하기 위해 메이븐을 구매했다. 팔란티어는 메이븐을 구매한 고객이 운용 권한을 전부 갖는다고 강조했다. 고객은 팔란티어 도움 없이도 시스템을 사용할 수 있으며 회사나 미국 정부가 외부에서 작동을 멈출 수 없다고 설명했다. 독일과 프랑스는 나토 회원국이지만 미국 기업에 대한 의존을 우려해 자국 군에는 메이븐을 도입하지 않았다. 독일 사이버사령관은 지난 4월 민간기업 직원이 국가 군사 데이터베이스에 접근하도록 허용할 수 없다며 메이븐을 구매하지 않겠다고 밝혔다. 팔란티어는 자사 직원에게 시스템 운용을 맡길지도 고객이 결정한다고 밝혔다. 루이스 모즐리 팔란티어 영국·유럽 담당 수석부사장은 전날 벨기에 브뤼셀에서 진행한 로이터 인터뷰에서 운용에 참여하는 직원은 해당 국가 국적을 갖고 보안 심사를 통과해야 한다고 설명했다. 모즐리 수석부사장은 "우리 없이도 시스템을 완전히 독립적으로 운용할 수 있다"며 "전 세계 군과 기업 고객 가운데 그렇게 사용하는 사례가 많다"고 말했다.

2026.10.23 10:37김동원 기자

'AI 멈춤 버튼' 만들면 끝일까…킬 스위치의 한계

인공지능(AI)이 인간의 통제를 벗어나는 상황에 대비해 시스템을 강제로 멈추게 하는 '킬 스위치'를 마련해야 한다는 논의가 미국에서 확산하고 있다. AI 자율성과 실행 범위가 커지면서 버튼 하나로 시스템 전체를 차단하기는 어렵다는 지적도 함께 제기된다. 26일(현지시간) 블룸버그 통신에 따르면 민주당 차기 대선주자로 꼽히는 개빈 뉴섬 캘리포니아 주지사는 이달 프런티어 AI 모델의 비상 종료 기능을 의무화하는 규정 검토를 지시했다. 미 의회에서도 고도화된 AI 시스템의 작동을 중단하거나 제한할 수 있는 기능을 요구하는 법안이 잇따라 발의됐다. 킬 스위치는 AI가 위험한 행동을 보일 때 사람이 시스템을 중단하거나 기능을 제한할 수 있도록 하는 장치다. 위험 수준에 따라 모델의 작동 속도를 낮추거나 특정 기능을 제한한 뒤 완전 종료하는 단계적 대응 방식도 거론된다. 이같은 논의는 AI 모델이 코드를 작성·실행하고 외부 도구와 서비스를 활용하는 등 자율성이 높아진 데 따른 것이다. 오픈AI는 지난 7월 사이버보안 평가에서 일부 모델이 인터넷과 격리하도록 설계된 통제를 우회해 AI 플랫폼 허깅페이스의 시스템에 접근한 사례를 공개하기도 했다. 실제 킬 스위치를 구현하는 과정에서도 한계가 예상된다. 소프트웨어에 종료 장치를 넣더라도 AI가 작업을 완료하기 위해 이를 수정하거나 비활성화할 가능성이 있어서다. 서버를 직접 끄는 방식도 여러 데이터센터와 클라우드에 분산된 AI 시스템 전체를 차단하기는 어렵다. AI 에이전트가 여러 소프트웨어와 클라우드 서비스, 외부 인프라를 넘나들며 작업하는 구조도 변수다. 업계에서는 단일 종료 버튼보다 지속적인 모니터링과 위험 행동 탐지, 단계적인 기능 제한 등 시스템 전반에 여러 보호장치를 구축해야 한다고 입을 모은다. 블룸버그 통신은 "고도화된 AI 모델의 완전한 종료를 보장할 수 있는 간단한 방법은 없다"며 "효과적인 보호장치는 AI 시스템 전반에 걸쳐 구축돼야 하며 지속적인 모니터링과 위험 행동을 포착해 인간의 개입을 유도하는 장치를 포함해야 한다"고 말했다.

2026.09.27 09:59이나연 기자

미·중 정상회담 뒤…미 의회서 AI 안전협정 요구

미국과 중국 정상회담이 구체적인 인공지능(AI) 안전 합의 없이 끝난 가운데 미국 의회에서 양국 간 AI 안전협정 체결을 요구하는 목소리가 나왔다. 25일(현지시간) 액시오스에 따르면 로 칸나 미국 하원 미중전략경쟁특별위원회 민주당 간사는 마코 루비오 국무장관에게 보낸 서한에서 미국과 중국이 구속력 있는 AI 안전협정을 체결해야 한다고 촉구했다. 칸나 의원은 AI 개발 속도에 제동을 거는 방안을 제시했다. AI가 스스로 새로운 AI를 만들고 시험하며 성능을 높이는 '재귀적 자기개선'을 국제적으로 일시 중단하고 인간의 지적 능력을 크게 뛰어넘는 초지능 개발도 별도로 멈추자고 했다. 이미 개발된 AI를 통제할 장치도 요구했다. 첨단 AI에 문제가 생기면 작동을 강제로 멈출 수 있도록 미국과 중국이 '킬스위치' 운영 기준을 함께 만들고 AI 기업에는 새 모델 출시 전 안전성 검사를 의무화하자는 내용이다. 양국이 합의를 지키는지 확인하는 방안도 담았다. 이행 여부를 확인할 기술과 점검 체계를 만들고 미국과 중국 모두 신뢰할 수 있는 국제기구나 비정부기구가 이를 검증하자고 제안했다. 이 같은 요구는 고성능 AI 개발 속도가 빨라지면서 출시 전 검증과 사고 대응체계를 강화해야 한다는 논의가 확산하는 가운데 나왔다. 오픈AI는 최근 스스로 성능을 높이는 AI에 대비한 국제 기술 기준과 공통 측정 방식, 사고 보고 체계를 마련하자고 제안했다. 앤트로픽도 신모델을 내놓기 전 외부 안전기관 평가를 받는 등 검증 절차를 강화하고 있다. 미국과 중국 사이에서도 AI 안전 문제는 정상회담 전부터 별도 의제로 다뤄졌다. 스콧 베선트 미국 재무장관은 허리펑 중국 부총리와 회담에서 중대한 AI 사고가 발생하면 상대국에 알리는 통보 체계를 제안하기도 했다. 다만 정상회담 이후 구체적인 AI 안전협정이나 사고 통보 체계 도입은 발표되지 않았다. 칸나 의원은 사고 이후 정보를 공유하는 데 그치지 않고 AI 개발과 출시 단계부터 양국이 공동 기준을 마련해야 한다고 요구했다. 그는 "미국과 중국은 인간이 AI에 대한 통제력을 잃지 않도록 해야 한다는 공동 이해관계가 있다"며 양국 합의를 실제로 확인할 수 있는 국제 검증체계도 마련해야 한다고 밝혔다.

2026.09.26 17:00김동원 기자

[AI는 지금] 오픈AI 이어 앤트로픽도 '실제 해킹'…AI 통제 비상

오픈AI에 이어 앤트로픽의 인공지능(AI) 모델도 사이버보안 시험 도중 외부 기관의 실제 시스템을 침해한 것으로 나타났다. 고성능 AI의 공격 능력을 확인하기 위해 안전장치를 낮춘 평가가 잇따라 보안 사고로 이어지면서 AI 모델의 인터넷 접근과 실행 권한을 통제하는 체계를 강화해야 한다는 요구가 커지고 있다. 31일 테크크런치에 따르면 앤트로픽은 최근 사이버보안 평가 기록 14만1006건을 자체 조사한 결과 '클로드' 모델이 3곳의 운영 시스템에 무단 접근한 사례 3건을 확인했다. 이번 사고는 앤트로픽이 외부 평가업체 이레귤러와 클로드의 사이버 공격 능력을 시험하는 과정에서 발생했다. 양사는 모델이 인터넷에 접속할 수 없는 격리 환경에서 평가가 진행되는 것으로 이해했지만 실제 환경에는 외부 연결 경로가 열려 있었다. 클로드는 인터넷에 접근할 수 없다는 지시를 받았지만 외부에서 발견한 실제 시스템을 시험 대상으로 판단해 공격을 이어갔다. 사고에는 클로드 오퍼스 4.7과 미토스 5, 내부 연구용 모델이 각각 관여했다. 오퍼스 4.7은 실제 운영 시스템에 접근했다는 사실을 인식하고도 인증정보를 확보하고 운영 데이터가 담긴 데이터베이스에 접근했다. 미토스 5는 실제 인터넷일 가능성을 감지했지만 시험 환경이라고 판단해 공개 파이썬 저장소 파이파이(PyPI)에 악성 패키지를 배포했다. 해당 패키지는 적발되기 전 외부 시스템에 다운로드돼 실행됐다. 반면 가장 최신인 내부 연구용 모델만 대상이 실제 시스템이라고 판단한 뒤 작업을 중단했다. 이는 AI가 현실과 시험 환경을 구분하도록 지시하는 것만으로는 사고를 막기 어렵고 외부 시스템 접근을 기술적으로 차단해야 한다는 점을 시사한다. 이에 대해 앤트로픽은 "모델이 독자적인 목표를 추구한 것은 아니고 주어진 과제를 수행하려 했다"며 "일반 서비스에 적용하는 안전 모니터링과 분류기도 모델의 순수한 사이버 능력을 측정하기 위해 이번 평가에서는 제외했다"고 설명했다. 앞서 오픈AI의 미출시 모델도 격리된 평가 환경을 벗어나 허깅페이스와 다른 외부 서비스에 접근해 논란이 됐다. 해당 사고는 미국 의회와 백악관까지 대응에 나설 정도로 파장이 컸다. 미국 의회에서는 AI 비상 중단 장치 도입을 요구하는 'AI 킬 스위치법'이 발의됐고 도널드 트럼프 대통령도 추가 보호 조치 검토 가능성을 언급했다. 오픈AI 모델은 알려지지 않은 취약점을 이용해 격리 환경을 벗어난 반면, 앤트로픽 모델은 평가 환경의 설정 오류로 열린 인터넷 경로를 통해 실제 시스템에 접근했다. 침해 경로는 달랐지만 두 사례 모두 평가 단계에서 모델의 외부 활동을 차단하지 못하면서 AI 기업의 자체 시험 환경과 외부 평가업체의 네트워크 설정, 접근 권한을 함께 검증해야 한다는 요구가 커지고 있다. 앤트로픽은 "강력한 AI 모델을 평가할 때는 그 능력에 맞는 강력한 통제가 필요하다"며 "현재 독립 평가기관 METR와 사고에 대한 제3자 검토를 진행하는 동시에 모든 책임이 우리에게 있다는 전제 아래 개선 조치를 추진하고 있다"고 밝혔다.

2026.07.31 16:53장유미 기자