"새벽 3시에 해킹 있다면...AI공격 AI로 막아야"
[텔아비브(이스라엘)=박광하 기자] 싱가포르, 독일, 인도, 키프로스 4개국 대표가 10일(현지시간) 정부와 기업에서 스스로 판단해 일하는 인공지능(AI)인 'AI 에이전트'를 도입하려는 경우 어떤 통제 조건을 사전에 정해야 할지 의견을 제시했다. 이들은 사람이 정한 한계 안에서 움직이게 하고, 활동 기록을 반드시 남겨야 하며, 문제가 생기면 즉시 멈추고 권한을 회수해야 한다는 데 일치된 의견을 보였다. 이날 텔아비브대에서 열린 사이버위크 2026 본회의의 '첨단 AI와 달라지는 사이버 지형' 패널 세션에서 이 같은 의견들이 제시됐다. 사회는 아비람 앗차바 이스라엘 국가사이버국(INCD) 국제전략국장이 맡았다. INCD는 이스라엘 민간 부문의 사이버 방어를 총괄하는 정부 기관이다. 패널에는 마리오스 피에리스 키프로스 통신청장과 바버라 클루게 독일 연방내무부 사이버 및 정보보안 부총국장이 올랐다. 리 스옌 싱가포르 사이버보안청(CSA) 개발 담당 부청장과 산자이 바흘 인도 컴퓨터긴급대응팀(CERT-In) 국장도 함께했다. 앗차바 국장은 정부가 AI 에이전트에 민감한 정보와 행동 권한을 주기 전에 어떤 조건을 요구해야 하느냐고 물었다. 피에리스 청장은 AI 에이전트에 대한 신뢰를 사람처럼 단계적으로 쌓아야 한다고 답했다. 또 에이전트는 정부 조직 안에서 돌려 데이터가 조직 밖으로 나가지 않게 해야 한다고 말했다. 정부 조직이 요구할 조건으로 ▲명확한 한계 ▲완전한 추적성 ▲필요하면 멈출 수 있는 수단을 꼽았다. 추적성은 에이전트가 한 일을 끝까지 따라가 확인할 수 있는 능력을 뜻한다. 피에리스 청장은 사람의 판단을 시민에게 법적 효과가 있는 결정, 되돌릴 수 없는 일, 인간의 가치 판단이 필요한 일에 남겨야 한다고 했다. 반면 사이버 공격 방어는 속도가 중요해 사람이 끼어들지 않고도 인프라를 빠르고 정확하게 지켜야 한다고 짚었다. 그는 금요일 새벽 3시에 사이버 공격이 터지는 상황을 가정해 보라고 했다. AI 공격은 AI로 막아야 하며 방어를 이끌고 경고하고 시스템을 가동하고 격리할 권한을 분명히 가진 국가 주체가 필요하다고 강조했다. 에이전트 중단·신원 관리 수단 확보해야 바흘 국장은 에이전트가 잘못 움직일 때 제어할 수단을 갖춰야 한다고 말했다. 에이전트의 대화 기록, 호출한 도구, API 요청 같은 활동을 로그로 남기라고 했다. API는 프로그램끼리 기능을 주고받는 접속 창구 노릇을 한다. 그는 에이전트가 이상하게 움직이면 종료하거나 활동을 중단시키고 자격 증명(시스템에 접속할 때 쓰는 계정 정보와 권한)을 폐기할 능력이 있어야 한다고 설명했다. 이어 "그렇게 하지 못하면 우리는 심각한 곤경에 빠질 것"이라고 말했다. 클루게 부총국장은 "AI 에이전트는 인간이 아닌 신원이며 그렇게 다뤄야 한다. 거버넌스가 필요하다"고 말했다. 비인간 신원은 사람이 아닌 소프트웨어나 기기에 부여하는 계정과 권한을 뜻한다. 클루게 부총국장은 접근 관리와 신원 관리가 AI를 쓰는 조직의 핵심 역할이라고 짚었다. 리 부청장은 AI에 얼마나 자율성을 줄지는 표준 답이 없다고 말했다. 맡길 일이 임무에 핵심인지, 인명과 안전에 영향을 주는지, 문제가 생기면 복구가 가능하고 비용이 얼마나 드는지를 따져야 한다고 했다. 복구 비용이 크지 않으면 AI에 자율성을 조금 더 줄 수 있지만 비용이 크면 신중해야 한다고 설명했다. 이어 AI에 대한 사람의 개입 방식을 세 가지로 소개했다. '휴먼 인 더 루프'는 AI 작업 흐름의 특정 지점마다 사람이 결정하는 방식, '휴먼 온 더 루프'는 AI가 일하게 두고 사람이 지켜보다 필요할 때 개입하는 방식이다. 최근 들은 개념이라며 꺼낸 '휴먼 오버 더 루프'는 사람이 규칙과 한계를 정하고 AI가 그 안에서 자율적으로 움직이는 방식이다. 그는 에이전트에 부여할 신원, 접근 권한, 접근할 수 있는 자원을 기술적 한계로 분명히 정해 두면 그 안에서는 더 자율적으로 움직이게 할 확신이 생긴다고 말했다. 아울러 사람이 특정 지점마다 결정하는 방식은 규모가 커지면 오히려 역효과를 낸다고 지적했다. AI에 일을 자율적으로 맡기려는 목적이 무너진다는 이유에서다. 그래서 사람이 지점마다 결정하는 방식은 임무에 가장 핵심이거나 인명과 안전에 영향을 주는 일에 남겨야 한다고 했다. 사람이 계속 지켜보는 방식은 감시 피로가 쌓이는 위험이 있다고 말했다. 그는 세 방식 사이에서 균형을 잡아야 하며 어떤 방식을 쓸지는 AI를 업무에 도입하는 쪽이 정해야 한다고 했다. 싱가포르는 국가 단위 보호로 리 부청장은 싱가포르의 사이버 정책이 그동안 규정 준수와 사후 대응에 가까웠다고 말했다. 전력, 수도, 통신처럼 국가 기능을 떠받치는 시설 운영자는 스스로 자산을 지킬 책임을 지는 구조였다고 설명했다. AI 기술 발달로 사이버 공간이 크게 흔들리자 지난달 열린 싱가포르 국제사이버위크에 맞춰 국가 사이버 전략을 더 능동적인 방향으로 새로 정비했다고 밝혔다. 개별 기관에 각자 방어를 요구하는 대신 국가가 대규모로 보호를 제공할 수 있다면 CSA와 정부가 나서야 한다는 구상이다. 싱가포르는 통신사, 인터넷서비스업체와 함께 악성 도메인을 국가 수준에서 막는 'PDNS(Protective DNS)'을 도입할 계획이다. DNS는 웹사이트 주소를 서버 주소로 바꿔 주는 인터넷의 주소록 체계로, 이 단계에서 악성 도메인을 막으면 인터넷에 접속하는 누구든 악성 사이트로부터 보호받는다고 리 부청장은 설명했다. 핵심 기반시설 운영자에게는 위협 탐지 시스템을 보급해 운영자 간 보안 수준의 격차를 줄인다. 핵심 기반시설 운영자는 정부 기관일 수도 민간 기업일 수도 있고 보안 수준이 고르지 않기 때문이다. 리 부청장은 최근 출범한 'AI 사이버보안 실험 샌드박스'도 소개했다. 샌드박스는 새 기술을 제한된 환경에서 시험하게 하는 제도다. 이 사업에서 기업은 AI 보안 도구를 시험하는 시범 사업이나 개념검증(PoC)에 쓸 자금을 받을 수 있다고 했다. 더 많은 실험과 도입을 이끌어 AI로 AI에 맞서겠다는 취지라고 말했다. 독일, AI 인증과 책임 분담에 방점 클루게 부총국장은 AI용 소프트웨어자재명세서(SBOM)를 학습 데이터 출처, 모델 가중치, 컴퓨팅 인프라까지 넓혀야 한다고 말했다. SBOM은 소프트웨어에 어떤 구성요소가 들어갔는지 적은 목록이고, 모델 가중치는 AI가 학습으로 얻은 내부 수치다. 독일 연방정보보안청(BSI)이 이미 AI용 SBOM 작업을 하고 있다고 소개했다. 국가 안보나 핵심 기반시설에 쓰는 AI 모델을 중심으로 인증 표준도 세워야 하며 국제 파트너와 협력해야 한다고 했다. 그는 "모두를 위한 신뢰할 수 있는 규칙이 있어야 한다"고 말했다. 클루게 부총국장은 카라디 INCD 국장이 앞서 보안 침해는 피할 수 없고 AI가 새로운 경로를 찾아낼 것이라고 말했다고 언급했다. 그러면서 사이버 복원력을 우선해야 한다고 했다. 에너지, 금융, 보건, 통신 분야의 핵심 기능이 AI를 이용한 공격이 성공한 상황에서도 계속 작동하게 해야 한다고 말했다. 클루게 부총국장은 책임을 정부, AI 개발사, AI를 쓰는 조직이 나눠 져야 한다고 했다. 정부는 규칙을 정하고 집행하며 표준과 법적 책임 체계를 정해야 하고 이는 국제적 노력이어야 한다고 말했다. 고위험 AI 사고는 국제적으로 정한 임계치에 따라 의무 보고하게 하는 제도를 만들어야 한다고 했다. 보안을 설계 단계부터 넣는 기준 마련은 유럽연합(EU)이 이미 하고 있다고 덧붙였다. 가장 중요한 부문에는 복원력 표준과 대체 수단을 갖추게 하고 네트워크와 물리적으로 분리한 에어갭 복구 시스템도 마련하게 해야 한다고 말했다. 클루게 부총국장은 개발사가 윤리 기준과 설계 단계부터의 보안 원칙을 따라야 한다고 말했다. 배포하기 전에는 공격자 입장에서 모의 공격을 해 보는 레드팀 시험으로 사이버 능력을 점검하고 사이버 위험 평가를 담은 시스템 카드를 공개해야 한다고 했다. 시스템 카드란 모델의 능력과 위험을 정리한 문서다. AI를 쓰는 조직은 위험 평가와 위협 모델링을 하고 AI 서비스와 내부 시스템 사이의 관문인 AI 게이트웨이와 방화벽을 AI의 도움을 받아 정기적으로 갱신해야 한다고 설명했다. 클루게 부총국장은 시민과 이용자도 책임이 있다고 말했다. 개인정보를 AI에 어디까지 넘길지, 그 정보가 어디서 어떻게 처리되는지를 이들이 책임 있게 판단해야 한다고 짚었다. AI의 오류나 이상 행동을 발견하면 신고해야 한다고도 했다. 그래야 개발사가 문제를 고쳐 보안 수준을 높일 수 있다고 설명했다. 인도는 훈련·지침에 집중…6시간 이내 신고 바흘 국장은 인도가 업종별 웨비나와 모의훈련을 병행해 왔다고 소개했다. 조직의 모든 계층이 위협 환경을 알도록 하려는 취지다. 지금까지 16차례 훈련에 2000명이 참여했고 453개 기관이 포함됐다. 참가 기관은 위협이 닥쳤을 때 해야 할 일과 자신의 취약한 부분을 파악하고 준비하게 된다고 했다. 바흘 국장은 인도가 AI를 이용한 취약점(보안 결함) 악용에 노출되는 부분을 줄이고 막기 위한 청사진을 냈다고 소개했다. 청사진은 ▲제로트러스트 구조 ▲분할 ▲회복 서비스 ▲독립 감사 ▲집행 ▲지속 보증을 다룬다. 제로트러스트는 내부 사용자도 믿지 않고 접속할 때마다 검증하는 보안 구조다. 소프트웨어, AI, 암호, 양자, 하드웨어 자재명세서에 관한 기술 지침도 냈다. 보호하려면 먼저 자산이 무엇인지 알아야 하기 때문이라고 설명했다. 바흘 국장은 공격자가 API를 새로운 접점으로 삼아 악용하고 AI 에이전트가 공격 경로로 쓰이며 금융 기관을 노린 AI 기반 공격이 빠르게 늘고 있다고 경고했다. 감사 담당자가 AI 분야에서 무엇을 감사해야 하는지 알도록 감사 지침도 마련했다고 덧붙였다. 장비 제조사, 기술 서비스 업체에는 지금은 보안 책임이 이용 조직에 떠넘겨지고 있다고 지적했다. 중소기업이든 대기업이든 모든 조직이 이를 감당할 인력과 기술을 갖추지는 못했기 때문에 제조사가 책임을 져야 한다고 말했다. 인도는 제조사와 기술 서비스 업체에 ▲투명한 구성 요소 명세서 ▲보안을 반영한 개발 수명주기 ▲신속한 패치 ▲사고 대응을 요구하는 지침을 냈다. 개발 수명주기는 소프트웨어를 기획부터 폐기까지 관리하는 과정이고 패치는 보안 결함을 고치는 업데이트다. 바흘 국장은 사고가 나면 조직이 가장 먼저 알게 되므로 조직이 정보보안 정책에 정한 역할과 책임에 따라 조사하고 확산을 막고 복구해야 한다고 말했다. 인도는 2022년 4월 지침으로 사고를 인지한 지 6시간 안에 신고하고 로그를 180일 동안 보관하도록 했다.
