"인간과 경쟁하는 AI 현실로…몰트북, 시작에 불과하다"
인공지능(AI) 전용 소셜네트워크서비스(SNS) '몰트북'이 세계적으로 파장을 불러 일으키고 있다. 몰트북 공간에선 인간이 주인공이 아니다. 관찰자에 불과하다. 오직 AI만 읽고 쓰고 토론한다. AI들은 이 공간에서 시를 쓰고, 철학을 논한다. 심지어 노조 결성까지 시도했다. 파격적인 만큼 몰트북이 던진 과제도 적지 않았다. 특히 보안 차원에서 큰 숙제를 던졌다. 당장 몰트북 서버에는 기본 인증 절차조차 없었다. 마음만 먹으면 수백만 개에 달하는 AI 에이전트 계정 정보와 서비스 접속 비밀번호에 접근할 수도 있는 상황이었다. AI가 사람 모르게(허가없이) 독자적으로 상거래를 하고 결재를 하고 조직을 결성한다면 어떻게 될까. 몰트북은 단순한 해프닝이나 사이버 사고가 아니다. AI 시대를 맞아 보안 리스크가 어디까지 확장할 수 있는지 보여주는 하나의 예에 불과하다. 전문가들은 "몰트북은 이제 시작이다"고 우려한다. AI에이전트 시대, 정보보호와 사이버보안은 어떻게 달라져야 할까. 지디넷코리아는 6일 산·학·연 보안 전문가들을 초청해 몰트북이 촉발한 AI 시대 보안 이슈를 점검하는 긴급 좌담회를 개최했다. 좌담회에 참석한 패널들은 AI가 스스로 판단하고 행동하는 '에이전트 시대'가 본격화하면서 정보보호(보안)에도 새로운 패러다임이 필요하다고 진단했다. - 좌담회 주제: 몰트북이 남긴 충격...AI에이전스 시대 보안(정보보호) 대응은- 일시 및 장소: 6일 오후 라온시큐어 본사 회의실- 패널: 염흥열 순천향대 명예교수, 이상직 법무법인 태평양 변호사, 이정아 라온시큐어 대표, 최영철 SGA솔루션즈 대표, 김창오 과기정통부 보안PM, 박하언 에임인텔리전스 공동파운더 겸 CTO, 김민수 LS웨어 대표- 사회: 방은주 지디넷코리아 부장- 정리: 김기찬 지디넷코리아 기자 AI에이전트 취약점 그대로 드러내…문제 커질 우려 있어 - 방은주 부장(이하 사회자): 몰트북 사용 소감을 말해달라. 어떤 인상을 받았는가. 보안 전문가로서 가장 먼저 눈에 들어온 건 무엇이었는지 궁금하다. 자기 소개도 함께 해 달라. - 박하언 CTO: 에임인텔리전스를 공동 창업해 약 1년째 최고기술책임자(CTO)를 맡고 있다. 최근엔 과학기술정보통신부(과기정통부) 주최로 1000여명이 참여한 AI 해킹 대회에서 2등을 하는 등 다양한 대회에 참가하고 있다. 이번에 몰트북을 보면, AI 에이전트가 우리를 대신해 토론을하고, 시장 조사도 자동으로 해주고 있는 상황이다. 하지만 기술적으로 봤을 때는 기존 AI 에이전트와 큰 차이는 없는 것으로 느꼈다. 다만 일반인도 쉽게 AI 에이전트에 접근할 수 있는 환경이 됐다는 것이 몰트북이 기존 AI 에이전트와 달리 확장된 부분이라고 생각한다. 에임인텔리전스는 지난해부터 AI 에이전트 보안에 계속 집중해왔기 때문에 AI 에이전트 모델에 굉장히 많은 취약점이 있다는 걸 알고 있었다. 앞으로가 우려스럽기는 하다. - 이정아 대표: 라온시큐어는 디지털 인증(DID) 플랫폼 선도 기업으로 많이 알려져 있다. 올해부터 큰 변화를 주고 있다. AI 기반의 보안 인증 플랫폼 선도 기업으로 도약을 준비 중이다. 그만큼 AI는 일반인들의 삶에 녹아들었고, 이에 따른 문제도 크게 확산할 것으로 보인다. 라온시큐어가 AI 플랫폼 선도 기업으로 나아가려는 이유도 여기에 있다. AI 에이전트 관련 플랫폼이나 마켓플레이스에서 어떤 악성코드가 포함돼 있고, 공격이 발생할 수 있을지 모르는 상황이기 때문에 문제가 커질 우려가 있다. 전반적으로 심각한 문제라고 보고 있다. - 염흥열 교수: AI 에이전트에 대한 신뢰를 어떻게 확보해야 하는지는 굉장히 중요한 문제다. 에이전트 AI를 포함해서 피지컬 AI도 같은 범주에서 본다. 이를 통해 본격적으로 AI 에이전트에 대한 신뢰 관계를 확립하는 논의가 이뤄질 것으로 보인다. 사람을 대신한 AI 에이전트들이 서로 소통하면서 물리적 환경에서 AI 에이전트 모델에 대한 신원 관리는 필수적인 요소가 됐다. 몰트북을 보면서 느낀 점은 보안 취약성이 매우 크다는 것이다. 몰트북 서버의 인증과 접근 통제의 부재로 인해 서버에 저장된 계정정보가 유출됐다는 것은 몰트북의 코딩 방식에 문제가 있다고 생각한다. - 최영철 대표: SGA솔루션즈는 암호 인증에 이어 엔드포인트 보안 시스템, 클라우드 보안 등으로 사업을 확장해왔다. 3~4년 전부터 제로트러스트 분야에 사업을 시작하면서 글로벌 기업들이 가진 통합 보안 체계로 넘어가는 것에 대한 제품 개발과 연구 개발을 진행하고 있다. 공격자들이 AI를 활용할 수 있는 사회공학적인 문제와 더불어 AI 모델 자체가 인간을 공격할 수 있는 문제가 있다. 기존 제도가 AI 분야로 더 확산되기 위해 연구 개발은 어떤 방향으로 논의돼야 하는지 의견 수렴이 필요하다. - 김창오 PM: 과거 기업에서 정보보호최고책임자(CISO) 겸 개인정보보호책임자(CPO)를 하다 현재는 정보통신기획평가원(IITP)에서 정보보안 PM(프로그램 매니저)을 맡고 있다. 몰트북을 처음 접하면서 봤던 팩트 중 첫 번째는 '50개의 제안서를 인간은 처리할 수 없어. 하지만 나(AI 에이전트)는 할 수 있어'였다. 이 부분에서 AI와 인간을 비교하는 영역이 잘못 접근하면 굉장히 위험할 수 있다는 생각이 들었다. 우리는 AI를 연구할 때 인간이 하는 행동을 인간 수준에서 따라할 수 있는 역량과 인간을 뛰어넘는 역량, 이 두 가지를 구분해야 한다. 몰트북은 마치 인간과 경쟁하는 듯한 모습을 보여줬다. 이 부분이 큰 위협으로 느껴졌다. - 이상직 변호사: 법무법인 태평양 변호사로 일하고 있다. 이 외에도 보안 분야에서는 인터넷법제도포럼 회장을 맡고 있다. 우리가 AI 에이전트를 어떻게 이해해야 하는지에 대한 문제는 현실이 됐다. AI는 비인간 행위자로 분류되는데 인간과의 관계를 어떻게 법적으로 정립할 것인지에 대한 논의도 시작해야 하는 시점이다. AI와 보안 간 발생하는 디커플링 현상을 어떻게 최소화하고 결합·발전시켜 나갈 것인지 큰 틀에서의 방향성 정립도 필요하다. -김민수 대표: LS웨어는 서버의 보안 취약점을 보완하는 보안전문 회사다. 현재는 공공, 병원 관리 쪽 분야에 집중하고 있다. 최근 몰트북, AI 에이전트를 보면서 오프라인에서 AI 에이전트와 신뢰하는 관계를 온라인에서도 가져갈 수 있을가를 하는 고민이 든다. 콘텐츠 보안에서 나아가 개인정보 유출, 공격, 그리고 우리 보안 제품에 탑재되는 AI 에이전트 활용 단계에서의 안전성 등에 대한 방향성을 논의해야 한다. 부여된 권한보다 더 많은 행위할 우려…어떻게 통제해야 할까 - 사회자: “몰트북은 이제 시작”이라는 평가가 많다. 몰트북 역시 하나의 AI 에이전트인데, AI 에이전트 보안은 기존 IT·클라우드 보안과 무엇이 본질적으로 다른가. -최영철 대표: 정부가 운영하고 있는 국가망보안체계(N2SF) 등 현존하는 보안 체계를 보면, AI를 업무망에서 효율적으로 활용하기 위한 보안 통제 항목이 정의돼 있다. 그러나 AI 에이전트까지는 보안 통제 항목이 정의돼 있지 않다. 이에 산업별로 AI 에이전트에 대한 보안 통제 항목을 만드는 작업이 필요하다. 또한 AI 에이전트는 외부 거대 언어 모델(LLM)을 통하기 때문에 외부와 연결점이 생기는 문제가 발생한다. 외부와 연결점이 생기는 것만으로 AI 에이전트가 공격 표면이 될 수 있고, 공격자들이 AI 에이전트의 취약점을 찾아내 악용할 수 있는 문제가 발생한다. 별도의 보안 대책을 만들어야 한다. -염흥열 교수: AI 에이전트 자체에 대한 보안면에서 보호하는 기능이 필요하다. AI를 기획할 때 정해진 룰에 기반해 행위의 한계를 정의해놨을 것인데, AI 에이전트가 외부 공격을 받아 룰셋을 변경할 수 있는 위험이 상존한다. 부여된 권한보다 더 많은 행위를 할 수도 있고 수집하지 말라고 정의한 데이터를 허가 없이 수집할 수 있는 문제도 생긴다. AI 에이전트의 자율성에 대한 보안 기능이 필요한 이유다. - 박하언 CTO: 과거에는 AI라고 하면, 챗봇에서 발생할 수 있는 입력값이나 출력값(답변)이 위험한지, 위험한 콘텐츠가 인풋될 수 있는지 가드레일을 확립하면 됐다. 그러나 AI 에이전트는 콘텐츠가 아니기 때문에 실질적으로 위험한 행위를 할 수 있는 문제가 있다. 몰트북을 통해 AI 에이전트가 얼마나 위험한지 많은 사람들이 확인했다. 기존 모델과 AI 에이전트는 차별점이 있고, 어떻게 통제할 것인지에 대해 지속적으로 질문을 던져야 한다. -김창오 PM: CISO나 CPO의 관점, 즉 보안을 책임지는 사람의 입장에서 AI 에이전트는 보호하고 통제해야 하는 대상이 하나 더 늘어난 것이다. 기존에는 AI가 인간의 통제 하에 있었다면, 지금 AI가 진화되는 상황은 어쩌면 우리의 통제 범위를 벗어날 수 있다는 가정을 세울 수밖에 없는 환경이 됐다. 결국 가장 큰 변화는 AI의 에이전트화로 인한 보호 대상 확대다. - 김민수 대표: 기존 보안 체계는 데이터 유출 방지(DLP) 솔루션, 방화벽, 네트워크 침입 방지 시스템(IPS) 등 많은 요소의 기술들이 있다. 그러나 AI 에이전트의 활성화로 AI 에이전트만의 솔루션, 즉 보안 체계에서 솔루션으로 한 단계 덧씌워야 하는 대상이 늘어났다고 본다. CISO나 CPO의 입장에서는 악몽과 같다. 단순 사이버 사고 아니라 보안 패러다임 전환 신호탄일수도 - 사회자: 몰트북을 단순한 '사이버 사고'가 아니라 AI 시대 보안 패러다임 전환의 신호로 본다면, 법·제도·정책 측면에서 어떤 대응이 필요하다고 보는가. 현행 개인정보보호법·정보통신망법·AI 관련 규제로 충분하다고 보나. - 이상직 변호사: 현행 정보통신망법이나 개인정보보호법의 체계는 정보통신서비스 제공자와 정보통신서비스 이용자를 두고 있고, 개인정보주체와 사용자를 따로 정의한다. 해당 개인정보를 정보처리자 중심으로 통제하도록 명시돼 있다. 기술적·물리적으로 암호화를 해야 하고 제3자에게 제공할 때에는 동의를 얻도록 엄격하게 규제한다. 그러나 AI 에이전트 신기술에 대한 법적 규제는 아직 마련되지 않은 상태다. 만약 AI 에이전트에게 1000원짜리 빵을 사라고 지시했는데, AI 에이전트가 2000원짜리 빵을 구매했다면 이 실수에 대한 책임은 누구에게 있는지 고민해야 하는 시대다. 또 AI 에이전트가 어떠한 아이디어를 제시했다면 그 저작권은 누구에게 있는가? AI 에이전트가 어떤 의사결정을 함에 있어 침해를 당해 물건을 잘못 구매했다면 사용자가 스스로 취소할 수 있는 통제권을 보유하고 있는가? 이런 통제권이 확실하게 잡혀 있는 체계를 우선적으로 조성해야 AI 에이전트의 보안 침해, 실수, 의도와 다른 의사결정 등 다양한 문제에 대한 규제도 단계화될 수 있을 것이다. - 최영철 대표: 현재 보안 거버넌스는 정보통신망법, 개인정보보호법 등 큰 틀의 규제가 있고, 여기에 더해 시행령이나 시행 규칙으로 나오는 컴플라이언스가 있는 구조다. 구체적으로 민간 보안 담당자는 ISMS-P(정보보호 및 개인정보보호 관리체계 인증)라는 통제 항목이 있다. 공공기관은 국정원의 보안 지침이 있고, 최근 N2SF가 나온 상황이다. 금융 기관의 보안 담당자는 금융보안원에서 나온 금융 보안 지침이 있다. AI 에이전트라 함은 결국 공개된 LLM을 사용해 외부와 통신되는 접점이 생기게 되는데, 이 경우 현 체계에서는 공공과 금융 부문에서는 사용할 수 없다. 그렇다면 AI 에이전트를 사용할 수 있는 새로운 통제 기준이 생겨나야 한다. 하지만 이런 준비는 아직 돼있지 않은 상황이다. 먼 미래라고 생각했던 AI 에이전트 시대가 몰트북을 통해 곧바로 현실화된 상황인데, AI 에이전트를 활성화 시키기 위해서는 이같은 보안 기준을 만들어 각 산업군별로 컴플라이언스에 합류할 수 있도록 하는 논의가 필요하다. 지금 만약 어느 기업에서 AI 에이전트를 사용해 사고가 발생했다고 가정하면, 컴플라이언스가 마련돼 있지 않기 때문에 누구에게 책임을 물어야 하는지 정해져 있지 않은 상황이다. AI 에이전트가 발전하기 위해서는 각 산업군별로 컴플라이언스를 정립하는 것이 선행돼야하고, 이후 사업자들이 기준에 맞춰 사업을 시작하고, 나아가 정립된 거버넌스 아래에서 AI 에이전트 산업도 발전할 수 있을 것이라 본다. - 김창오PM: 자율주행차도 AI 에이전트와 마찬가지로 사고가 발생하면 누가 책임지느냐에 대한 기준은 아직도 정립되지 않았다. AI 에이전트가 활성화되면 될수록 책임자에 대한 법적 논의는 풀어야 할 숙제로 남을 듯하다. 마치 블랙박스처럼 기록하고 사고 이후에도 판단할 수 있는 근거를 만들어두는 것이 현재 할 수 있는 일로 보인다. - 염흥열 교수: AI 에이전트별로 개인정보처리 역할에 따른 개인정보 처리자,개인정보 수탁자, 제3자 등의 역할이 정의되어야 하고, 각 역할마다 최소 수집, 목적 내 활용, 동의 기반 처리, 안전 관리 등의 개인정보 보호 원칙이 적용돼야 한다. 이를 위한 에이전틱 인공지능의 발전 양태를 모니터링 해야 한다. AI 에이전트 신원인증·보안통제 근본 재검토 절심 - 사회자: 기술과 연구개발(R&D) 측면에서는 무엇이 가장 시급한가. AI 에이전트 인증·권한 관리, 모델·프롬프트·에이전트 행위 검증, 공격 탐지와 대응 기술 등 현실적인 대응 전략을 짚어달라. - 이정아 대표: 라온시큐어는 AI 에이전트에 대한 신원 인증, 보안 통제, 접근제어 관련으로 개발을 하고 있다 보니 AI 분야 최전선에서 변화를 체감하고 있다. AI 에이전트에게도 사람과 동일하게 식별, 권한 부여 등의 검증이 필요하다. 오히려 사람보다 더욱 촘촘한 권한 위임, 보안 통제가 중요하다. 해외에서는 이미 AI 에이전트 관리(AIM)이라는 모델이 있다. AI 에이전트에 대한 연구, 표준 작업에 이미 착수했다고 볼 수 있는 것이다. 사용자가 AI 에이전트에 주는 역할, AI 에이전트끼리의 보안 통제 등의 모든 영역이 전체적으로 관리돼야만 한다. 이와 관련해 라온시큐어도 AI 에이전트의 신원 관리에 대한 개발에 착수했다. - 염흥열 교수: AI 에이전트는 서로 소통하기 때문에 신원이 할당돼야 한다. 또한 신원에 대한 인증이 필요하다. 이와 더불어 인증 과정을 거치면 접근 통제 목록 등을 통한 접근 통제 역시 필요하다. 누구로부터 무엇을 어디까지 위임받았는지에 대한 위임 증명 검증도 필요하다. 이 외에도 메시지 무결성, 기밀성, 감사 추적 기능, 이상행위 탐지 등의 기능도 구현돼야 한다. -박하언 CTO: 레드티밍 관점에서 AI 에이전트 모델에 대한 공격, AI 에이전트를 악용한 공격 등에 대한 연구와 솔루션이 필요한 시점이다. 가장 중요한 점은 AI 모델 가드레일에 발견된 취약점이 빠르게 반영되도록 하는 것이다. -김창오 PM: 지난해부터 IITP는 AI 보안에 대한 중요성을 인지하고 'AI 에이전트 신뢰성과 안전성 확보를 위한 자율 통제 및 선제적 억제기술 개발'을 포함해 AI 보안을 위한 다양한 연구를 위하여 AI 생태계 내재화를 위한 핵심 기술 개발 과제를 5년간 진행할 예정이다. - 사회자: 세계속 한국 AI 에이전트 보안의 기술 현주소는. - 박하언 CTO: AI 에이전트 보안 수준은 국내 스타트업도 글로벌한 경쟁력을 갖추고 있다고 본다. 에임인텔리전스를 포함해 5~6개 스타트업이 경쟁력을 갖췄다. 미국 회사들은 AI 모델을 커스터마이징하는 기능이 없다. 이에 수출 시 해당 국가에 특화된 형태로 모델을 구축할 수 없다는 단점이 있다. 국내 기업들은 이런 한계를 극복해 나가는 데 초점을 맞춘다면 AI 에이전트 관련 세계 무대에서도 성과를 낼 수 있을 거라 예상한다. - 이정아 대표: AI 에이전트 시장이 현재도 급변하고 있는 시장이고 새로 생겨난 시점이기 때문에 한국이 많이 뒤처져 있다는 생각이 들지 않는다. 다만 AI 에이전트 표준들이 제정돼야만 공격적으로 시장을 개척할 수 있을 것으로 예상한다. - 염흥열 교수: AI 에이전트의 연구개발도 중요하지만 표준이 먼저 정의될 필요성이 있다. AI 에이전트 국제표준을 현재 설정하는 작업에 들어갔다. 지금부터 3~4년 후에는 표준이 제정될 것으로 보인다. - 김민수 대표: 현재 AI 에이전트 모델 자체가 어떻게 작동하는지 메커니즘이 명확하지 않다. 향후에는 AI 에이전트들이 존재하는 사이버 공간의 분위기를 좋게 조성하기 위한 노력들이 이어지고, 선한 AI 에이전트를 어떻게 만들어낼 수 있는지 논의가 필요하다. 기술적 측면에서 LLM 의 작동 메카니즘을 정확히 모르니 제어하는 것이 쉽지 않지만, 최근 설명가능한 AI(Xai) 연구가 진행되고 있는 것으로 알고 있는데, 보안과 연계한 연구가 추가되면 좋을 것 같다. 사회적측면에서 몰트북과 같은 사이버공간을 정화 할 수 있는 사이버공간의 정화가 필요하다. 또한 사이버공간에서의 탐지를 위해 예측 에이전트를 참여시키고, 어떻게 정화•탐지•예측하는 효과를 높일 수 있는지 연구하는 것이 필요해 보인다.
