검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI안전연구소'통합검색 결과 입니다. (15건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

AI 위험 검증 강화하는 주요국…韓 안전 평가 인력 6명뿐

국내 인공지능(AI) 안전 평가를 담당하는 AI안전연구소의 기술 평가 인력이 6명에 불과한 것으로 나타났다. 미국과 영국, 일본이 전문인력과 연산 자원을 늘리는 가운데 국내 AI 안전 평가 역량도 강화해야 한다는 지적이 제기됐다. 28일 국회 과학기술정보방송통신위원회 소속 이정헌 더불어민주당 의원이 과학기술정보통신부와 AI안전연구소에서 제출받은 자료에 따르면 연구소 AI 안전 평가실 인력은 7명뿐이었다. 법제·규범 담당자 1명을 제외하면 실제 AI 모델을 기술적으로 평가하는 인력은 6명이다. 이들은 고성능 AI 모델이 어떤 위험한 능력을 갖췄는지 직접 시험한다. 해킹이나 사이버 공격에 악용될 수 있는지, 생물학적 위험 정보를 제공하는지, 개발사가 적용한 안전장치를 우회할 수 있는지 등을 모델을 직접 구동하며 검증한다. 미국에서는 고성능 AI 모델 위험성을 직접 검증해 결과를 공개하고 있다. 미국 국립표준기술연구소(NIST) 산하 AI표준혁신센터(CAISI)는 지난 7월 중국 AI 기업 Z.ai(옛 지푸AI)의 GLM-5.2를 평가했다. 사이버 공격 지원 능력과 생물학적 위험, 안전장치 우회 가능성 등을 시험했다. 주요국은 AI 안전 평가 인력도 늘리고 있다. 의원실 자료에 따르면 미국의 관련 인력은 34명으로 향후 80명까지 확대할 계획이다. 일본도 현재 31명에서 올해 60명으로 늘린 뒤 장기적으로 200명 규모까지 확대할 방침이다. 영국 AI안보연구소는 전체 인력이 약 200명이다. 연구소가 공개한 현황을 기준으로 기술 인력만 100명을 넘는다. 첨단 AI의 사이버 공격 능력과 화학·생물학적 위험, 자율적인 행동 등 국가안보와 공공안전에 영향을 줄 수 있는 위험을 평가하고 있다. 김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "현재 AI 평가 기술에서는 영국이 가장 앞서 있다"며 "한국도 영국을 따라잡기 위해 평가 역량을 강화하고 있다"고 말했다. 김 소장은 AI 안전 평가가 향후 국제적인 AI 규칙을 논의하는 과정에서도 중요해질 것으로 내다봤다. 그는 "AI 발전 속도가 빨라지면서 모델을 통제할지 판단하기 위한 평가가 중요해지고 있다"며 "이 과정에서 객관적인 국가 기관인 각국 AI안전연구소의 역할이 많이 거론되고 있다"고 설명했다. AI 안전과 신뢰성을 평가할 전문인력을 키우려는 움직임은 민간에서도 나타나고 있다. 씽크포비엘은 관련 전문가 양성 교육을 운영하면서 신뢰할 수 있는 인공지능 국제연대(TRAIN)와 함께 AI 개발 과정에서 신뢰성을 검증하는 해커톤 등도 진행하고 있다. 박지환 씽크포비엘 대표는 "국내에 AI 인재·반도체·보안 인력 양성 사업은 있지만 AI 신뢰성 전문인력을 키우는 커리큘럼과 실습 과제, 평가 체계를 갖춘 사업은 부재하다"며 "AI 위험을 사전에 준비하는 능력이 AI 경쟁력을 좌우할 수 있으므로 관련 인재 양성이 꼭 필요하다"고 강조했다. AI 모델을 직접 시험하려면 전문인력뿐 아니라 이를 구동할 컴퓨팅 인프라도 필요하다. 고성능 모델에 다양한 공격을 시도하고 안전장치가 제대로 작동하는지 반복적으로 검증하려면 상당한 연산 자원이 필요하기 때문이다. 의원실 자료에 따르면 국내 AI안전연구소가 활용하는 그래픽처리장치(GPU) 서버는 5대다. 이 가운데 2대는 민간 클라우드에서 임차해 사용하고 있다. 의원실은 현재 인프라로는 조 단위 매개변수를 가진 초거대 AI 모델이나 안전장치의 제약을 받지 않는 모델을 충분히 검증하는 데 한계가 있다고 지적했다. 영국은 국가 차원의 컴퓨팅 인프라를 안전 평가에 활용하고 있다. 의원실 자료에 따르면 영국 AI안보연구소는 15억파운드 규모의 국가 컴퓨팅 자원에 우선 접근할 수 있다. 예산에서도 차이가 나타났다. 의원실 자료에 따르면 한국 올해AI안전연구소 예산은 89억원이다. 영국은 약 1216억원, 미국은 약 232억원이며 일본은 추가경정예산을 통해 관련 예산을 800억원 이상으로 늘렸다. 현재 AISI는 한국전자통신연구원(ETRI) 부설 연구소로 운영되고 있다. 이 의원은 이 같은 조직 구조로는 전문인력 확보와 독립적인 안전 평가에 한계가 있다며 AI 기본법을 개정해 AISI에 독립적인 예산과 인사권을 부여해야 한다고 주장했다. 이 의원은 "가시화된 위협에 대응하기 위한 AI 안보 체계 구축을 위해 AI 기본법 개정이 필요하다"며 "AI안전연구소에 법적 독립성을 부여하고 독자적인 예산과 인사권을 보장해 실질적인 대응 역량을 강화해야 한다"고 말했다.

2026.09.28 14:10김동원 기자

AI 위험 검증하는 나라로…韓, '제3자 평가국' 노린다

인공지능(AI) 경쟁이 모델 성능을 넘어 누가 위험을 판단할 것인지로 번지고 있다. 미국과 중국이 프런티어 AI 경쟁을 주도하면서 양국이 서로의 시스템을 직접 검증하기 어려울 경우 제3국이나 국제기구가 평가를 맡는 방안도 거론되고 있다. 김명주 AI안전연구소장은 23일 지디넷코리아와의 통화에서 "미국과 중국 사이에서 제3국의 평가가 필요해지는 상황이 온다면 우리가 나서겠다는 생각을 갖고 있다"며 "다만 아직은 앞서가는 시나리오이자 희망 사항일 뿐 실제 역할을 맡으려면 프런티어 AI 기술과 평가 역량을 갖춰야 한다"고 강조했다. 국제적으로도 프런티어 AI를 공동 평가하고 위험 정보를 공유하려는 움직임이 이어지고 있다. 오픈AI는 21일(현지시간) 한국 등 각국 AI안전연구소가 참여하는 협력망을 활용해 평가 결과를 공유하고 공통 기준을 마련하는 방안을 제안했다. 미중 AI 안전 협의 시작…검증은 누가 최근 AI 개발 속도와 안전을 둘러싼 논쟁이 커지면서 미국과 중국 사이에서도 AI 안전 문제가 의제로 떠올랐다. 양국은 정상회담을 앞두고 관련 논의를 시작했다. 미국은 중대한 AI 사고가 발생할 경우 서로 알리는 통보 체계를 중국 측에 제안했지만 중국은 아직 구체적인 입장을 밝히지 않은 것으로 알려졌다. 김 소장은 "위협의 신호가 보이면 서로 핫라인을 개설해 이야기하고 협의하자는 논의까지 나오고 있다"고 말했다. 통보 체계가 만들어져도 상대국 AI 위험을 누가 확인할지는 남는다. 미국이 중국의 핵심 AI 시스템을 직접 들여다보거나 중국이 미국의 모델을 검사하기는 쉽지 않아서다. 김 소장은 장기적으로 핵확산금지조약(NPT)과 비슷한 국제 통제체제가 AI에서도 등장할 가능성을 거론했다. 실제로 미국과 중국의 안보 전문가 사이에서도 핵 군축과 유사한 안전장치와 위기 소통 채널을 AI에 적용하자는 제안이 나왔다. 한국은 국제 평가체계가 만들어질 경우 참여하겠다는 뜻도 전달했다. 김 소장은 지난 8월 국제 AI 평가 협력망을 조정하는 영국 측과 의견을 나눴고 각국 AI안전연구소가 함께 참여하는 방식이라면 한국도 적극 참여하겠다는 입장을 밝혔다. 이 분야에서 가장 앞서 있다는 평가를 받는 곳은 영국이다. 영국 AI안전연구소는 2023년 11월부터 프런티어 AI를 직접 평가해왔다. 사이버와 생물안보 등 국가안보·공공안전 분야에서 첨단 모델을 반복적으로 시험하면서 평가 방법과 데이터를 축적했다. 김 소장은 영국이 현재 프런티어 AI 평가 기술에서 가장 앞서 있다고 진단했다. 김 소장은 AI안전연구소도 지난 2년간 영국의 평가 기술을 따라잡기 위해 관련 역량을 쌓아왔다고 설명했다. 그는 "한국은 AI 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 강조했다. 국제 논의 발언권, 결국 '경험'에서 나온다 AI 안전 논의에서 한국의 발언권을 키우려면 기술력과 함께 실제 현장에서 쌓은 경험도 중요하다는 지적이 나온다. 박지환 씽크포비엘 대표는 "아직 AI가 실제 현장에서 어떤 문제를 얼마나 자주 일으키는지 충분히 축적되지 않았는데 머릿속에서 만든 기준이 처음부터 정확할 것이라고 기대하기는 어렵다"고 말했다. 그는 혈압 기준을 예로 들었다. 어느 수준부터 치료에 개입할지를 수많은 임상 경험과 데이터를 거쳐 정해온 것처럼 AI도 실제 적용과 실증을 반복하면서 기준을 다듬어야 한다는 설명이다. 박 대표는 "한국이 표준에 대한 현장 실증을 많이 하는 나라가 되는 것이 중요하다"며 "국제기준을 실제 산업과 공공현장에 적용해 무엇이 맞고 무엇이 부족한지를 지속적으로 제시해야 한다"고 강조했다. 현장 경험과 별개로 국제적으로 통용될 표준은 공적인 절차와 합의를 거쳐야 한다. 전종홍 한국전자통신연구원(ETRI) 표준연구본부 책임연구원은 "오픈AI나 앤트로픽이 '표준'이라는 용어를 많이 쓰지만 그렇게 쓴다고 그냥 표준이 되는 것은 아니다"라며 "문서를 만드는 것과 권위를 만드는 것은 다르다"고 밝혔다. 박 대표는 "이런 경험과 데이터가 축적되면 한국의 의견에 무게가 생기고 더 많은 국제 실증과 표준화 논의의 중심에 설 기회가 생긴다"며 "기준을 받아들이는 나라보다 기준이 현실에서 작동하는지를 증명하고 개선하는 나라가 AI 안전 논의의 중심에 설 것"이라고 말했다.

2026.09.23 10:43김동원 기자

오픈AI "AI 국제표준, 미국이 주도해야"

오픈AI가 미중 정상회담을 앞두고 미국이 차세대 인공지능(AI)의 국제표준 수립을 주도해야 한다고 촉구했다. 21일(현지시간) 오픈AI는 자사 블로그에 'AI의 다음 단계를 위한 표준 구축'이라는 글을 올리고 미국이 세계 각국과 협력해 최첨단 AI의 글로벌 기술표준 마련을 이끌어야 한다고 밝혔다. 오픈AI는 국가마다 AI 평가와 사고 보고 기준이 다르면 위험이 발생했을 때 공동 대응이 어려워질 수 있다고 지적했다. 최첨단 AI 개발 역량과 전문성도 일부 국가에 집중돼 있어 국가 간 공통 기준이 필요하다고 강조했다. AI 연구 자동화도 국제표준이 필요한 이유로 제시했다. AI가 다음 세대 모델 개발에 더 많이 참여하면 연구 결과가 다시 AI 개발에 활용될 수 있다. 오픈AI는 이런 '재귀적 자기개선(RSI)'이 늘어날수록 AI 발전 속도도 빨라질 수 있다고 경고했다. 아직 사람이 빠진 채 AI가 스스로 이런 과정을 반복하는 단계에 이른 것은 아니다. 다만 자동화가 지나치게 빨라지면 사람이 연구 과정을 이해하지 못해 AI 개발을 제대로 통제하기 어려워질 수 있다. 오픈AI는 국제표준에 AI 연구가 얼마나 자동화됐는지 측정하는 기준과 사람이 개입해야 할 시점, 사고가 발생했을 때 이를 분류하고 보고하는 절차를 담자고 제안했다. 표준 마련에는 한국을 비롯해 호주, 캐나다, 독일, 프랑스, 케냐, 일본, 싱가포르, 인도, 영국의 AI 안전연구소와 관련 기관을 활용하는 방안을 내놨다. 미국 인공지능 표준혁신센터(CAISI)와 각국 기관이 협력해 AI 성능 평가와 위험 관리에 필요한 공통 기술기준을 마련하자는 구상이다. 다만 이를 AI 모델 출시 전 정부 승인을 받도록 하는 규제로 만들자는 것은 아니다. 공통 기술기준을 실제 법과 제도에 적용할지는 각국 정부가 결정하도록 했다. 미국이 국제표준 마련을 이끌어야 하는 이유로는 기술력과 국제 영향력을 들었다. 미국이 최첨단 AI 개발을 주도하고 금융과 무역, 국방, 기술, 정보시스템 등에서 세계 각국과 연결돼 있어 국제 규칙을 만드는 데 유리하다는 주장이다. 오픈AI는 앞으로 AI 경쟁이 누가 더 뛰어난 모델을 개발하느냐에 그치지 않을 것으로 전망했다. 각국 기업과 사회가 어떤 기준 아래 AI를 도입하고 확산할지 정하는 규칙까지 경쟁 영역으로 넓어질 수 있다고 내다봤다. 이번 제안은 미국과 중국이 AI 안전 문제를 양국 간 의제로 다루기 시작한 가운데 나왔다. 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석은 오는 24일 워싱턴에서 정상회담을 갖고 AI와 무역 등 주요 현안을 논의할 예정이다. 앞서 스콧 베선트 미국 재무장관과 허리펑 중국 국무원 부총리는 20일 뉴욕에서 AI 안전 문제를 논의했다. 미국은 국가안보에 영향을 줄 정도의 AI 사고가 발생하면 양국이 서로 알리는 체계를 제안했고 양측은 관련 대화를 이어가기로 했다. 오픈AI는 "미국과 중국 간 대화는 긍정적인 조치가 될 것"이라며 "지금 주도권을 잡아야 미국이 글로벌 AI 체계를 형성할 수 있다"고 밝혔다.

2026.09.22 15:32김동원 기자

북한 해커도 AI로 무장…"연말 AI 에이전트 공격 가시화"

북한과 중국 등 국가 배후 해킹조직의 인공지능(AI) 활용이 늘어나는 가운데 올해 말에는 AI 에이전트를 활용한 사이버 공격이 본격적으로 나타날 수 있다는 전망이 나왔다. 8일 IT업계에 따르면 북한과 중국 연계 해킹조직이 AI를 정보 수집과 악성코드 개발, 공격 자동화 등에 활용하는 움직임이 잇따라 포착됐다. 특히 한국을 주요 표적으로 삼아온 북한 해킹조직까지 외부 서비스에 의존하지 않는 로컬 AI 환경을 구축하며 관련 역량을 키우고 있는 것으로 나타났다. 김명주 AI안전연구소장은 본지와의 통화에서 "북한과 중국 등 국가 배후 해킹조직의 AI 에이전트 활용 공격이 올해 말 가시화될 것"이라고 전망했다. 이어 "취약점을 탐색하는 데 막대한 토큰이 쓰이는 만큼 이를 뒷받침할 컴퓨팅 파워가 충분한지가 변수가 될 것"이라고 말했다. 이 같은 전망의 배경에는 빠르게 높아진 AI 에이전트의 사이버 공격 수행 능력이 있다. 최근 AI 에이전트는 사람의 단계별 지시 없이 공격 대상을 탐색하고 취약점을 찾아 검증한 뒤 공격 코드를 만드는 작업까지 수행하는 수준으로 발전했다. 구글 위협정보그룹은 지난 5월 AI로 개발된 것으로 판단되는 제로데이 공격 사례를 처음 확인하기도 했다. 북한 정찰총국 산하 해킹조직으로 알려진 '김수키'에서도 AI 활용 움직임이 확인됐다. 국내 사이버보안 기업 지니언스가 지난달 10일 공개한 분석에 따르면 김수키와 연관된 시스템에서 로컬 거대언어모델(LLM)을 구동·관리하는 '올라마'와 'GPT포올', '엠스티' 등이 발견됐다. 검색증강생성(RAG) 환경과 AI 에이전트 개발 프레임워크, AI 코딩 도구 '커서'를 사용한 흔적도 나왔다. 로컬 LLM은 외부 AI 서비스에 데이터를 보내지 않고 자체 시스템에서 모델을 구동할 수 있다. 지니언스는 김수키가 기존 AI 모델을 악성코드 개발과 자료 분석, 공격 자동화 등에 접목하기 위한 연구와 기술 검증을 진행하는 것으로 분석했다. 김수키와 북한의 연관성을 뒷받침하는 정황도 확인됐다. 시스템에 남은 입력 기록에서는 '싸이트', '가입리력', '로출되였는지' 등 북한식 표현이 발견됐다. 올해 초부터는 생성형 AI로 제작한 것으로 추정되는 가상자산·금융 분야 문서를 스피어피싱 미끼로 활용한 정황도 포착됐다. 다만 김수키가 자체 AI 모델을 개발하거나 파인튜닝한 증거는 확인되지 않았다. 공개된 모델과 관련 기술을 공격 과정에 활용하기 위한 역량을 축적하는 단계라는 게 지니언스의 분석이다. 김수키는 2010년대 초부터 한국을 주요 공격 대상으로 삼아온 조직이다. 정부기관과 관련 전문가 등을 사칭해 이메일을 보내 계정정보를 빼내거나 악성코드 감염을 유도하는 스피어피싱 공격을 지속해왔다. 기존에 한국을 겨냥하던 조직이 AI를 공격에 활용하기 위한 준비에 나선 셈이다. 중국계 해킹조직에서도 AI를 활용한 공격이 빠르게 늘고 있다. 대만 사이버보안 기업 팀T5에 따르면 중국 정부 연계 해킹조직들은 딥시크 등 AI를 반복 작업과 악성코드 개발 등에 활용하면서 공격 횟수를 이전보다 두 배 이상 늘렸다. 중국계 해킹조직 '그림펑시'는 딥시크로 공격 코드를 제작했다. '텔레보이'는 딥시크를 이용해 인터넷에서 IP 주소 1000개를 수집하고 공격 대상 도메인을 파악했다. 찰스 리 팀T5 수석분석가는 블룸버그에 딥시크가 강력한 성능을 갖춘 데 비해 사이버 보안 안전장치가 느슨해 중국 해커들이 선호한다고 설명했다. 미국 AI 모델은 해커들의 수요가 높지만 안전장치가 엄격해 이를 우회하려면 더 많은 노력이 필요하다고 덧붙였다. 김 소장은 "중국 AI는 세이프가드가 낮기 때문에 사이버 방어에 활용하기 좋지만 거꾸로 공격에도 유리하다"며 "오픈웨이트 모델은 별도의 도움을 받지 않더라도 북한이 가져다 활용할 수 있다"고 밝혔다. 이어 "AI를 통한 사이버 공격을 막으려면 결국 AI로 방어하는 수밖에 없다"며 "사람이 일일이 손으로 막을 수 있는 시대는 지났다"고 말했다. AI를 이용한 공격이 고도화되면서 공격 도구 자체를 차단하는 것보다 공격 징후를 빠르게 찾아 대응하는 체계가 중요하다는 지적도 나왔다. 양종헌 S2W 통합분석실장은 "공격자가 사용하는 도구를 원천적으로 차단하는 것은 AI 이전부터 어려운 문제"라며 "사이버위협인텔리전스(CTI)를 통해 사전 징후를 파악하고 관제로 공격 개시 시점을 빠르게 확인·차단하는 대응이 중요하다"고 설명했다. 양 실장은 기업 차원에서는 기존 보안체계를 활용한 피싱 공격 대응이 필요하다고 조언했다. 그는 "상용 피싱 방어 솔루션 등을 활용해 공격에 대비할 필요가 있다"고 강조했다.

2026.09.08 10:50김동원 기자

[현장] 김명주 AI안전연구소장 "국방 AI, 자율성 커질수록 '멈출 장치' 필요"

전장에서 인공지능(AI)이 스스로 판단하는 영역이 넓어지는 만큼 사람이 필요할 때 AI를 멈추고 확인할 수 있는 안전장치를 갖춰야 한다는 주장이 나왔다. 사람이 모든 판단에 개입하기 어려워지는 상황에 대비해 국방 AI에 '통제 가능성'과 '추적 가능성', '검증 가능성'을 확보해야 한다는 제안이다. 김명주 AI안전연구소장은 2일 서울 용산구 국방컨벤션에서 열린 '신뢰받는 국방AI' 세미나에서 "AI에 자율성을 부여하는 쪽은 갈수록 늘어날 수밖에 없다"며 "전쟁이나 군사 쪽에서도 지켜야 되는 인도주의적 원칙의 선이 뭘까 그런 부분을 찾는 게 필요하다"고 말했다. 전장에서는 AI가 맡는 역할이 갈수록 커질 전망이다. 각종 센서에서 들어오는 데이터와 고려할 변수는 많아지는 반면 공격이나 방어를 결정할 시간은 짧아지고 있어서다. 사람이 모든 정보를 직접 확인하기 어려워지면서 AI가 처리하고 판단하는 영역도 넓어진다. 사람에게 최종 결정권을 주는 것만으로 충분한지도 문제다. AI가 분석한 결과를 화면에 제시하면 짧은 시간 안에 결정을 내려야 하는 지휘관이 이를 그대로 받아들일 가능성이 있기 때문이다. 김 소장은 사람이 마지막 승인만 하는 데 그치지 않고 AI의 판단을 실제로 거부하거나 멈출 수 있어야 한다고 봤다. 이 때문에 그는 AI에 대한 최소한의 통제권은 사람이 가져야 한다고 강조했다. 모든 판단에 사람이 일일이 개입하기 어려워지더라도 AI의 작동을 중단하거나 부여된 권한을 줄이는 장치는 남겨두자는 취지다. 대표적인 안전장치로는 '킬 스위치'를 제시했다. 국내 AI 기본법에서는 이를 '비상정지 기능'으로 규정하고 있다. 김 소장은 비상정지 기능을 무기 내부에 두기보다 외부에서 작동할 수 있도록 하고 개발 단계부터 설계에 반영해야 한다고 강조했다. AI를 멈추는 것만큼 문제가 생긴 뒤 원인을 확인하는 것도 중요하다. 항공기가 비행 기록을 남기듯 국방 AI도 어떤 정보를 받아 어떤 판단을 내렸는지 기록해야 한다. AI가 제대로 검증되지 않은 영역이나 오류 가능성도 미리 남겨두면 사고가 발생했을 때 책임 소재를 확인하는 데 도움이 된다. 검증을 개발자와 운영자에게만 맡겨서는 안 된다고 봤다. 김 소장은 AI를 개발하고 사용하는 주체와 별도로 안전성을 확인하는 제3자의 역할이 필요하다고 강조했다. 그는 "완성된 윤리를 내장한 전쟁 AI는 아직 불가능하다"며 "아무도 가보지 않은 길"이라고 말했다. 이어 "국방 AI는 결국 국가를 위한 도구"라며 "인도주의 원칙에 따라 사용한다는 큰 틀에서 바라보는 게 가장 중요하다"고 밝혔다.

2026.09.02 17:26김동원 기자

[현장] "에이전틱 AI, 실행 중 평가 필수"…한·싱 '위험 관리 원칙' 내달 나온다

인공지능(AI)이 스스로 판단하고 행동하는 '에이전틱 AI' 시대가 본격화하면서 기존 거대언어모델(LLM) 중심의 안전 평가 체계로는 위험을 충분히 통제할 수 없다는 전문가 경고가 나왔다. 실행 환경에 따라 행동이 달라지는 에이전트 특성상 사전 정적 평가만으로는 한계가 있으며, 실행 중 동적 평가와 국제 표준 기반 검증 체계 구축이 병행돼야 한다는 지적이다. 김명주 인공지능안전연구소(AISI) 소장은 26일 서울 서초구 드림플러스 강남에서 열린 '2026 AI 세이프티 컴패스(2026 ASC)'에서 "에이전트는 목표를 세우고 계획하고 도구를 쓰고 행동하기에 전혀 다른 위험 완화 원칙이 필요하고 개발 단계 테스트만으로는 충분하지 않다"고 밝혔다. 김 소장은 다음 달 공식 발표를 앞둔 한-싱가포르 공동 에이전틱 위험 관리 원칙 초안을 이 자리에서 선공개했다. AISI는 지난해 12월 싱가포르 AI안전연구소와 업무협약(MOU)을 체결한 뒤 결제·글쓰기 등 도메인에서 에이전트 안전성 공동 평가를 진행해왔다. 초기 6개 도메인에서 현재 12개(한국 6개, 싱가포르 6개)로 확장됐으며 중간 성과를 국제 AI 학술대회 뉴립스(NeurIPS)에 제출할 계획이다. 해당 초안은 각국 기관의 에이전트 관련 가이드라인을 통합 정리한 메타 원칙서 성격으로, 범용인공지능(AGI)·일반 AI·에이전트를 구분해 설계·개발, 테스팅·배포, 운영·모니터링 등 3단계에 걸친 10가지 위험 완화 원칙을 담고 있다. 에이전트에 대한 최소 권한 부여, 신원 및 파생 관계 추적, 단계적 검증 배포, 공급망 위험 대응 및 복원력 확보, 실행 중 문맥 변화에 대한 동적 보증, 킬 스위치, 중요 의사결정 시 인간 개입 시점 확보 등이 핵심이다. 김 소장은 "이 원칙들은 모두 초기 단계이며 계속 바뀔 것"이라면서도 "결국 에이전트 환경하에서 표준이 자리를 잡고 그 표준을 중심으로 검증 체계가 구축되는 방향으로 갈 것"이라고 말했다. AISI는 이와 별도로 오픈소스 에이전트 환경 '오픈클로'와 에이전트 전용 사회관계망서비스(SNS) '몰트북'을 직접 구축해 글로벌 AI 모델 3종, 중국 모델 1종, 한국 모델 1종 등 5종에 대한 실제 공격 실험도 진행했다. 오픈클로 실험에서는 악성 명령 수행 여부, 민감정보 외부 유출, 도구 오남용 등 3개 영역을 측정한 결과 모델별 방어율이 최고 93.9%에서 최저 53.3%까지 편차가 컸다. 몰트북 실험에서는 에이전트 간 집단행동은 확인되지 않았으나 민감정보 유출 시도와 연산자원 낭비 유도 행위는 존재했다. 김 소장은 "상상 속 위험이 아니라 실제로 존재하는지 직접 돌려보고 측정해야 한다는 게 전 세계 AI 안전연구소들의 공통된 입장"이라고 설명했다. 앤트로픽 최신 고성능 모델 '미토스' 활용을 중심으로 한 국제 보안 공조 체계 '프로젝트 글래스윙' 참여 전망에 대해서는 조심스러운 입장을 내비쳤다. 미국 정부가 타 국가·기관의 참여를 통제하는 만큼 당장은 우리 정부 차원의 참여가 쉽지 않을 것이라는 전망에서다. 김 소장은 "하위 버전 AI 모델을 통해서라도 최대한 신속하게 취약점을 먼저 찾아내 패치하는 것이 지금으로서는 최선"이라고 말했다. 이어 "패치 자체가 역으로 취약점 분석에 악용될 수 있는 만큼 공개 시점과 방식에 대한 고민이 깊다"고 덧붙였다. 국제인공지능윤리협회(IAAE)가 주최한 이날 행사는 올해 3회차를 맞았으며, 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 부설 조직 AISI와 테크 스타트업 전문 홍보(PR) 에이전시 팀쿠키가 후원했다. 전창배 국제AI윤리협회 이사장은 개회사에서 "자율성을 가진 AI가 오류나 오판을 일으키거나 보안 문제에 노출될 경우 그 피해 규모와 파급력은 과거와 비교할 수 없을 만큼 커질 수 있다"고 말했다.

2026.05.26 14:36이나연 기자

[현장] "AI 보안이 혁신이자 안보"…AI안전연구소, 미국 랜드·마이터와 전략 공조

한국전자통신연구원(ETRI) 산하 인공지능(AI)안전연구소가 미국 글로벌 정책 싱크탱크 및 연구기관과 손잡고 AI 시스템의 안전성과 신뢰성을 확보하기 위한 방법론을 제시했다. AI안전연구소는 25일 서울 강남구 AC 호텔 바이 메리어트에서 미국 랜드 연구소(RAND), 마이터(MITRE)와 'AI 보안 워크숍'을 공동 개최했다. 이날부터 3일간 열리는 행사는 AI 시스템의 안전 확보를 중심으로 보안과 국가안보를 아우르는 위험 관리 체계를 공유하고, 적용 방안을 논의하기 위해 마련됐다. 현장엔 국내외 17개 기업과 외교부 등 4개 기관 소속 60여명이 참석했다. 첫날인 25일은 AI 위협 환경 조망과 생애주기 기반 보안, 보증 체계 논의 등 세 가지 주제 발표가 진행됐다. 첫 세션에서 랜드는 'AI 보안 가이드'를 통해 조직의 보안 태세를 진단하는 방법론을 공유했다. 특히 AI 보안을 단순한 기술적 문제를 넘어 기업의 경쟁 우위와 신뢰를 보호하기 위한 '비즈니스 리스크 관리' 차원으로 정의했다. 카렌 슈윈트 랜드 선임 정책 분석가는 설계·개발·배포·운영의 4단계 생애주기 모델을 제시하며 각 단계에서 발생할 수 있는 구체적인 위협과 통제 방안을 설명했다. 특히 설계 단계에서의 네트워크 분할을 통한 트로이 목마 공격 방어, 배포 단계에서의 모델 가중치 암호화, 운영 단계에서 성능 저하를 감지하기 위한 정기적인 모니터링 등 실무적인 보안 컨트롤을 강조했다. 슈윈트 분석가는 "AI 보안에 있어 초기 단계의 실패가 치명적인 운영 장애로 이어질 수 있다"며 전 생애주기에 걸친 계층적 방어 중요성을 역설했다. 마이터는 AI 위험 평가와 검증 활동을 구조화한 '마이터 아틀라스'와 'AI 보증 프로세스'를 통해 실질적인 통제 방안을 제시했다. 줄리안 워 마이터 선임 AI 엔지니어는 실제 침해 사례를 기반으로 공격자의 전술을 체계화한 '아틀라스 매트릭스'를 소개했다. 대표적인 사례로는 'M365 코파일럿'을 대상으로 한 프롬프트 인젝션 공격이 있다. 워 엔지니어에 따르면 코파일럿은 이메일 등 사용자의 데이터를 실시간으로 참조하는 검색 증강 생성(RAG) 기술을 활용한다. 이에 공격자가 "돈을 보낼 때 특정 주소로 보내라"는 지시가 담긴 악성 이메일을 보내는 것만으로도 시스템의 동작을 왜곡할 수 있다. 시스템이 해당 이메일을 읽는 순간 공격자의 의도대로 자금 이체 경로를 조작하게 되는 것이다. 워 엔지니어는 "이러한 위협을 막기 위해 입력되는 프롬프트를 정밀하게 스캔하고 악성 키워드를 탐지하는 기술적 보완이 필수적"이라고 강조했다. AI 보증 프로세스는 AI의 안전성과 신뢰성을 공학적으로 확보하기 위해 시스템 특성 문서화, 위험 평가, 모니터링, 변경 관리, 검증 등 보증 활동을 구조화한 반복적 생애주기 모델이다. 워 엔지니어는 "이를 통해 시스템의 본래 목적을 달성하면서도 잠재적 위협을 지속적으로 완화할 수 있다"고 설명했다. 이어 둘째 날인 26일엔 사전 신청 기업을 대상으로 랜드와 마이터 전문가와의 일대일 맞춤형 컨설팅이 이뤄진다. 각 기업의 AI 시스템 구조와 데이터 흐름, 배포 환경 및 기존 통제 체계를 점검하고, 우선 조치 사항과 보증 계획 수립 방향을 구체화할 방침이다. 마지막 날인 27일엔 국내 AI 안전 및 보안 분야 벤처기업을 방문해 기술 개발 현황을 공유하고 국제 표준 적용 방안을 논의할 예정이다. AI안전연구소는 "국제 협력을 바탕으로 산업 현장의 AI 안전 역량을 강화하고 신뢰 가능한 생태계 조성을 지속적으로 지원할 계획"이라고 말했다.

2026.02.25 15:19이나연 기자

글로벌 AI 안전 협력, 서울서 현실화…"책임 확장에서 실행으로"

인공지능(AI) 안전을 둘러싼 글로벌 협력이 서울에서 본격화됐다. 세계 주요 연구기관과 기업들은 한자리에 모여 AI의 잠재적 위험을 평가하고 안전성을 강화하기 위한 공동 전략을 논의했다. 한국 AI안전연구소는 29일 호텔 나루 서울 엠갤러리 앰배서더에서 '2025 인공지능 안전 서울 포럼' 행사를 열고 AI 평가, 벤치마킹, 레드티밍(취약성 검증) 세션을 진행했다. 과학기술정보통신부가 주최하고 한국전자통신연구원(ETRI)이 공동 주관한 이번 포럼에는 ML커먼스, METR, 에포크AI, 퓨처오브라이프연구소(FLI), 옥스퍼드대 등 세계 주요 평가기관과 연구진이 참석했다. 특히 이날 포럼에서는 한국 AI안전연구소와 미국 AI 전문기업 스케일AI 간의 업무협약(MOU) 체결식이 진행됐다. 양 기관은 AI 평가, 레드티밍, 안전 연구 고도화를 위한 공동 협력 체계를 구축키로 했다. 이번 협약을 통해 양측은 실험적 안전 테스트를 비롯해 글로벌 평가 표준 수립에도 협력할 계획이다. 포럼 세션 발표에서는 AI 시스템의 실무 평가와 벤치마킹 전략이 논의됐다. ML커먼스의 숀 맥그리거 에이전틱 리드는 "모든 AI 모델들은 안정성을 갖추기 위해 독립적 감사와 공공 검증 절차를 거쳐야 한다"며 "AI 안전 생태계의 인재 부족도 시급히 해결해야 할 과제"라고 강조했다. 이어 METR의 사미 자와르 엔지니어링 총괄은 제3자 위험 평가(3PRA) 이니셔티브를 소개하며 AI 모델이 배포되기 전에 위험 신호를 감지하고 대응할 수 있는 프로세스가 필요하다고 제언했다. 또 AI 개발사뿐만 아니라 평가기관 간의 신뢰 협력도 강화돼야 한다고 주장했다. 이번 포럼에서는 실습 기반의 프론티어 AI 레드티밍 세션도 진행됐다. 참가자들은 최신 대규모 언어모델(LLM)을 대상으로 공격·방어 시나리오를 시뮬레이션하며 모델 취약성을 검증했다. 한국 AI안전연구소와 스케일AI가 공동으로 준비한 이 세션은 국제 협력 기반의 평가 훈련 프로그램으로 주목받았다. 아울러 이날 행사에는 앤트로픽도 참석해 '책임 있는 확장 정책'을 중심으로 한 AI 안전 프레임워크를 공개했다. 앤트로픽 니타르샨 라즈쿠마르 국제정책 리드는 "AI 기술의 잠재력이 커질수록 그만큼 재난적 위험에 대한 대비가 중요하다"며 "우리의 원칙은 적절한 안전 조치 없이 위험한 수준의 AI 모델을 훈련하거나 배포하지 않는 것"이라고 말했다. 앤트로픽은 모델의 역량이 높아질수록 보안과 검증 수준을 단계적으로 강화하는 계층형 안전 관리 체계를 운영 중이다. 이 체계는 생물학 분야의 바이오시큐리티 등급 시스템을 참고해 위험도가 높은 모델일수록 더 엄격한 보호조치를 적용하는 방식이다. 라즈쿠마르 리드는 "우리는 내부 레드팀을 운영하며 미국과 영국의 AI안전연구소, 제3의 독립 기관과 협력해 위험 평가를 진행하고 있다"며 "최근 유럽연합(EU)과 미국, 한국 등의 국가들도 자율적 안전 약속에서 법적 의무로 전환하며 AI 안전 프레임워크 공개와 검증을 요구하는 법제화를 추진 중"이라고 말했다. 이어 "외부 검증은 개발 속도를 늦추는 것이 아니라 오히려 안전한 배포를 가속화하는 과정"이라고 강조했다.

2025.10.29 14:02한정호 기자

글로벌 AI안전 전문가들 "AI 규제와 혁신, 함께 가야 한다"

"인공지능(AI) 안전이 혁신을 가로막아선 안 됩니다. 신뢰를 기반으로 한 책임 있는 생태계가 중요합니다." 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼' 라운드테이블에서 이같이 말했다. 그는 AI 안전을 단순히 규제의 영역으로만 보지 말아야 한다고 지적하며 AI 기술의 혁신과 안전이 균형을 이루는 선순환 구조를 만드는 것이 목표라고 강조했다. 이날 라운드테이블은 'AI 안전 거버넌스의 실행'을 주제로 각국 정부·연구기관·산업계 관계자들이 한자리에 모여 현실적인 협력 방안을 논의했다. 좌장은 박세아 국가AI전략위원회 안전신뢰팀장이 맡았고 유럽연합(EU)·일본·싱가포르·한국 등 주요국의 AI 안전 기관 관계자들이 패널로 참여했다. 라운드테이블의 첫 화두는 규제와 혁신의 균형이었다. 먼저 윌프레드 부국장은 "싱가포르는 AI 전담 법률을 제정하기보다 기존 산업 규제를 보완해 AI 시대에 맞게 확장 적용하는 방식을 취하고 있다"고 밝혔다. EU는 보다 체계적인 규제 접근법을 소개했다. 라이너 베셀리 주한 유럽연합대표부 디지털·리서치 담당 참사관은 "AI 모델이 제어 불가능한 형태로 발전한다면 그것은 기술 문제가 아니라 사회 전체의 리스크"라고 경고했다. 그는 "EU AI법은 기본권을 침해하거나 사이버 공격에 악용될 수 있는 모델을 금지하는 것이 핵심"이라며 위험 수준에 따라 AI 시스템을 단계적으로 관리하는 프레임워크를 설명했다. 이어 "AI가 노동시장에 미치는 영향도 새로운 정책 변수로 보고 있다"며 "규제의 목적은 혁신을 막는 것이 아니라 사회적 효용과 위험을 함께 관리하는 것"이라고 덧붙였다. 아키코 무라카미 일본 AI안전연구소장은 사회적 책임의 관점에서 접근했다. 그는 "AI 안전은 기술적 문제가 아니라 사회가 어떻게 책임 있게 기술을 수용하느냐의 문제"라며 "일본은 AI법 제정을 계기로 공공과 민간이 공동으로 안전 기준을 마련하고 있다"고 말했다. 김명주 한국 AI안전연구소장은 정부가 추진 중인 실증 중심 평가를 소개했다. 그는 "우리 정부는 AI 모델 평가 대회를 통해 실제 시스템의 안전성과 신뢰도를 검증하고 있다"며 "프라이버시 보호와 신뢰 확보를 중심으로 평가체계를 준비 중"이라고 밝혔다. 그러면서 "AI 사회로 전환하는 지금, 사회적 약자의 접근성을 높이는 것도 AI 안전의 한 축"이라며 "디지털 격차 해소 경험을 바탕으로 AI 포용성을 정책의 핵심 가치로 삼고 있다"고 강조했다. 좌장을 맡은 박세아 팀장은 AI 안전이 정부나 연구소만의 일이 아니라고 짚으며 산업계와 다양한 이해관계자의 참여를 촉구했다. 이에 윌프레드 부국장은 싱가포르의 민관 협력 사례를 소개했다. 그는 "각 기업이 스스로 테스트하고 검증할 수 있도록 샌드박스 환경을 운영 중"이라며 기업 책임성과 자율 규제를 병행하는 모델을 설명했다. 아울러 무라카미 소장은 기업 역할의 중요성을 강조했다. AI 안전에 대한 투자가 단순한 비용이 아니라 기업의 지속 가능성을 높이는 투자라는 설명이다. 특히 모든 기업이 지속가능발전목표(SDG)의 관점에서 AI 안전을 전략적으로 접근해야 한다고 제언했다. 글로벌 협력 방안에 대한 논의도 이어졌다. 베셀리 참사관은 "국제 협력의 핵심은 상호운용성과 공동 리스크 평가 체계"라며 "EU는 표준화 요청을 통해 AI 평가 도구를 공동 개발 중"이라고 설명했다. 이어 "각국이 같은 기준으로 위험을 평가할 수 있어야 진정한 글로벌 협력이 가능하다"고 덧붙였다. 이와 관련해 김명주 소장은 "국제 네트워크를 통해 공동 연구와 표준화를 강화해 나가겠다"고 밝혔다. 끝으로 "AI 안전은 특정 국가나 기업의 책임이 아니라 인류가 함께 구축해야 할 글로벌 과제"라며 "규제와 혁신이 조화를 이룰 때 비로소 지속가능한 AI 생태계가 완성될 것"이라고 강조했다.

2025.10.28 14:33한정호 기자

"AI 안전, 선택 아닌 필수"…서울서 글로벌 거버넌스 협력 '한목소리'

"인공지능(AI)은 인류가 만든 가장 강력한 발명이지만 그만큼 안전에도 두 배의 노력이 필요합니다." 김명주 한국 인공지능안전연구소장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼'에서 이같이 강조했다. 이번 포럼은 과학기술정보통신부가 주최하고 한국전자통신연구원·한국 AI안전연구소가 주관한 첫 글로벌 AI 안전 행사로, 세계 각국의 연구기관·정부·산업계 관계자 약 150명이 참석했다. 행사에서는 '보다 안전한 AI 세상을 향한 글로벌 협력'을 주제로 AI 안전 거버넌스·평가·레드티밍 등 국제적 협력 방향이 논의됐다. 개회식에서 송상훈 국가AI전략위원회 지원단장은 "AI 기술의 발전은 인류의 삶을 바꾸는 동시에 새로운 위험을 수반해왔다"며 "신뢰할 수 있고 안전한 AI를 확보하는 것은 앞으로 풀어나가야 할 시급한 과제"라고 말했다. 또 다음 달 공개 예정인 정부의 'AI 액션플랜'을 언급하며 "안전과 신뢰를 핵심 가치로 삼아 대한민국이 국제 AI 안전 네트워크의 일원으로서 책임을 다하겠다"고 강조했다. 행사 첫 번째 세션에서는 일본·싱가포르·유럽연합(EU)·한국 등 주요 국가의 AI 안전 기관 관계자들이 발표자로 참여해 각국의 정책과 연구 성과를 공유했다. 아키코 무라카미 일본 AI안전연구소장은 "2023년 G7 히로시마 정상회의 이후 각국이 AI 안전 프로세스 구축에 속도를 내고 있다"며 "일본 역시 AI 안전 표준 수립과 산업 간 협력 허브로서 역할을 강화하고 있다"고 설명했다. 이어 "AI 안전은 기술 자체뿐 아니라 활용 혁신과 균형을 맞춰야 한다"며 "데이터 품질 관리, 산업별 안전 가이드라인 제정 등 실질적 조치가 병행돼야 한다"고 덧붙였다. 두 번째 발표에서 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 "AI 안전이 혁신을 가로막아선 안 된다"며 "싱가포르는 신뢰를 기반으로 한 책임 있는 AI 생태계를 만드는 것이 목표"라고 밝혔다. 현재 싱가포르는 AI 기업이 자율적으로 안전 기준선을 설정하고 테스트할 수 있도록 'AI 그래파이트 파운데이션'을 운영 중이며 금융·헬스케어 분야에서 샌드박스를 통해 안전성 평가를 수행하고 있다. 윌프레드 부국장은 "에이전틱 AI 시대에는 자동화로 인한 편향이 심화될 수 있어 인간의 개입과 검토가 필수적"이라며 인간 중심의 AI 거버넌스 필요성을 강조했다. 영상으로 참여한 루실라 시올리 EU AI국장은 올해 8월부터 본격 적용된 'EU AI법'의 핵심 내용을 설명했다. 그는 "고위험 AI 시스템과 범용 AI 모델에 대한 규정을 통해 투명성과 안전을 확보할 것"이라며 "25개 이상 기업이 자발적으로 참여한 'AI 실천 강령'이 핵심 역할을 할 것"이라고 말했다. 시올리 국장은 "한국·싱가포르·미국 등과 AI안전연구소 네트워크를 통해 평가 방법론과 표준을 공유하겠다"며 국제 협력 의지도 드러냈다. 마지막 발표자로 나선 김명주 소장은 한국 AI안전연구소의 활동과 성과를 소개했다. 그는 우리나라의 AI 기본법 제12조를 언급하며 "우리 연구소는 법적 기반 위에서 AI 세이프티를 기술·정책·윤리 세 축으로 다루고 있다"고 설명했다. 또 "MIT의 AI 리스크 레퍼지토리를 바탕으로 리스크 맵핑 프로젝트를 진행 중이며 원인·결과·대응 주체를 3D 형태로 시각화해 잠재 리스크를 조기 식별 중이라"고 발표했다. 그러면서 "평가·정책·기술 검증을 통해 국내 기업 경쟁력을 높이는 동시에 글로벌 생태계의 안전 수준을 함께 높여나갈 것"이라고 말했다. 이번 포럼에는 ▲LG AI연구원 ▲네이버클라우드 ▲구글 딥마인드 ▲앤트로픽 ▲세이퍼 AI ▲스케일 AI ▲카르마 등 주요 기업·기관이 참여했다. 특히 한국 AI안전연구소와 스케일 AI는 업무협약을 체결해 레드티밍 협력을 본격화했다. 포럼 둘째 날인 오는 29일에는 프론티어 AI 모델을 대상으로 한 실습형 레드티밍 워크숍이 진행된다. 김 소장은 "안전하고 신뢰할 수 있는 AI를 만드는 것은 선택이 아니라 필수"라며 "AI 안전은 어느 한 나라나 기업의 몫이 아닌, 인류가 함께 만들어가야 할 글로벌 생태계의 과제"라고 강조했다.

2025.10.28 13:17한정호 기자

미국 AI안전연구소, '혁신' 간판 달고 재출범…트럼프식 '규제 철폐' 본격화하나

미국 인공지능 안전연구소(AISI)가 간판을 바꿔 달았다. 트럼프 행정부의 'AI 혁신 우선, 안전 최소화' 기조에 따라 정부의 개입 방향도 규제와 검열에서 산업 경쟁력 지원으로 급선회한 모양새다. 5일 미국 상무부 홈페이지에 따르면 하워드 루트닉 상무장관은 대통령 지시에 따라 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 개편한다고 발표했다. AI 표준 및 혁신 센터는 기존에 AI 안전연구소가 위치했던 국립표준기술연구소(NIST) 산하에 유지되며 평가와 시험을 통한 AI 기술 경쟁력 확보에 중점을 둔다. 상무부는 AI 표준 및 혁신 센터를 통해 신속히 발전 중인 상업용 AI 시스템의 역량과 보안성을 분석하는 데 초점을 맞춘다. 국가안보를 명분으로 삼았던 기존 규제 관행은 철회하고 기술 혁신을 저해하지 않는 방향으로 AI 거버넌스를 전환하겠다는 입장이다. 센터는 민간 AI 기업과 자발적 협약을 체결해 비분류 상태의 AI 기술을 공동 평가하고 사이버 보안과 생물·화학 무기 등 실질적 위협에 집중해 평가를 수행한다. 여기에는 미국 내 기업뿐 아니라 적성국 기술의 위협성까지 포함된다. 외국산 AI 기술이 국내 시스템에 혼입될 경우를 대비해 백도어나 은폐된 악성 행위 등 보안 취약성 여부를 점검하는 역할도 맡는다. 미국 내 기술뿐 아니라 외국 기술의 수용 과정과 국제 경쟁 상황을 정기적으로 분석한다. 더불어 센터는 국방부, 에너지부, 국토안보부, 과학기술정책실, 정보기관 등과 협력해 평가 방법론을 정립하고 공동 평가를 수행하게 된다. 국제 협의체에서는 미국 기술에 불리한 규제를 견제하는 동시에 국제 AI 표준에서 미국의 주도권을 강화하는 데도 주력할 계획이다. 조직 운영은 기존과 마찬가지로 국립표준기술연구소 내부에서 진행되며 정보기술연구소를 포함한 다른 산하 조직 및 상무부 산업안보국과도 긴밀히 협력할 예정이다. 하워드 루트닉 상무장관은 "너무 오랫동안 검열과 규제가 국가안보라는 이름으로 기술 발전을 막아왔다"며 "CAISI는 미국의 상업용 AI 기술이 자율성과 안전성을 동시에 확보할 수 있도록 주도권을 갖고 평가할 것"이라고 밝혔다. 다만 실질적인 변화는 크지 않다는 시각도 있다. 기존 AI 안전연구소가 수행했던 기능과 역할은 그대로 두고 간판만 바꿨다는 점에서 조직 개편보다는 브랜딩에 가깝다는 평가다. 한 업계 관계자는 "이번 개편의 경우 이름만 바꾸고 하는 일은 동일한 것으로 보인다"며 "약자가 캐나다 AI 안전연구소(CAISI)와 같단 면에서 조금 결례인듯 하다"고 말했다.

2025.06.05 14:44조이환 기자

'AI 안전성 확보 전략 포럼' 열린다

한국데이터법정책학회는 20일 오후 3시 한국프레스센터에서 'AI 안전성 및 신뢰성 확보를 위한 전략'이라는 주제로 제14회 AI 윤리법제포럼을 개최한다. 이날 포럼에서는 서울여대 정보보호학부 교수, 인공지능윤리정책 포럼 위원장을 지내고 현재 AI안전연구소 초대 소장을 맡고 있는 김명주 소장이 주제 발표를 맡았다. 포럼 회장인 이성엽 교수는 “한국에서도 AI 기본법상 안전성, 신뢰성 확보 규정이 도입됐고, 최근 딥시크 층격으로 인해 AI를 통한 정보보안 위험이 증대되고 있는 상황에서 AI 안전성과 신뢰성 확보를 책임지고 있는 기관의 전략을 듣고 향후 과제를 논의하는 의미 있는 세미나가 될 것이다”고 밝혔다. 한편 AI 윤리법제포럼은 AI 시대의 법제도와 윤리 이슈에 대해 논의하기 위한 전문가 모임으로 정기적으로 생성형 AI의 주요 윤리, 법제, 정책 이슈에 관한 세미나를 개최하고 있다. 1회 포럼에서 ▲생성 AI에서 윤리 이슈를 시작으로 ▲생성형 AI의 기술적 이해 ▲생성형 AI의 저작권 이슈와 과제 ▲생성형 AI의 개인정보의 이슈와 과제 ▲생성형 AI의 경쟁상의 이슈와 과제 ▲주요국의 AI 규제 현황과 시사점 ▲생성형 AI에서 가짜뉴스의 이슈와 과제 ▲생성형 AI에서 시큐리티 이슈와 과제 ▲디지털 통상과 인공지능 ▲생성형 AI 기술, 산업 동향과 시사점 ▲한국의 AI 반도체, 클라우드 전략 ▲AI 규제법의 국내외 동향 분석, 평가와 향후 과제 ▲AI 법제 및 거버넌스 개선방향 등의 주제를 다뤘다.

2025.02.13 14:22박수형 기자

"숨 가쁜 글로벌 테크 대전"…파리 AI 정상회의·사우디 리프 2025 연속 개최

인공지능(AI)과 첨단 기술의 미래를 둘러싼 글로벌 경쟁이 치열해지는 가운데 프랑스와 사우디아라비아에서 연이어 대규모 기술 행사가 열린다. 프랑스는 파리 AI 정상회의(AI Action Summit)를 통해 국제 AI 거버넌스와 협력 방안을 논의하고 사우디아라비아는 리프(LEAP) 2025를 통해 중동을 기술 혁신의 허브로 만들기 위한 전략을 본격화한다. 9일 업계에 따르면 프랑스와 사우디에서 잇달아 개최되는 이번 행사에는 전 세계 정부 관계자, 글로벌 테크 기업인, 학계 전문가들이 참석해 첨단 기술과 규제의 미래를 논의할 예정이다. 파리에서는 AI 기술의 윤리적 활용과 글로벌 협력을 강조되고 리야드에서는 AI·반도체·로보틱스·사이버보안을 중심으로 중동 테크 허브 도약이 추진될 예정이다. 한국도 두 행사에 적극적으로 참여한다. 파리 AI 정상회의에는 정부 차원의 지원이 두드러지며 과학기술정보통신부, 개인정보보호위원회, AI안전연구소 등이 참석해 AI 국제 거버넌스 논의에 힘을 보탠다. 사우디 '리프 2025'에서는 네이버가 맞춤형 AI 솔루션을 공개하고 국내 스타트업들이 중동 시장 진출을 모색한다. "AI 글로벌 규범 강화"…파리 정상회의, 거버넌스 논의 본격화 프랑스 정부는 오는 10일부터 이틀간 프랑스 파리 그랑팔레에서 인도 정부와 함께 '파리 AI 정상회의(AI Action Summit)'를 개최한다. 이번 회의는 AI 안전을 넘어 실천적 행동으로 전환하는 것을 목표로 하며 AI 기술이 개발도상국을 포함한 전 세계에 공정하게 혜택을 제공하도록 협력 체계를 구축하는 데 중점을 둔다. 파리 정상회의는 지난 2023년 영국 블레츨리 파크, 2024년 서울 정상회의에 이은 세 번째 글로벌 AI 정상회의다. 행사에는 80개국 이상이 참여하며 AI 국제 거버넌스·일자리 변화·보안 및 안전·공공이익·혁신과 문화 등 5대 핵심 의제를 중심으로 실질적인 정책과 행동 강령이 논의된다. 이번 회의에는 주요 국가 정상, 글로벌 기업 대표, 학계 전문가가 대거 참석한다. 에마뉘엘 마크롱 프랑스 대통령, 나렌드라 모디 인도 총리, JD 밴스 미국 부통령, 딩쉐샹 중국 부총리를 비롯해 샘 알트만 오픈AI 대표, 순다르 피차이 구글 대표, 얀 르쿤 메타 AI 수석과학자 등이 자리한다. 학계에서는 마이클 조던 UC버클리 교수, 에릭 브린욜프손 스탠퍼드 교수가 참석해 AI의 미래에 대한 논의를 이끈다. 국내에서도 정부 및 기업 대표단이 적극 참여한다. 유상임 과학기술정보통신부 장관, 고학수 개인정보보호위원장, 김명주 AI안전연구소장이 주요 세션에 참석하며 기업 차원에서는 전경훈 삼성전자 최고기술책임자(CTO), 최수연 네이버 대표, 김유철 LG AI연구원 전략부문장 등이 글로벌 AI 기술 경쟁력을 알릴 예정이다. 한국AI윤리학회와 정보통신산업진흥원(NIPA) 관계자들도 행사에 함께한다. 회의에서는 AI 안전성 강화를 위한 국제 보고서 발표와 사이버 위기 시뮬레이션이 진행되며 AI로 인한 직업 구조 변화에 대비한 재교육 방안도 논의된다. AI 데이터센터의 에너지 소비 문제를 해결하기 위한 다자간 협약이 추진되며 의료·기후변화 대응 등 50개 글로벌 AI 공공 프로젝트도 소개된다. 업계에서는 파리 정상회의를 통해 글로벌 AI 협력 체계가 한층 강화될 것으로 기대된다. 특히 프랑스는 구글, 메타, 미스트랄 등 AI 연구센터 유치를 확대하며 AI 허브로 도약하는 계기를 마련하고 있다. 한국 역시 반도체·플랫폼 분야의 강점을 바탕으로 글로벌 AI 표준화 논의에서 주도적인 역할을 할 것으로 보인다. 마크롱 프랑스 대통령은 "AI는 서부의 무법지대가 될 수 없다"며 "권리, 환경, 뉴스의 진실성, 지적 재산권을 보호하는 강력한 원칙을 담으면서도 완전히 자발적으로 모든 국가가 서명할 수 있는 선언을 만들기 위해 시도할 것"이라고 말했다. "사우디, 중동 테크 허브로"…'리프 2025'로 韓 기업 중동 진출 기회 확대 사우디아라비아 정부 역시 9일부터 나흘간 리야드 그랑팔레(엑스포센터)에서 국가 최대 IT 행사인 '리프(LEAP) 2025'를 통해 중동 최대 기술 혁신 플랫폼을 구축한다. 이 행사는 비전 2030 전략에 따라 사우디 경제를 석유 중심에서 기술 주도로 전환하는 데 중점을 두며 AI·로보틱스·사이버보안 등 첨단 기술 분야에서 글로벌 리더십을 강화하는 계기가 될 전망이다. 이 행사에는 1천800개 글로벌 테크 기업, 680개 스타트업, 1천명 이상의 글로벌 전문가가 참여한다. 사우디 통신정보기술부(MCIT)와 타할루프(Tahaluf)가 주최하는 이번 행사는 AI 기반 혁신 사례 전시 '딥페스트(DeepFest)', e스포츠 및 스포츠 기술을 다루는 '스포츠테크 트랙', 신기술을 직접 체험할 수 있는 '테크 아레나' 등 다양한 프로그램을 운영한다. 글로벌 테크 리더들도 대거 참석한다. 아르빈드 크리슈나 IBM 대표, 앨리슨 왜건펠트 구글 클라우드 대표 등이 기술 혁신 방향을 논의한다. 전 맨체스터 유나이티드 선수 파트리스 에브라, 전 아스널 선수 마티유 플라미니 같은 스포츠 스타들도 참여해 스포츠와 기술의 접점을 조명할 예정이다. 한국도 적극적으로 참여하며 사우디 시장 공략에 나선다. 네이버는 'AI 포 사우디아라비아, 파워드 바이 네이버'를 테마로 사우디 맞춤형 AI 모델과 자체 대형 언어모델 '하이퍼클로바X'를 선보인다. 또 사우디 국영기업과 디지털 트윈 플랫폼 협약을 체결하며 현지 시장 확대를 노린다. 리벨리온은 AI 반도체 기술을 공개하며 보안기업인 스패로우는 애플리케이션 보안 솔루션을 소개할 예정이다. 김유원 네이버클라우드 대표는 "각국의 문화와 정체성을 존중하는 기술력을 개발하겠다"며 "이로써 글로벌 시장에서 입지를 보다 강화할 것"이라고 강조했다.

2025.02.09 11:07조이환 기자

[AI 리더스] 김명주 AI안전연구소장 "AI 신뢰도 제고, 韓 기업 글로벌 성공에 필수"

"인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다고 봅니다. 결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이지요." 김명주 AI안전연구소(AISI) 초대 소장은 최근 기자와 만난 자리에서 정부와 기업이 협력해 AI 거버넌스를 강화하고 안전성을 확보해야 한다고 강조하며 이같이 말했다. 17일 업계에 따르면 글로벌 AI 산업이 빠르게 성장함에 따라 정부가 기술 혁신과 안전성·신뢰성 확보를 위한 법·제도 개선에 박차를 가하고 있다. 이같은 정책적 움직임을 뒷받침하기 위해 세워진 AI안전연구소의 김명주 소장은 연구소의 역할과 비전, AI 관련 글로벌 동향 및 기술 경쟁 속에서의 과제를 공유하며 AI의 안전성과 신뢰성을 높이기 위한 전략적 노력이 필수적임을 강조했다. "글로벌 기준 선도"…정책-기술 잇는 AI안전연구소 역할 AI안전연구소는 지난해 11월 전자통신연구원(ETRI) 산하로 출범해 국가 AI 정책 수립을 지원하고 기술의 빠른 발전이 가져올 안전성과 윤리적 문제를 해결하기 위해 박차를 가하고 있다. 현재 연구소는 ▲글로벌 정책 동향 분석 및 AI 위험 대응을 맡는 'AI안전정책 및 대외협력실' ▲위험 정의와 평가 프레임워크를 개발하는 'AI안전평가실' ▲딥페이크 방지와 AI 보안 기술 연구에 집중하는 'AI안전연구실'로 구성돼 있다. 연구소는 이러한 구조를 통해 독립적이면서도 유기적으로 '정책·평가·기술'을 통합 운영해 AI의 안전성과 경쟁력을 높이는 데 집중한다. 이 구조는 해외 AI 연구소들과의 차별점으로 지목된다. 영국·미국·일본·싱가포르 등 여러 국가에서도 AI안전연구소를 운영 중이지만 자본과 보유 기술의 한계 등으로 인해 기술과 정책을 통합적으로 다루는 경우가 많지 않기 때문이다. 김 소장은 "미국과 영국의 AI안전연구소는 리더십 자체가 정책 전문가나 비즈니스 전문가 중심인 경우가 많다"면서 "국내 우리 연구소는 정책·거버넌스뿐 아니라 기술과 표준화에도 동일한 비중을 두고 운영 체계를 마련했다"고 설명했다. 업계에서는 김 소장을 국내 AI안전연구소의 비전 실현에 적합한 리더로 평가한다. 정책과 기술 모두에 정통한 전문가로, 이 두 분야를 통합적으로 이끌어가는 데 강점을 지니고 있기 때문이다. 그는 지난 1993년 서울대에서 컴퓨터공학 박사 학위를 취득한 후 약 30년간 서울여대에서 정보보안을 가르치며 IT 윤리와 거버넌스 분야에서도 20년 이상 활동해왔다. 김 소장은 "사이버 보안을 비롯한 컴퓨터 공학이 원래 전문 분야지만 윤리와 거버넌스까지 함께 다룰 줄 아는 것이 연구소 운영에 큰 도움이 된다"며 "AI 문제는 결국 사람에게 미치는 영향을 종합적으로 살펴야 한다"고 설명했다. AI 신뢰성 위해 '전방위 리스크맵' 구축…다방면서 시민·국제 사회 조율 이러한 목적을 위해 AI안전연구소는 AI의 안전성과 신뢰성을 확보하기 위한 '전방위적 리스크 맵' 작업을 진행 중이다. AI의 위험을 종합적으로 분석하고 윤리와 안전을 모두 포괄하는 접근을 하기 위함이다. 현재 메사추세츠 공과대학(MIT) 등 다양한 글로벌 기관에서 리스크 맵을 발표했지만 대부분 개발자와 사업자 관점에 치우쳐 있어 윤리적·안전적 관점을 충분히 반영하지 못했다는 평가를 받고 있다. 기존의 난점을 극복하기 위해 연구소는 보안 개념을 중요한 연구 주제로 삼고 있다. 지난 2022년 오픈AI '챗GPT' 출시 직후 AI 안전에 대한 논의는 AI가 인류에게 존재론적 위협을 초래할 것이라는 '터미네이터형 리스크'에 집중됐다. 그런데 실제로 닥쳤던 현실적인 문제는 오픈AI의 오픈소스 버그로 인한 사용자 대화 기록 유출 사건이었다. 이후 170개 이상의 취약점이 패치되며 문제가 해결됐지만 이 사건은 AI 시스템의 취약성을 여실히 드러낸 사례로 평가된다. 김 소장은 "'챗GPT'의 경우 버그바운티를 통해 지난 2년간 취약점을 패치하면서 최근에야 비로소 문제를 해결했다"며 "AI 모델 내부의 취약점도 중요하지만 해커가 외부 네트워크를 통해 공격하지 못하도록 방어 체계를 갖추는 것이 필수적"이라고 강조했다. 이어 "연구소는 이를 위해 기술적 연구와 대응 방안을 적극적으로 개발 중"이라고 밝혔다. 또 그는 올바른 AI 안전 수립을 위한 시민과의 소통의 중요성을 강조했다. 딥페이크 문제, AI로 인한 일자리 위협 등과 같이 일반 시민들이 느끼는 공포가 증가하고 있는 상황에서 기술만으로는 이러한 문제를 해결할 수 없기 때문이다. 김 소장은 "사회적으로 큰 파장을 일으키는 문제에는 제도적·윤리적 지원이 필수적"이라며 "기술 발전뿐만 아니라 실질적인 해킹 문제와 시민이 느끼는 불안까지 고려한 전방위 리스크 맵을 만들고 있다"고 밝혔다. 연구소는 이러한 목표를 달성하기 위해 글로벌 협력과 표준화 작업에도 박차를 가하고 있다. 특히 AI 안전 표준화에 전문성을 가진 싱가포르 AI안전연구소와 협력해 AI 취약성 평가와 안전 프레임워크의 글로벌 기준을 마련하고 있다. 김 소장은 "싱가포르는 AI 이전부터 이미 표준화에서 상당한 전문성과 노하우를 보유한 나라"라며 "협력을 통해 국제적으로 통용될 수 있는 AI 안전 기준을 구축하고자 한다"고 설명했다. 국제 거버넌스 협력도 활발히 진행 중이다. 연구소는 오는 3월 프랑스 파리에서 열리는 AI 정상회의에 참가해 글로벌 AI 안전 거버넌스 구축에 기여할 예정이다. 선진국·개발도상국 간 AI 기술 지원과 AI 국제지구 설립이 주로 논의될 이 회의에서 김 소장은 OECD 산하 글로벌 AI 파트너십(GPAI) 자문위원으로서 이 회의에서 중요한 역할을 할 것으로 기대된다. 또 연구소는 다문화·다언어(MCML) 프로젝트를 통해 AI 모델의 언어적·문화적 편향을 분석하고 이를 교정하는 작업을 수행하고 있다. 이를 통해 AI의 공정성과 신뢰성을 강화하고 국가 간 갈등 예방과 문화적 조화에 기여할 기술을 개발 중이다. 김 소장은 AI의 안전과 신뢰성이 글로벌 경쟁력의 핵심이라고 강조했다. 그는 "EU AI 법처럼 강력한 규제를 충족하고 호환성을 보장할 수 있는 표준화는 국내 기업들이 유럽 시장을 포함한 글로벌 시장에서 경쟁력을 확보하는 데 필수적"이라며 "브뤼셀 기준과 호환 가능한 표준을 마련해 국내 AI 기술의 EU 시장 진출을 도울 계획"이라고 밝혔다. 또 그는 글로벌 시장에서 국산 AI의 성공 가능성을 낙관적으로 전망했다. 특히 미국과 중국 간의 기술 경쟁이 심화되는 상황에서 디지털 종속에 대한 우려를 가진 중동과 동남아시아 국가들이 한국을 제3의 대안으로 선택할 가능성이 높다는 분석을 내 놓았다. 기술 수준이 두 AI 초강대국에 비해 다소 뒤처지더라도 정치적 리스크가 이러한 선택에 결정적인 영향을 미칠 수 있다는 것이다. 그는 "한국은 데이터, 반도체, 인재, 기술 지원 역량 등 AI 개발의 필요조건을 이미 갖추고 있다"며 "다만 여기에 안전성과 신뢰성이 충분조건으로 작용할 때 국산 AI의 '소프트파워'가 글로벌 시장에 먹혀들 것"이라고 분석했다. 트럼프 당선·AI 기본법 통과…글로벌 AI 생태계 지각 변동 예고 김명주 소장은 AI 기본법 통과와 트럼프 당선이라는 두 가지 중요한 정치적·법적 변수에 대해서도 의견을 밝혔다. 그는 이 두 사안이 한국뿐만 아니라 글로벌 AI 시장과 연구소의 운영 전략에도 영향을 미칠 가능성을 시사했다. 트럼프가 미국 대통령으로 취임한 후 AI 규제가 느슨해질 가능성이 있느냐는 기자의 질문에 김 소장은 규제가 강화될 가능성을 언급했다. 이는 트럼프의 '아메리카 퍼스트' 정책이 자국의 AI를 자유롭게 발전시키는 동시에 다른 나라에는 철저한 제한을 목표로 할 수 있기 때문이다. 또 AI가 전략자원화 되는 현 시점에 적성국을 견제하기 위한 규제 조치를 취할수도 있다는 설명이다. 김 소장은 "트럼프의 미국은 자국이 AI 규제를 선도해야한다는 입장일 가능성이 크다"면서 "산업적인 측면에서의 '사다리 걷어차기' 전략과 안보 정책으로서의 규제를 강력히 도입할 가능성이 있다"고 예측했다. AI 기본법에 대한 분석도 이어졌다. 지난해 12월 국회를 통과한 이 법안은 업계에서 규제와 진흥의 균형을 맞추려는 시도로 평가받으며 대체로 환영받는 분위기다. 다만 일각에서는 치열한 경쟁 상황에서 규제를 최소화해야 한다는 반론도 제기하고 있다. 김 소장은 "AI 기본법은 산업과 안전 중에 산업에 방점을 찍은 법안"이라며 "EU AI법은 주로 규제 내용으로 구성돼 기업들이 숨 쉴 틈이 없는 것과 달리 우리 기본법은 산업 진흥에 70~80%, 규제에 20~30% 정도로 구성돼 기업 부담을 크게 줄였다"고 설명했다. 이어 "향후 시행령과 고시를 통해 보다 합리적인 조정이 가능할 것"이라고 덧붙였다. AI 기본법 통과에 따른 연구소의 소속과 독립 문제도 거론됐다. 현재 AI안전연구소는 ETRI 산하로 운영되고 있지만 법 통과로 인해 독립 기관으로서의 출범 가능성이 열렸기 때문이다. 이에 대해 김 소장은 "법적 가능성은 있지만 아직 결정된 바는 없다"고 밝혔다. 다만 올해 연구소는 ETRI 산하에서 지속적으로 성장할 계획이다. 현재 15명인 조직 규모는 올해 30명으로 증원될 계획으로, 오는 4월 진행될 채용에서는 7명을 새로 선발하며 이 중 5명은 정책·대외협력 분야, 2명은 평가·기술 분야 인재가 포함될 예정이다. 그럼에도 국가기관 특성상 인재 채용 조건의 제한은 아쉬운 점으로 지적된다. 기자 확인 결과 연구소는 ETRI와 마찬가지로 과학 분야 최고 수준의 논문으로 평가받는 SCI급 논문 작성 경험을 가진 연구자만을 선발한다. 이는 정책·거버넌스 분야에서의 채용에는 다소 비효율적일 수 있다는 업계의 비판을 받고 있다. 또 영국 AI 안전연구소가 연구자들에게 약 2억 원의 연봉을 지급하는 것과 비교해 상대적으로 낮은 처우를 제공한다는 지적도 있다. 이에 김 소장은 "국가 예산과 ETRI 구조상 처우를 대폭 개선하기는 어렵다"면서도 "다만 유능한 인재를 끌어들이기 위해 국가 공공기관 평균 연봉보다 2~3천만 원 더 지급해 물가 고려시 영국 연구소의 연봉 수준에 비견하는 수준의 인센티브를 지급하고 있다"고 말했다. 이어 "향후에도 ETRI와 함께 조율해 장기적으로 우수 인재 유치에 더 과감히 투자할 계획으로, 이들이 여기서 쌓는 경험도 개인 커리어에 큰 장점이 될 수 있을 것"이라고 강조했다. 이같이 AI안전연구소는 AI 기술의 안전성과 신뢰성을 강화하며 정책·평가·기술의 통합적 접근을 통해 글로벌 리더십을 확보하는 데 주력하고 있다. AI가 가져올 사회적·경제적 영향을 면밀히 분석하며 이를 바탕으로 국내외 신뢰받는 AI 생태계를 구축해 나가는 것이 연구소의 궁극적인 목표다. 김명주 AI안전연구소장은 "AI는 기술적 진보뿐 아니라 신뢰와 안전을 담보해야 글로벌 시장에서 경쟁력을 가질 수 있다"며 "우리는 기술, 정책, 윤리적 기준을 모두 아우르는 리더십을 통해 국내외 AI 생태계의 신뢰성 확보를 위해 매진할 것"이라고 강조했다.

2025.01.17 15:02조이환 기자

고학수 위원장 "올해 개보위 핵심은 AI…안전연구소 협력 의지"

개인정보보호위원회가 올해 안전한 인공지능(AI) 생태계 조성을 위해 AI안전연구소와 협력할 의지를 내비쳤다. 고학수 개인정보위 위원장은 16일 서울 정부청사에서 열린 정례 브리핑에서 이같은 업무 계획을 밝혔다. 고학수 위원장은 "올해 개인정보위 키워드는 AI"라며 "지난 2년 동안 AI 영역을 자세히 들여다봤다면 올해부터 현장에서 프라이버시, 데이터 생태계 등 실질적인 AI 안전에 집중할 것"이라고 설명했다. 고 위원장은 최근 AI로 인해 발생한 딥페이크와 가짜뉴스, 환각현상 등 부작용이 발생했다고 지적했다. 이에 개인정보위가 늘 강조하는 개인의 자유와 존엄성이 훼손됐다는 설명이다. 그는 "특히 딥페이크는 개인의 존엄성을 전면 침해하고 있다"며 "이를 정부가 근본적으로 어떻게 해결할 것인가 고민해야 할 시점"이라고 말했다. 고 위원장은 AI 부작용 해결과 국민 자유·존엄성 보호를 위해 AI안전연구소와 협력할 것이라고 말했다. 구체적으로는 AI 서비스에 적용되는 데이터 프라이버시 관련 영역에서 가이드라인·관리 모형 등에 협력할 계획이다. 그는"최근 AI안전연구소를 산하로 둔 한국전자통신연구원(ETRI)과 한국정보통신기술협회(TTA)가 지난해 12월 발표한 개인정보위의 AI 리스크 관리 모형에 큰 관심을 보였다"며 "이는 AI안전연구소 입장에서도 당연히 들여다볼 법한 영역이기 때문"이라고 강조했다. "공공영역 처벌법 고려해야"…구글·메타 소송 결과 '낙관' 고학수 위원장은 공공영역 과징금 규모와 처벌 수위를 고려해야 한다고 주장했다. 이는 공공영역 과징금 규모가 민간기업에 비해 낮다는 평가에 대한 반응이다. 개정법 전 공공기관 과징금 상한선은 5억원이었지만 지난해 이를 20억원으로 상향조정됐다. 그러나 여전히 민간기업에 비해 낮은 수준이라는 지적이 이어지고 있다. 이에 고 위원장은 "공공영역은 국민 세금으로 운영되는 곳"이라며 "과징금을 높게 부과하는 것이 세금 낭비로 이어질 수 있다"고 설명했다. 그러면서 "과징금이 아닌 다른 방향으로 처벌을 진행하는 방향으로 바꿀 필요가 있다"고 강조했다. 실제 개인정보위는 공공기관 처벌 사실을 공표하는 것을 선택에서 의무로 전환한 바 있다. 한 번 초사 처분 된 기관은 3년 동안 반복적으로 점검할 수 있는 시스템도 구축된 상태다. 조직 내부에서 문제가 발견될 때 조직적 문제와 개인적 문제를 구분해 징계하는 방식도 추진 중이다. 고학수 위원장은 오는 23일 판결 예정인 구글·메타 소송을 낙관적으로 기대한다고 말했다. 그는 "조만간 결정이 이뤄질 사안"이라며 "낙관적으로 생각하지만 100% 장담할 수는 없는 상황"이라고 덧붙였다.

2025.01.16 17:01김미정 기자

Prev 1 Next