[보안리더] 김명주 AI안전연구소장 "AI 리스크맵 등 만들 것"
"아휴 10년은 된 것 같아요" 작년 11월 27일 성남시 판교에 인공지능안전연구소(AISI)가 문을 열었다. 한국전자통신연구원(ETRI) 부설 기관이다. 인공지능(AI)의 안전한 사용을 위한 평가와 연구를 전담한다. 우리나라보다 앞서 영국, 미국, 일본, 싱가포르, 캐나다가 AI안전연구소를 개소, 우리나라는 세계 여섯 번째로 AI안전연구소를 둔 나라가 됐다. 초대 소장은 나비 넥타이가 트레이드마크인 김명주 서울여대 교수(정보보호학부)가 선임됐다. 부임 10개월이 된 김 소장을 지난 4일 AISI(에이시로 발음) 사무실에서 만나 그간의 성과와 향후 계획을 들어봤다. 김 소장은 '토종 박사'다. 서울대 컴퓨터공학과를 졸업하고 석사와 박사 모두 서울대에서 학위를 받았다. 82학번(63년생)으로 학부를 수석으로 졸업했다. 1995년 서울여대 정보보호학부 교수로 부임, 현재 파견 상태다. AI 윤리와 신뢰성 분야 전문가로 바른AI연구센터장, 국제AI윤리협회장, AI윤리정책포럼 위원장 등을 역임했다. '글로벌 인사'이기도 하다. 경제협력개발기구 글로벌 인공지능 파트너십(OECD GPAI) 엑스퍼트 매니저로 활동했다. 작년 11월 초대 소장 부임..."히말라야 등정 돕는 세르파 같은 연구소 될 것" 작년 11월 소장 취임시 그는 기자들과 인터뷰에서 "우리 연구소는 규제기관이 아니다. 국내 AI 기업이 글로벌 경쟁력을 확보하는데 장애가 되는 위험요소를 최소화하도록 지원하는 협력기관이다"면서 "히말라야 등정을 돕는 세르파(Sherpa)같은 연구소가 되겠다"고 약속한 바 있다. 연구원의 영어명칭은 AISI인데, 이 중 S는 안전(Safety) 뿐 아니라 세르파(Sherpa), 보안(Security), 표준(Standard)을 뜻하기도 한다. 지난 10개월간의 소회를 묻자 김 소장은 대뜸 "10년은 된 것 같다"고 말했다. 이어 "하루 평균 수면 시간이 3.5시간이다. 스마트워치를 갖고 있어 수면시간을 기록하는데, 최근 평균 3.5시간이더라"고 말했다. 그는 1963년생이다. 우리나라 나이로 63세다. 기자가 "그렇게 자도 건강이 괜찮냐?"고 놀라며 묻자 "병원을 자주 다닌다. 당뇨도 있고..."라면서 "일이 너무 많다. 내가 결제를 해줘야 다음 단계로 넘어가니, 또 외국과 컨퍼런스 콜이나 이메일을 해야 하는데 시차가 나다 보니 자연스레 수면 시간이 줄었다"고 설명했다. 서울여대서 근 30년 근무...건강 다시 회복한 2017년부터 나비넥타이 착용 AISI에 오기전 그는 근 30년간 서울여대 교수로 있었는데 '일머리'가 있는 '하드워커'였다. 학교 처장을 맡아 대외 사업을 지휘했는데 외부에서 따온 사업 규모가 700억 원이나 됐다. 당시 서울여대 1년 예산이 600억 원이였다. 이 공로로 총장에게서 특별보너스로 안식년을 받았다. 하지만 건강에 문제가 생겼다. 뇌쪽 혈관이 터져 6개월을 집에 있어야 했다. 김 소장 인생 '최대 겨울'이였다. 당시 공황장애가 올 정도로 고생했지만 다행히 건강을 회복, 학교로 복귀했고, 이때부터 그의 상징이 된 '나비넥타이'를 매기시작했다. "학교로 돌아오니, 두 번째 삶을 사는 것 같았다. 그래서 뭘 하나를 바꾸고 싶었는데 바꿀 게 없더라. 마침 누가 선물해 준 나비 넥타이가 생각났다. 용기가 없어 못매고 있다 "죽을 뻔 했는데...."하며 과감히 수업때 착용했다. 학생들 반응이 너무 좋았다. 교수가 자기들을 존대해주는 느낌을 받았다고 하더라. 2017년인데, 이때부터 계속 나비넥타이를 매고 다닌다. 갖고 있는 나비넥타이가 40개 정도 된다." 김 소장은 지난 10개월간 조직 세팅과 함께 연구원들 역량 향상에 힘을 쏟아왔다. AISI는 3개 실(AI안전정책&대외협력실, AI안전평가실, AI안전연구실)을 근간으로 AI안전컨소시엄, 글로벌자문단, 연구지원실을 두고 있다. 연구원 수는 정규직 20명을 포함해 30명이다. 이 중 4명은 다른 기관에서 파견나와 있다. 김 소장은 신생 조직이다보니 연구원들이 정말 열심히 일한다면서 "어제도 내가 저녁 11시에 퇴근했는데, 남아 있는 연구원들에게 "미안해 먼저 집에 갈께요" 하고 나왔다"고 들려줬다. 이어 "단기간에 글로벌 수준을 갖추기 위해 주요국 연구소와 글로벌 공동연구를 같이하며 바쁘게 지냈다"면서 "이제 이 정도면 할만 하다는 생각이 든다"고 반색했다. 잘 안 알려진 사실이지만, 올 1월말 중국발 딥시크(DeepSeek) 쇼크때 이의 대응책을 마련하는데 AISI가 큰 역할을 했다. 작년 10월 미국 정부는 AI기술을 핵무기와 같은 국가 전략자산으로 지정했다. AI가 세계 패권을 가르는 요소기술임을 보여준 상징적 사건이다. 혹자는 AI를 핵무기에 비유하며 위험성을 우려한다. 도구인 AI가 인류에 유용한 기술이 되려면 '안전'을 절대적으로 확보해야 한다. 우리나라와 주요국이 AI안전연구소를 만든 이유다. "AI안전 관련 자체 기술 개발과 자체 평가 툴 만들 것" 김 소장은 남은 임기 2년간 무엇에 주력할 것이냐는 질문에 "AI안전과 관련한 자체 기술을 개발하고 자체 평가 툴과 리스크 모델을 만들어야 하는 등 할 일이 많다"면서 "지금까지 우리는 선도국을 따라가는 입장이였는데, 앞으로는 AI안전성 면에서 우리나라의 글로벌 리더십을 한단계 올리는데 기여하고 싶다"고 밝혔다. AISI는 표준화 등 법적으로 해야 할 미션이 있다. 하지만 현재 조직과 인력으로는 역부족인 상황이다. AISI 출범시 당국은 정규 연구인력을 30명 플러스 알파(+α)로 주기로 했다. 이 약속은 지켜지지 않았다. 현재 AISI 정규 연구원은 20명이다. 예산은 올해 76억인데 내년에 비R&D 부문 예산이 늘었다. 김 소장은 "AI안전과 관련한 부작용을 막는 데 힘을 기울이고 있다"면서 "딥페이크(Deepfake) 탐지 기술 개발도 그 중 하나다. 모델 보다는 시큐리티(보안)에 중점을 두고 AI 원천기술을 개발하고 있다"고 설명했다. AI안전연구소를 세계에서 가장 먼저 만든 영국의 경우 올 2월 AI안전연구소라는 명칭을 AI보안연구소(AI Security Institute)로 변경했다. AI 편향과 같은 이슈보다 화학·생물 무기, 사이버 공격, 사기, 아동 성범죄 등 AI의 국가 안보 및 범죄 악용에 적극 대응하기 위해서다. 아직 AISI는 영국처럼 명칭 변경은 생각하지 않고 있다. 하지만 보안 쪽을 신경써 보고 있다. 김 소장은 "최근 관련 팀을 미국에 보내 대량 살상 무기 교육을 받고 왔다"고 말했다. 유럽연합(EU)의 실천강령(Code of Practice)도 짚었다. EU는 업계 자율규제(self-regulation) 방식으로 실천강령을 만들어 운영하고 있다. 대표적인 예가 2018년 처음 채택했고, 2022년 대폭 개정한 '허위정보 대응 실천강령(EU Code of Practice on Disinformation)'이다. 김 소장은 "EU 실천강령에 대한 우리 기업들의 대응책을 AISI가 만들고 있다"면서 "특히 AI 리스크 맵을 만들고 있다. 이는 세계적으로 우리가 처음인 것 같다"고 강조했다. AI에 대한 '리스크 카테고리'는 세계적으로 있지만 아직 '리스크 맵'은 없다는 것이다. "리스크 맵을 만들기 위해 미국 MIT에 문의했는데, 자기네와 구조가 다르다는 답을 받았다. 리스크맵은 AI의 잠재적 위험을 파악하는 구조로 AI 안정성 확보에 큰 역할을 할 것"이라고 예상했다. 김 소장에 따르면 MIT는 1800개의 리스크 카테고리를 갖고 있다. AISI는 200개 정도로 이뤄진 AI 리스크맵을 완성, 연내 발표할 예정이다. 현재 이들 맵의 네이밍(naming) 작업을 하고 있다. 이 맵이 마련되면 AISI는 AI 리스크를 총괄하는 포털과 허브 역할을 할 전망이다 "에이전틱AI도 평가 예정...AI인증 하기엔 인력 너무 부족" 김 소장은 "리스크맵이 만들어지면 원인 파악 등 새로운 AI리스크에 대해 빠른 대응이 가능해진다"고 연구 필요성을 밝혔다. 안전한 AI 환경을 위해 AISI는 지난 10개월간 국내외 모델합쳐 총 7종을 평가했다. 김 소장은 "우리가 입주한 판교 건물이 전력 사정이 여의치 않다. 이에 대전 ETRI와 전남 광주 AI센터의 리소스를 활용하고 있다. 정부가 공급하는 AI칩도 조만간 가져다 쓸 예정이다. (우리도) 자체 평가 모델 개발과 함께 테스팅 능력을 높이기 위해 힘쓰고 있다. (요즘 부상하고 있는) 에이전틱AI도 평가할 예정"이라고 밝혔다. 이어 "공공기관이나 국가기관의 AI 안전 지침(AI Safety Guideline)과 AI인증을 만들 생각도 있지만 현재 인력이 너무 부족하다"고 토로했다. 김 소장은 "평가툴보다 더 중요한 게 데이터셋"이라며 "계속 새로 만들어야 하기 때문이다. 내년이나 내후년쯤에는 글로벌 스탠더드에 부합하는 데이터셋을 만들어 공개하고 싶다"는 바람을 보였다. 연구원은 정부 연구개발(R&D) 과제도 한다. 이를 담당하는 곳이 안전연구실이다. 10명 정도 인력으로 정부 과제는 현재 두 개를 하고 있다. 하나는 실시간으로 멀티모달의 딥페이크를 찾아내는 것이고, 다른 하나는 AI가 공격 받았을때 원상태로 돌아가는 회복탄력성에 관한 것이다. 김 소장은 "과기정통부 외에 다른 곳에서도 비용을 줄테니 연구를 해달라는 요구가 많다"면서 "여력이 되는 한 해주려 한다. 하지만 그만큼 연구원들에게 부담으로 돌아가니 쉬운 일은 아니다"고 말했다. 아직 개소 1년이 안됐지만 AISI는 세계적 AI 학회에 논문 투고도 추진한다. ACL(Association for Computational Linguistics)이나 ICML(International Conference on Machine Learning)과 같은 학회가 대표적인데, 내년 ICML은 서울 코엑스에서 7월 6일~12일 열린다. AI안전평가 세계 3~4위 수준...우리처럼 정책과 평가, 연구까지 하는 나라 드물어 AI안전평가 부문 우리나라 경쟁력은 얼마나 될까. 김 소장은 "미국과 영국이 가장 앞서있다. 영국의 경우 상근 직원만 100명이나 된다. 싱가포르도 이 분야 선도국가다. 한국은 싱가포르와 함께 세계 3~4위 수준이 될 듯 하다"고 평가했다. 이어 "우리나라는 다른 나라와 다른 점이 있다. 다른 나라는 AI 안전에 대해 정책과 평가만 한다. 우리나라는 아니다. 연구(리서치)까지 한다"고 설명했다. AI안전연구원의 영어 명칭은 AI Safety Institute다. 연구(Research)라는 말은 없다. AISI가 속한 ETRI는 AISI처럼 Institute다. Institute 밑에 Institute가 있는 형국인 것이다. "이런 구조여서 외국과 MOU를 맺을 때 다른 나라들이 이상하다고 말하기도 한다"고 말했다. 이 부분이 AISI의 독립론이 나오는 이유이기도 하다. AISI를 ETRI에서 분리, 독립시키자는 주장에 대해 김 소장은 "ETRI 소속이다보니 ETRI의 막대한 리소스를 사용할 수 있는 장점이 있다"며 말을 아꼈다. 요즘 화두인 AI보안에 대해 김 소장은 "AISI는 돈이 안되더라도 리스크 중심으로 연구를 하고 있다. 킬스위치라고 불리는 AI 비상정지 기능도 그 중 하나"라고 소개하며 "킬 스위치는 AI기본법에도 들어가 있다. 보안과 안보 차원에서 AI를 다루고 있으며 이를 위해 육사 화학과 교수 한 분과 국방연구원(ADD) 생물학 전공 한 분을 자문위원으로 최근 위촉했다"고 말했다.
