새 정부 출범, 'AI 100조' 시대 열린다…AI 안전연구소 "G3 도약, 신뢰성 확보가 핵심"

"새 정부가 들어선 가운데 100조 규모의 인공지능(AI) 투자 공약이 조명되고 있습니다. 이같은 진흥책의 추진과 동시에 기술이 초래할 수 있는 리스크를 관리해야 산업의 지속성과 확장성이 확보됩니다. 미래 세대의 먹거리를 위한 철저한 안전 설계를 위해 적극적으로 지원하겠습니다." 김명주 AI 안전연구소장은 4일 경기도 판교 그래비티 조선 서울에서 열린 '2025 슈어 AI 테크 컨퍼런스'에 참가해 이재명 대통령 당선에 따른 연구소의 방향성에 대한 기자의 질문에 이같이 말했다. 이번 행사는 슈어소프트테크가 AI 검증 기술의 현재와 미래를 공유하고 산업 전반의 안전 및 신뢰성 확보 전략을 모색하기 위해 마련한 자리다. 김 소장에 따르면 한국 AI 연구소는 세계 여섯 번째로 출범한 AI 안전기관이다. 지난해 11월 국내에서 최초로 설립된 이 기관은 영국, 미국, 일본, 싱가포르, 프랑스 등 10여 개국이 운영하는 AI 안전연구소들과 함께 글로벌 위험 기준 마련과 평가 체계 구축을 위한 협력에 참여하고 있다. 이날 발표는 AI 산업의 변곡점을 만든 역사적 사건들에 대한 회고로 시작됐다. 김 소장은 지난 2023년 처음 등장한 '챗GPT'가 산업의 방향성을 근본적으로 바꿨다고 진단했다. 출시 두 달 만에 1억명 사용자를 돌파한 '챗GPT'는 초기엔 '검색엔진 종말론'을 불러올 정도의 파괴력을 보였고 이에 구글은 마이크로소프트(MS)와의 검색 점유율 격차 축소를 우려해 급히 '바드'를 출시하며 글로벌 기술 경쟁이 본격화됐다. 김 소장은 "이 과정에서 구글의 AI 부사장이자 딥러닝 창시자인 제프리 힌턴이 안전성을 우려해 사임했다"며 "당시 구글은 자체 개발한 '람다' 모델의 위험성을 인지하고도 경쟁에서 밀릴까 봐 결국 공개를 강행했다"고 말했다. 이어 "통제 수단 없이 기술을 출시한 결정은 거버넌스 부재 상태에서 진행되는 AI 개발의 한계를 보여준 사례"라고 분석했다. 이어 그는 AI의 잠재 리스크를 인식한 글로벌 과학자 그룹이 지난 2023년 '개발 중단 서한'을 발표했던 사례도 언급했다. 미래생명연구소(FLI)의 주도로 작성된 이 서한에는 일론 머스크, 유발 하라리 등 주요 인사가 참여했으나 실제 개발 중단으로 이어지지는 않았다. 다만 이 서한을 계기로 미국, 유럽, 한국에서 본격적인 AI 규제 입법이 추진되기 시작했다. 실제로 AI 리스크에 대한 실증적 접근은 확대되고 있다. 매사추세츠 공대(MIT)는 증거 기반 리스크 저장소(Risk Repository)를 통해 1천800개 이상의 사례를 유형별로 정리했다. 이 중 AI가 직접 야기한 사례는 전체의 34%에 달한다. 김 소장은 "이 자료를 바탕으로 한국형 리스크 분류체계를 세분화하고 있다"며 "이달 말 200~300개 항목의 1차 리스크 맵을 공개할 계획"이라고 밝혔다. 그는 영국 AI안전연구소가 최근 발표한 분류체계도 언급했다. 이 체계는 ▲기술적 결함(Malfunction) ▲악의적 활용(Misuse) ▲사회 구조적 영향(systemic Impact)으로 위험을 구한다. 이는 각각 AI 개발 오류, 사용자의 악의적 활용, 노동시장이나 정치 등 사회적 외부효과로 이어지는 위험을 뜻한다. 이 같은 글로벌 기준을 토대로 국내 AI안전연구소도 평가모델을 정비 중이다. 구체적으로는 리스크 맵 기반으로 모델을 개별 테스트하고 그 결과를 전문가나 AI가 자동으로 평가해 통합 보고서를 작성하는 프로세스를 도입한다. 이 보고서는 각 위험에 대한 정책적 기술적 완화 방안까지 제시한다. 실제 사례로는 지난 2월 연구소가 중국계 AI 모델 '딥시크'에 대해 긴급 대응한 사례가 소개됐다. 이 모델은 중국 사회주의 체제에 불리한 질문에 답변하지 않는 등 편향성을 드러냈으며 연구소는 이를 설 휴가를 중단한 후 즉시 분석해 과학기술정보통신부에 보고서를 제출했다. 보고서에는 편향 제거를 위한 기술적 보정 방안이 포함됐다. AI 안전 평가의 기준 역시 지속적으로 진화하고 있다. 기존 소프트웨어의 안전성 검증이 기능 성능 보장에 집중됐다면 AI 평가에서는 개발자의 의도와 상관없는 오용 가능성까지 고려한 '건전성' 개념이 확대되고 있다. 유럽연합은 이 개념을 '신뢰성(Trustworthiness)'으로 확장해 기술의 사회적 수용 가능성까지 평가 대상에 포함시켰다. 이에 따라 각국은 AI 인증 체계 구축에 속도를 내는 상황이다. 영국은 이를 위해 지난 2023년 세운 AI 안전연구소의 명칭을 올해 초 'AI 보안연구소'로 변경했다. 현재 미국, 프랑스, 싱가포르, 케냐 등도 자체 안전연구소를 통해 여러 사업을 추진 중이다. 대선이 끝나 이재명 대통령이 취임한 가운데 향후 AI 정책을 위한 제언에 대해 묻는 기자의 질문에 김 소장은 "AI 산업이 장기적 지속 가능성과 확장성을 확보하라면 진흥과 함께 리스크 관리가 병행돼야 한다"며 "이를 위해서는 안전 설계를 처음부터 고려해야 한다"고 말했다. 이어 "우리는 선제적으로 리스크 완화 방안을 제안해 철저히 지원할 계획"이라고 밝혔다. 김 소장은 지난해 AI안전연구소 초대 소장으로 부임해 오는 2027년까지 임기를 이어갈 예정이다. 연구소는 과학기술정보통신부와 대통령실 등 정부 유관 부처와 함께 리스크 완화 방안 마련을 위한 협업을 지속할 것으로 전망된다. 기업과의 협력도 병행 중이다. 최근 LG전자와 AI 안전을 위한 파트너십을 맺었으며 해외 주요 기업들과도 공동 평가 및 안전 기준 정립을 위한 협력을 추진하고 있다. 참여 기업들은 자사 AI 시스템의 신뢰성과 안전성을 확보하기 위해 연구소와 함께 검증 체계를 구축하고 있다. 김 소장은 "우리는 평가기관을 넘어 국내 AI 기업의 국제 경쟁력 확보를 위한 전략적 거점이 되고자 한다"며 "향후 국내 기업의 해외 진출 시 안전보고서를 통해 신뢰성을 높일 수 있도록 적극 지원하겠다"고 밝혔다.