ZDNet 검색 페이지

'AI안전연구소'통합검색 결과 입니다. (8건)

글로벌 AI 안전 협력, 서울서 현실화…"책임 확장에서 실행으로"

인공지능(AI) 안전을 둘러싼 글로벌 협력이 서울에서 본격화됐다. 세계 주요 연구기관과 기업들은 한자리에 모여 AI의 잠재적 위험을 평가하고 안전성을 강화하기 위한 공동 전략을 논의했다. 한국 AI안전연구소는 29일 호텔 나루 서울 엠갤러리 앰배서더에서 '2025 인공지능 안전 서울 포럼' 행사를 열고 AI 평가, 벤치마킹, 레드티밍(취약성 검증) 세션을 진행했다. 과학기술정보통신부가 주최하고 한국전자통신연구원(ETRI)이 공동 주관한 이번 포럼에는 ML커먼스, METR, 에포크AI, 퓨처오브라이프연구소(FLI), 옥스퍼드대 등 세계 주요 평가기관과 연구진이 참석했다. 특히 이날 포럼에서는 한국 AI안전연구소와 미국 AI 전문기업 스케일AI 간의 업무협약(MOU) 체결식이 진행됐다. 양 기관은 AI 평가, 레드티밍, 안전 연구 고도화를 위한 공동 협력 체계를 구축키로 했다. 이번 협약을 통해 양측은 실험적 안전 테스트를 비롯해 글로벌 평가 표준 수립에도 협력할 계획이다. 포럼 세션 발표에서는 AI 시스템의 실무 평가와 벤치마킹 전략이 논의됐다. ML커먼스의 숀 맥그리거 에이전틱 리드는 "모든 AI 모델들은 안정성을 갖추기 위해 독립적 감사와 공공 검증 절차를 거쳐야 한다"며 "AI 안전 생태계의 인재 부족도 시급히 해결해야 할 과제"라고 강조했다. 이어 METR의 사미 자와르 엔지니어링 총괄은 제3자 위험 평가(3PRA) 이니셔티브를 소개하며 AI 모델이 배포되기 전에 위험 신호를 감지하고 대응할 수 있는 프로세스가 필요하다고 제언했다. 또 AI 개발사뿐만 아니라 평가기관 간의 신뢰 협력도 강화돼야 한다고 주장했다. 이번 포럼에서는 실습 기반의 프론티어 AI 레드티밍 세션도 진행됐다. 참가자들은 최신 대규모 언어모델(LLM)을 대상으로 공격·방어 시나리오를 시뮬레이션하며 모델 취약성을 검증했다. 한국 AI안전연구소와 스케일AI가 공동으로 준비한 이 세션은 국제 협력 기반의 평가 훈련 프로그램으로 주목받았다. 아울러 이날 행사에는 앤트로픽도 참석해 '책임 있는 확장 정책'을 중심으로 한 AI 안전 프레임워크를 공개했다. 앤트로픽 니타르샨 라즈쿠마르 국제정책 리드는 "AI 기술의 잠재력이 커질수록 그만큼 재난적 위험에 대한 대비가 중요하다"며 "우리의 원칙은 적절한 안전 조치 없이 위험한 수준의 AI 모델을 훈련하거나 배포하지 않는 것"이라고 말했다. 앤트로픽은 모델의 역량이 높아질수록 보안과 검증 수준을 단계적으로 강화하는 계층형 안전 관리 체계를 운영 중이다. 이 체계는 생물학 분야의 바이오시큐리티 등급 시스템을 참고해 위험도가 높은 모델일수록 더 엄격한 보호조치를 적용하는 방식이다. 라즈쿠마르 리드는 "우리는 내부 레드팀을 운영하며 미국과 영국의 AI안전연구소, 제3의 독립 기관과 협력해 위험 평가를 진행하고 있다"며 "최근 유럽연합(EU)과 미국, 한국 등의 국가들도 자율적 안전 약속에서 법적 의무로 전환하며 AI 안전 프레임워크 공개와 검증을 요구하는 법제화를 추진 중"이라고 말했다. 이어 "외부 검증은 개발 속도를 늦추는 것이 아니라 오히려 안전한 배포를 가속화하는 과정"이라고 강조했다.

2025.10.29 14:02한정호 기자

글로벌 AI안전 전문가들 "AI 규제와 혁신, 함께 가야 한다"

"인공지능(AI) 안전이 혁신을 가로막아선 안 됩니다. 신뢰를 기반으로 한 책임 있는 생태계가 중요합니다." 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼' 라운드테이블에서 이같이 말했다. 그는 AI 안전을 단순히 규제의 영역으로만 보지 말아야 한다고 지적하며 AI 기술의 혁신과 안전이 균형을 이루는 선순환 구조를 만드는 것이 목표라고 강조했다. 이날 라운드테이블은 'AI 안전 거버넌스의 실행'을 주제로 각국 정부·연구기관·산업계 관계자들이 한자리에 모여 현실적인 협력 방안을 논의했다. 좌장은 박세아 국가AI전략위원회 안전신뢰팀장이 맡았고 유럽연합(EU)·일본·싱가포르·한국 등 주요국의 AI 안전 기관 관계자들이 패널로 참여했다. 라운드테이블의 첫 화두는 규제와 혁신의 균형이었다. 먼저 윌프레드 부국장은 "싱가포르는 AI 전담 법률을 제정하기보다 기존 산업 규제를 보완해 AI 시대에 맞게 확장 적용하는 방식을 취하고 있다"고 밝혔다. EU는 보다 체계적인 규제 접근법을 소개했다. 라이너 베셀리 주한 유럽연합대표부 디지털·리서치 담당 참사관은 "AI 모델이 제어 불가능한 형태로 발전한다면 그것은 기술 문제가 아니라 사회 전체의 리스크"라고 경고했다. 그는 "EU AI법은 기본권을 침해하거나 사이버 공격에 악용될 수 있는 모델을 금지하는 것이 핵심"이라며 위험 수준에 따라 AI 시스템을 단계적으로 관리하는 프레임워크를 설명했다. 이어 "AI가 노동시장에 미치는 영향도 새로운 정책 변수로 보고 있다"며 "규제의 목적은 혁신을 막는 것이 아니라 사회적 효용과 위험을 함께 관리하는 것"이라고 덧붙였다. 아키코 무라카미 일본 AI안전연구소장은 사회적 책임의 관점에서 접근했다. 그는 "AI 안전은 기술적 문제가 아니라 사회가 어떻게 책임 있게 기술을 수용하느냐의 문제"라며 "일본은 AI법 제정을 계기로 공공과 민간이 공동으로 안전 기준을 마련하고 있다"고 말했다. 김명주 한국 AI안전연구소장은 정부가 추진 중인 실증 중심 평가를 소개했다. 그는 "우리 정부는 AI 모델 평가 대회를 통해 실제 시스템의 안전성과 신뢰도를 검증하고 있다"며 "프라이버시 보호와 신뢰 확보를 중심으로 평가체계를 준비 중"이라고 밝혔다. 그러면서 "AI 사회로 전환하는 지금, 사회적 약자의 접근성을 높이는 것도 AI 안전의 한 축"이라며 "디지털 격차 해소 경험을 바탕으로 AI 포용성을 정책의 핵심 가치로 삼고 있다"고 강조했다. 좌장을 맡은 박세아 팀장은 AI 안전이 정부나 연구소만의 일이 아니라고 짚으며 산업계와 다양한 이해관계자의 참여를 촉구했다. 이에 윌프레드 부국장은 싱가포르의 민관 협력 사례를 소개했다. 그는 "각 기업이 스스로 테스트하고 검증할 수 있도록 샌드박스 환경을 운영 중"이라며 기업 책임성과 자율 규제를 병행하는 모델을 설명했다. 아울러 무라카미 소장은 기업 역할의 중요성을 강조했다. AI 안전에 대한 투자가 단순한 비용이 아니라 기업의 지속 가능성을 높이는 투자라는 설명이다. 특히 모든 기업이 지속가능발전목표(SDG)의 관점에서 AI 안전을 전략적으로 접근해야 한다고 제언했다. 글로벌 협력 방안에 대한 논의도 이어졌다. 베셀리 참사관은 "국제 협력의 핵심은 상호운용성과 공동 리스크 평가 체계"라며 "EU는 표준화 요청을 통해 AI 평가 도구를 공동 개발 중"이라고 설명했다. 이어 "각국이 같은 기준으로 위험을 평가할 수 있어야 진정한 글로벌 협력이 가능하다"고 덧붙였다. 이와 관련해 김명주 소장은 "국제 네트워크를 통해 공동 연구와 표준화를 강화해 나가겠다"고 밝혔다. 끝으로 "AI 안전은 특정 국가나 기업의 책임이 아니라 인류가 함께 구축해야 할 글로벌 과제"라며 "규제와 혁신이 조화를 이룰 때 비로소 지속가능한 AI 생태계가 완성될 것"이라고 강조했다.

2025.10.28 14:33한정호 기자

"AI 안전, 선택 아닌 필수"…서울서 글로벌 거버넌스 협력 '한목소리'

"인공지능(AI)은 인류가 만든 가장 강력한 발명이지만 그만큼 안전에도 두 배의 노력이 필요합니다." 김명주 한국 인공지능안전연구소장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼'에서 이같이 강조했다. 이번 포럼은 과학기술정보통신부가 주최하고 한국전자통신연구원·한국 AI안전연구소가 주관한 첫 글로벌 AI 안전 행사로, 세계 각국의 연구기관·정부·산업계 관계자 약 150명이 참석했다. 행사에서는 '보다 안전한 AI 세상을 향한 글로벌 협력'을 주제로 AI 안전 거버넌스·평가·레드티밍 등 국제적 협력 방향이 논의됐다. 개회식에서 송상훈 국가AI전략위원회 지원단장은 "AI 기술의 발전은 인류의 삶을 바꾸는 동시에 새로운 위험을 수반해왔다"며 "신뢰할 수 있고 안전한 AI를 확보하는 것은 앞으로 풀어나가야 할 시급한 과제"라고 말했다. 또 다음 달 공개 예정인 정부의 'AI 액션플랜'을 언급하며 "안전과 신뢰를 핵심 가치로 삼아 대한민국이 국제 AI 안전 네트워크의 일원으로서 책임을 다하겠다"고 강조했다. 행사 첫 번째 세션에서는 일본·싱가포르·유럽연합(EU)·한국 등 주요 국가의 AI 안전 기관 관계자들이 발표자로 참여해 각국의 정책과 연구 성과를 공유했다. 아키코 무라카미 일본 AI안전연구소장은 "2023년 G7 히로시마 정상회의 이후 각국이 AI 안전 프로세스 구축에 속도를 내고 있다"며 "일본 역시 AI 안전 표준 수립과 산업 간 협력 허브로서 역할을 강화하고 있다"고 설명했다. 이어 "AI 안전은 기술 자체뿐 아니라 활용 혁신과 균형을 맞춰야 한다"며 "데이터 품질 관리, 산업별 안전 가이드라인 제정 등 실질적 조치가 병행돼야 한다"고 덧붙였다. 두 번째 발표에서 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 "AI 안전이 혁신을 가로막아선 안 된다"며 "싱가포르는 신뢰를 기반으로 한 책임 있는 AI 생태계를 만드는 것이 목표"라고 밝혔다. 현재 싱가포르는 AI 기업이 자율적으로 안전 기준선을 설정하고 테스트할 수 있도록 'AI 그래파이트 파운데이션'을 운영 중이며 금융·헬스케어 분야에서 샌드박스를 통해 안전성 평가를 수행하고 있다. 윌프레드 부국장은 "에이전틱 AI 시대에는 자동화로 인한 편향이 심화될 수 있어 인간의 개입과 검토가 필수적"이라며 인간 중심의 AI 거버넌스 필요성을 강조했다. 영상으로 참여한 루실라 시올리 EU AI국장은 올해 8월부터 본격 적용된 'EU AI법'의 핵심 내용을 설명했다. 그는 "고위험 AI 시스템과 범용 AI 모델에 대한 규정을 통해 투명성과 안전을 확보할 것"이라며 "25개 이상 기업이 자발적으로 참여한 'AI 실천 강령'이 핵심 역할을 할 것"이라고 말했다. 시올리 국장은 "한국·싱가포르·미국 등과 AI안전연구소 네트워크를 통해 평가 방법론과 표준을 공유하겠다"며 국제 협력 의지도 드러냈다. 마지막 발표자로 나선 김명주 소장은 한국 AI안전연구소의 활동과 성과를 소개했다. 그는 우리나라의 AI 기본법 제12조를 언급하며 "우리 연구소는 법적 기반 위에서 AI 세이프티를 기술·정책·윤리 세 축으로 다루고 있다"고 설명했다. 또 "MIT의 AI 리스크 레퍼지토리를 바탕으로 리스크 맵핑 프로젝트를 진행 중이며 원인·결과·대응 주체를 3D 형태로 시각화해 잠재 리스크를 조기 식별 중이라"고 발표했다. 그러면서 "평가·정책·기술 검증을 통해 국내 기업 경쟁력을 높이는 동시에 글로벌 생태계의 안전 수준을 함께 높여나갈 것"이라고 말했다. 이번 포럼에는 ▲LG AI연구원 ▲네이버클라우드 ▲구글 딥마인드 ▲앤트로픽 ▲세이퍼 AI ▲스케일 AI ▲카르마 등 주요 기업·기관이 참여했다. 특히 한국 AI안전연구소와 스케일 AI는 업무협약을 체결해 레드티밍 협력을 본격화했다. 포럼 둘째 날인 오는 29일에는 프론티어 AI 모델을 대상으로 한 실습형 레드티밍 워크숍이 진행된다. 김 소장은 "안전하고 신뢰할 수 있는 AI를 만드는 것은 선택이 아니라 필수"라며 "AI 안전은 어느 한 나라나 기업의 몫이 아닌, 인류가 함께 만들어가야 할 글로벌 생태계의 과제"라고 강조했다.

2025.10.28 13:17한정호 기자

미국 AI안전연구소, '혁신' 간판 달고 재출범…트럼프식 '규제 철폐' 본격화하나

미국 인공지능 안전연구소(AISI)가 간판을 바꿔 달았다. 트럼프 행정부의 'AI 혁신 우선, 안전 최소화' 기조에 따라 정부의 개입 방향도 규제와 검열에서 산업 경쟁력 지원으로 급선회한 모양새다. 5일 미국 상무부 홈페이지에 따르면 하워드 루트닉 상무장관은 대통령 지시에 따라 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 개편한다고 발표했다. AI 표준 및 혁신 센터는 기존에 AI 안전연구소가 위치했던 국립표준기술연구소(NIST) 산하에 유지되며 평가와 시험을 통한 AI 기술 경쟁력 확보에 중점을 둔다. 상무부는 AI 표준 및 혁신 센터를 통해 신속히 발전 중인 상업용 AI 시스템의 역량과 보안성을 분석하는 데 초점을 맞춘다. 국가안보를 명분으로 삼았던 기존 규제 관행은 철회하고 기술 혁신을 저해하지 않는 방향으로 AI 거버넌스를 전환하겠다는 입장이다. 센터는 민간 AI 기업과 자발적 협약을 체결해 비분류 상태의 AI 기술을 공동 평가하고 사이버 보안과 생물·화학 무기 등 실질적 위협에 집중해 평가를 수행한다. 여기에는 미국 내 기업뿐 아니라 적성국 기술의 위협성까지 포함된다. 외국산 AI 기술이 국내 시스템에 혼입될 경우를 대비해 백도어나 은폐된 악성 행위 등 보안 취약성 여부를 점검하는 역할도 맡는다. 미국 내 기술뿐 아니라 외국 기술의 수용 과정과 국제 경쟁 상황을 정기적으로 분석한다. 더불어 센터는 국방부, 에너지부, 국토안보부, 과학기술정책실, 정보기관 등과 협력해 평가 방법론을 정립하고 공동 평가를 수행하게 된다. 국제 협의체에서는 미국 기술에 불리한 규제를 견제하는 동시에 국제 AI 표준에서 미국의 주도권을 강화하는 데도 주력할 계획이다. 조직 운영은 기존과 마찬가지로 국립표준기술연구소 내부에서 진행되며 정보기술연구소를 포함한 다른 산하 조직 및 상무부 산업안보국과도 긴밀히 협력할 예정이다. 하워드 루트닉 상무장관은 "너무 오랫동안 검열과 규제가 국가안보라는 이름으로 기술 발전을 막아왔다"며 "CAISI는 미국의 상업용 AI 기술이 자율성과 안전성을 동시에 확보할 수 있도록 주도권을 갖고 평가할 것"이라고 밝혔다. 다만 실질적인 변화는 크지 않다는 시각도 있다. 기존 AI 안전연구소가 수행했던 기능과 역할은 그대로 두고 간판만 바꿨다는 점에서 조직 개편보다는 브랜딩에 가깝다는 평가다. 한 업계 관계자는 "이번 개편의 경우 이름만 바꾸고 하는 일은 동일한 것으로 보인다"며 "약자가 캐나다 AI 안전연구소(CAISI)와 같단 면에서 조금 결례인듯 하다"고 말했다.

2025.06.05 14:44조이환 기자

'AI 안전성 확보 전략 포럼' 열린다

한국데이터법정책학회는 20일 오후 3시 한국프레스센터에서 'AI 안전성 및 신뢰성 확보를 위한 전략'이라는 주제로 제14회 AI 윤리법제포럼을 개최한다. 이날 포럼에서는 서울여대 정보보호학부 교수, 인공지능윤리정책 포럼 위원장을 지내고 현재 AI안전연구소 초대 소장을 맡고 있는 김명주 소장이 주제 발표를 맡았다. 포럼 회장인 이성엽 교수는 “한국에서도 AI 기본법상 안전성, 신뢰성 확보 규정이 도입됐고, 최근 딥시크 층격으로 인해 AI를 통한 정보보안 위험이 증대되고 있는 상황에서 AI 안전성과 신뢰성 확보를 책임지고 있는 기관의 전략을 듣고 향후 과제를 논의하는 의미 있는 세미나가 될 것이다”고 밝혔다. 한편 AI 윤리법제포럼은 AI 시대의 법제도와 윤리 이슈에 대해 논의하기 위한 전문가 모임으로 정기적으로 생성형 AI의 주요 윤리, 법제, 정책 이슈에 관한 세미나를 개최하고 있다. 1회 포럼에서 ▲생성 AI에서 윤리 이슈를 시작으로 ▲생성형 AI의 기술적 이해 ▲생성형 AI의 저작권 이슈와 과제 ▲생성형 AI의 개인정보의 이슈와 과제 ▲생성형 AI의 경쟁상의 이슈와 과제 ▲주요국의 AI 규제 현황과 시사점 ▲생성형 AI에서 가짜뉴스의 이슈와 과제 ▲생성형 AI에서 시큐리티 이슈와 과제 ▲디지털 통상과 인공지능 ▲생성형 AI 기술, 산업 동향과 시사점 ▲한국의 AI 반도체, 클라우드 전략 ▲AI 규제법의 국내외 동향 분석, 평가와 향후 과제 ▲AI 법제 및 거버넌스 개선방향 등의 주제를 다뤘다.

2025.02.13 14:22박수형 기자

"숨 가쁜 글로벌 테크 대전"…파리 AI 정상회의·사우디 리프 2025 연속 개최

인공지능(AI)과 첨단 기술의 미래를 둘러싼 글로벌 경쟁이 치열해지는 가운데 프랑스와 사우디아라비아에서 연이어 대규모 기술 행사가 열린다. 프랑스는 파리 AI 정상회의(AI Action Summit)를 통해 국제 AI 거버넌스와 협력 방안을 논의하고 사우디아라비아는 리프(LEAP) 2025를 통해 중동을 기술 혁신의 허브로 만들기 위한 전략을 본격화한다. 9일 업계에 따르면 프랑스와 사우디에서 잇달아 개최되는 이번 행사에는 전 세계 정부 관계자, 글로벌 테크 기업인, 학계 전문가들이 참석해 첨단 기술과 규제의 미래를 논의할 예정이다. 파리에서는 AI 기술의 윤리적 활용과 글로벌 협력을 강조되고 리야드에서는 AI·반도체·로보틱스·사이버보안을 중심으로 중동 테크 허브 도약이 추진될 예정이다. 한국도 두 행사에 적극적으로 참여한다. 파리 AI 정상회의에는 정부 차원의 지원이 두드러지며 과학기술정보통신부, 개인정보보호위원회, AI안전연구소 등이 참석해 AI 국제 거버넌스 논의에 힘을 보탠다. 사우디 '리프 2025'에서는 네이버가 맞춤형 AI 솔루션을 공개하고 국내 스타트업들이 중동 시장 진출을 모색한다. "AI 글로벌 규범 강화"…파리 정상회의, 거버넌스 논의 본격화 프랑스 정부는 오는 10일부터 이틀간 프랑스 파리 그랑팔레에서 인도 정부와 함께 '파리 AI 정상회의(AI Action Summit)'를 개최한다. 이번 회의는 AI 안전을 넘어 실천적 행동으로 전환하는 것을 목표로 하며 AI 기술이 개발도상국을 포함한 전 세계에 공정하게 혜택을 제공하도록 협력 체계를 구축하는 데 중점을 둔다. 파리 정상회의는 지난 2023년 영국 블레츨리 파크, 2024년 서울 정상회의에 이은 세 번째 글로벌 AI 정상회의다. 행사에는 80개국 이상이 참여하며 AI 국제 거버넌스·일자리 변화·보안 및 안전·공공이익·혁신과 문화 등 5대 핵심 의제를 중심으로 실질적인 정책과 행동 강령이 논의된다. 이번 회의에는 주요 국가 정상, 글로벌 기업 대표, 학계 전문가가 대거 참석한다. 에마뉘엘 마크롱 프랑스 대통령, 나렌드라 모디 인도 총리, JD 밴스 미국 부통령, 딩쉐샹 중국 부총리를 비롯해 샘 알트만 오픈AI 대표, 순다르 피차이 구글 대표, 얀 르쿤 메타 AI 수석과학자 등이 자리한다. 학계에서는 마이클 조던 UC버클리 교수, 에릭 브린욜프손 스탠퍼드 교수가 참석해 AI의 미래에 대한 논의를 이끈다. 국내에서도 정부 및 기업 대표단이 적극 참여한다. 유상임 과학기술정보통신부 장관, 고학수 개인정보보호위원장, 김명주 AI안전연구소장이 주요 세션에 참석하며 기업 차원에서는 전경훈 삼성전자 최고기술책임자(CTO), 최수연 네이버 대표, 김유철 LG AI연구원 전략부문장 등이 글로벌 AI 기술 경쟁력을 알릴 예정이다. 한국AI윤리학회와 정보통신산업진흥원(NIPA) 관계자들도 행사에 함께한다. 회의에서는 AI 안전성 강화를 위한 국제 보고서 발표와 사이버 위기 시뮬레이션이 진행되며 AI로 인한 직업 구조 변화에 대비한 재교육 방안도 논의된다. AI 데이터센터의 에너지 소비 문제를 해결하기 위한 다자간 협약이 추진되며 의료·기후변화 대응 등 50개 글로벌 AI 공공 프로젝트도 소개된다. 업계에서는 파리 정상회의를 통해 글로벌 AI 협력 체계가 한층 강화될 것으로 기대된다. 특히 프랑스는 구글, 메타, 미스트랄 등 AI 연구센터 유치를 확대하며 AI 허브로 도약하는 계기를 마련하고 있다. 한국 역시 반도체·플랫폼 분야의 강점을 바탕으로 글로벌 AI 표준화 논의에서 주도적인 역할을 할 것으로 보인다. 마크롱 프랑스 대통령은 "AI는 서부의 무법지대가 될 수 없다"며 "권리, 환경, 뉴스의 진실성, 지적 재산권을 보호하는 강력한 원칙을 담으면서도 완전히 자발적으로 모든 국가가 서명할 수 있는 선언을 만들기 위해 시도할 것"이라고 말했다. "사우디, 중동 테크 허브로"…'리프 2025'로 韓 기업 중동 진출 기회 확대 사우디아라비아 정부 역시 9일부터 나흘간 리야드 그랑팔레(엑스포센터)에서 국가 최대 IT 행사인 '리프(LEAP) 2025'를 통해 중동 최대 기술 혁신 플랫폼을 구축한다. 이 행사는 비전 2030 전략에 따라 사우디 경제를 석유 중심에서 기술 주도로 전환하는 데 중점을 두며 AI·로보틱스·사이버보안 등 첨단 기술 분야에서 글로벌 리더십을 강화하는 계기가 될 전망이다. 이 행사에는 1천800개 글로벌 테크 기업, 680개 스타트업, 1천명 이상의 글로벌 전문가가 참여한다. 사우디 통신정보기술부(MCIT)와 타할루프(Tahaluf)가 주최하는 이번 행사는 AI 기반 혁신 사례 전시 '딥페스트(DeepFest)', e스포츠 및 스포츠 기술을 다루는 '스포츠테크 트랙', 신기술을 직접 체험할 수 있는 '테크 아레나' 등 다양한 프로그램을 운영한다. 글로벌 테크 리더들도 대거 참석한다. 아르빈드 크리슈나 IBM 대표, 앨리슨 왜건펠트 구글 클라우드 대표 등이 기술 혁신 방향을 논의한다. 전 맨체스터 유나이티드 선수 파트리스 에브라, 전 아스널 선수 마티유 플라미니 같은 스포츠 스타들도 참여해 스포츠와 기술의 접점을 조명할 예정이다. 한국도 적극적으로 참여하며 사우디 시장 공략에 나선다. 네이버는 'AI 포 사우디아라비아, 파워드 바이 네이버'를 테마로 사우디 맞춤형 AI 모델과 자체 대형 언어모델 '하이퍼클로바X'를 선보인다. 또 사우디 국영기업과 디지털 트윈 플랫폼 협약을 체결하며 현지 시장 확대를 노린다. 리벨리온은 AI 반도체 기술을 공개하며 보안기업인 스패로우는 애플리케이션 보안 솔루션을 소개할 예정이다. 김유원 네이버클라우드 대표는 "각국의 문화와 정체성을 존중하는 기술력을 개발하겠다"며 "이로써 글로벌 시장에서 입지를 보다 강화할 것"이라고 강조했다.

2025.02.09 11:07조이환 기자

[AI 리더스] 김명주 AI안전연구소장 "AI 신뢰도 제고, 韓 기업 글로벌 성공에 필수"

"인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다고 봅니다. 결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이지요." 김명주 AI안전연구소(AISI) 초대 소장은 최근 기자와 만난 자리에서 정부와 기업이 협력해 AI 거버넌스를 강화하고 안전성을 확보해야 한다고 강조하며 이같이 말했다. 17일 업계에 따르면 글로벌 AI 산업이 빠르게 성장함에 따라 정부가 기술 혁신과 안전성·신뢰성 확보를 위한 법·제도 개선에 박차를 가하고 있다. 이같은 정책적 움직임을 뒷받침하기 위해 세워진 AI안전연구소의 김명주 소장은 연구소의 역할과 비전, AI 관련 글로벌 동향 및 기술 경쟁 속에서의 과제를 공유하며 AI의 안전성과 신뢰성을 높이기 위한 전략적 노력이 필수적임을 강조했다. "글로벌 기준 선도"…정책-기술 잇는 AI안전연구소 역할 AI안전연구소는 지난해 11월 전자통신연구원(ETRI) 산하로 출범해 국가 AI 정책 수립을 지원하고 기술의 빠른 발전이 가져올 안전성과 윤리적 문제를 해결하기 위해 박차를 가하고 있다. 현재 연구소는 ▲글로벌 정책 동향 분석 및 AI 위험 대응을 맡는 'AI안전정책 및 대외협력실' ▲위험 정의와 평가 프레임워크를 개발하는 'AI안전평가실' ▲딥페이크 방지와 AI 보안 기술 연구에 집중하는 'AI안전연구실'로 구성돼 있다. 연구소는 이러한 구조를 통해 독립적이면서도 유기적으로 '정책·평가·기술'을 통합 운영해 AI의 안전성과 경쟁력을 높이는 데 집중한다. 이 구조는 해외 AI 연구소들과의 차별점으로 지목된다. 영국·미국·일본·싱가포르 등 여러 국가에서도 AI안전연구소를 운영 중이지만 자본과 보유 기술의 한계 등으로 인해 기술과 정책을 통합적으로 다루는 경우가 많지 않기 때문이다. 김 소장은 "미국과 영국의 AI안전연구소는 리더십 자체가 정책 전문가나 비즈니스 전문가 중심인 경우가 많다"면서 "국내 우리 연구소는 정책·거버넌스뿐 아니라 기술과 표준화에도 동일한 비중을 두고 운영 체계를 마련했다"고 설명했다. 업계에서는 김 소장을 국내 AI안전연구소의 비전 실현에 적합한 리더로 평가한다. 정책과 기술 모두에 정통한 전문가로, 이 두 분야를 통합적으로 이끌어가는 데 강점을 지니고 있기 때문이다. 그는 지난 1993년 서울대에서 컴퓨터공학 박사 학위를 취득한 후 약 30년간 서울여대에서 정보보안을 가르치며 IT 윤리와 거버넌스 분야에서도 20년 이상 활동해왔다. 김 소장은 "사이버 보안을 비롯한 컴퓨터 공학이 원래 전문 분야지만 윤리와 거버넌스까지 함께 다룰 줄 아는 것이 연구소 운영에 큰 도움이 된다"며 "AI 문제는 결국 사람에게 미치는 영향을 종합적으로 살펴야 한다"고 설명했다. AI 신뢰성 위해 '전방위 리스크맵' 구축…다방면서 시민·국제 사회 조율 이러한 목적을 위해 AI안전연구소는 AI의 안전성과 신뢰성을 확보하기 위한 '전방위적 리스크 맵' 작업을 진행 중이다. AI의 위험을 종합적으로 분석하고 윤리와 안전을 모두 포괄하는 접근을 하기 위함이다. 현재 메사추세츠 공과대학(MIT) 등 다양한 글로벌 기관에서 리스크 맵을 발표했지만 대부분 개발자와 사업자 관점에 치우쳐 있어 윤리적·안전적 관점을 충분히 반영하지 못했다는 평가를 받고 있다. 기존의 난점을 극복하기 위해 연구소는 보안 개념을 중요한 연구 주제로 삼고 있다. 지난 2022년 오픈AI '챗GPT' 출시 직후 AI 안전에 대한 논의는 AI가 인류에게 존재론적 위협을 초래할 것이라는 '터미네이터형 리스크'에 집중됐다. 그런데 실제로 닥쳤던 현실적인 문제는 오픈AI의 오픈소스 버그로 인한 사용자 대화 기록 유출 사건이었다. 이후 170개 이상의 취약점이 패치되며 문제가 해결됐지만 이 사건은 AI 시스템의 취약성을 여실히 드러낸 사례로 평가된다. 김 소장은 "'챗GPT'의 경우 버그바운티를 통해 지난 2년간 취약점을 패치하면서 최근에야 비로소 문제를 해결했다"며 "AI 모델 내부의 취약점도 중요하지만 해커가 외부 네트워크를 통해 공격하지 못하도록 방어 체계를 갖추는 것이 필수적"이라고 강조했다. 이어 "연구소는 이를 위해 기술적 연구와 대응 방안을 적극적으로 개발 중"이라고 밝혔다. 또 그는 올바른 AI 안전 수립을 위한 시민과의 소통의 중요성을 강조했다. 딥페이크 문제, AI로 인한 일자리 위협 등과 같이 일반 시민들이 느끼는 공포가 증가하고 있는 상황에서 기술만으로는 이러한 문제를 해결할 수 없기 때문이다. 김 소장은 "사회적으로 큰 파장을 일으키는 문제에는 제도적·윤리적 지원이 필수적"이라며 "기술 발전뿐만 아니라 실질적인 해킹 문제와 시민이 느끼는 불안까지 고려한 전방위 리스크 맵을 만들고 있다"고 밝혔다. 연구소는 이러한 목표를 달성하기 위해 글로벌 협력과 표준화 작업에도 박차를 가하고 있다. 특히 AI 안전 표준화에 전문성을 가진 싱가포르 AI안전연구소와 협력해 AI 취약성 평가와 안전 프레임워크의 글로벌 기준을 마련하고 있다. 김 소장은 "싱가포르는 AI 이전부터 이미 표준화에서 상당한 전문성과 노하우를 보유한 나라"라며 "협력을 통해 국제적으로 통용될 수 있는 AI 안전 기준을 구축하고자 한다"고 설명했다. 국제 거버넌스 협력도 활발히 진행 중이다. 연구소는 오는 3월 프랑스 파리에서 열리는 AI 정상회의에 참가해 글로벌 AI 안전 거버넌스 구축에 기여할 예정이다. 선진국·개발도상국 간 AI 기술 지원과 AI 국제지구 설립이 주로 논의될 이 회의에서 김 소장은 OECD 산하 글로벌 AI 파트너십(GPAI) 자문위원으로서 이 회의에서 중요한 역할을 할 것으로 기대된다. 또 연구소는 다문화·다언어(MCML) 프로젝트를 통해 AI 모델의 언어적·문화적 편향을 분석하고 이를 교정하는 작업을 수행하고 있다. 이를 통해 AI의 공정성과 신뢰성을 강화하고 국가 간 갈등 예방과 문화적 조화에 기여할 기술을 개발 중이다. 김 소장은 AI의 안전과 신뢰성이 글로벌 경쟁력의 핵심이라고 강조했다. 그는 "EU AI 법처럼 강력한 규제를 충족하고 호환성을 보장할 수 있는 표준화는 국내 기업들이 유럽 시장을 포함한 글로벌 시장에서 경쟁력을 확보하는 데 필수적"이라며 "브뤼셀 기준과 호환 가능한 표준을 마련해 국내 AI 기술의 EU 시장 진출을 도울 계획"이라고 밝혔다. 또 그는 글로벌 시장에서 국산 AI의 성공 가능성을 낙관적으로 전망했다. 특히 미국과 중국 간의 기술 경쟁이 심화되는 상황에서 디지털 종속에 대한 우려를 가진 중동과 동남아시아 국가들이 한국을 제3의 대안으로 선택할 가능성이 높다는 분석을 내 놓았다. 기술 수준이 두 AI 초강대국에 비해 다소 뒤처지더라도 정치적 리스크가 이러한 선택에 결정적인 영향을 미칠 수 있다는 것이다. 그는 "한국은 데이터, 반도체, 인재, 기술 지원 역량 등 AI 개발의 필요조건을 이미 갖추고 있다"며 "다만 여기에 안전성과 신뢰성이 충분조건으로 작용할 때 국산 AI의 '소프트파워'가 글로벌 시장에 먹혀들 것"이라고 분석했다. 트럼프 당선·AI 기본법 통과…글로벌 AI 생태계 지각 변동 예고 김명주 소장은 AI 기본법 통과와 트럼프 당선이라는 두 가지 중요한 정치적·법적 변수에 대해서도 의견을 밝혔다. 그는 이 두 사안이 한국뿐만 아니라 글로벌 AI 시장과 연구소의 운영 전략에도 영향을 미칠 가능성을 시사했다. 트럼프가 미국 대통령으로 취임한 후 AI 규제가 느슨해질 가능성이 있느냐는 기자의 질문에 김 소장은 규제가 강화될 가능성을 언급했다. 이는 트럼프의 '아메리카 퍼스트' 정책이 자국의 AI를 자유롭게 발전시키는 동시에 다른 나라에는 철저한 제한을 목표로 할 수 있기 때문이다. 또 AI가 전략자원화 되는 현 시점에 적성국을 견제하기 위한 규제 조치를 취할수도 있다는 설명이다. 김 소장은 "트럼프의 미국은 자국이 AI 규제를 선도해야한다는 입장일 가능성이 크다"면서 "산업적인 측면에서의 '사다리 걷어차기' 전략과 안보 정책으로서의 규제를 강력히 도입할 가능성이 있다"고 예측했다. AI 기본법에 대한 분석도 이어졌다. 지난해 12월 국회를 통과한 이 법안은 업계에서 규제와 진흥의 균형을 맞추려는 시도로 평가받으며 대체로 환영받는 분위기다. 다만 일각에서는 치열한 경쟁 상황에서 규제를 최소화해야 한다는 반론도 제기하고 있다. 김 소장은 "AI 기본법은 산업과 안전 중에 산업에 방점을 찍은 법안"이라며 "EU AI법은 주로 규제 내용으로 구성돼 기업들이 숨 쉴 틈이 없는 것과 달리 우리 기본법은 산업 진흥에 70~80%, 규제에 20~30% 정도로 구성돼 기업 부담을 크게 줄였다"고 설명했다. 이어 "향후 시행령과 고시를 통해 보다 합리적인 조정이 가능할 것"이라고 덧붙였다. AI 기본법 통과에 따른 연구소의 소속과 독립 문제도 거론됐다. 현재 AI안전연구소는 ETRI 산하로 운영되고 있지만 법 통과로 인해 독립 기관으로서의 출범 가능성이 열렸기 때문이다. 이에 대해 김 소장은 "법적 가능성은 있지만 아직 결정된 바는 없다"고 밝혔다. 다만 올해 연구소는 ETRI 산하에서 지속적으로 성장할 계획이다. 현재 15명인 조직 규모는 올해 30명으로 증원될 계획으로, 오는 4월 진행될 채용에서는 7명을 새로 선발하며 이 중 5명은 정책·대외협력 분야, 2명은 평가·기술 분야 인재가 포함될 예정이다. 그럼에도 국가기관 특성상 인재 채용 조건의 제한은 아쉬운 점으로 지적된다. 기자 확인 결과 연구소는 ETRI와 마찬가지로 과학 분야 최고 수준의 논문으로 평가받는 SCI급 논문 작성 경험을 가진 연구자만을 선발한다. 이는 정책·거버넌스 분야에서의 채용에는 다소 비효율적일 수 있다는 업계의 비판을 받고 있다. 또 영국 AI 안전연구소가 연구자들에게 약 2억 원의 연봉을 지급하는 것과 비교해 상대적으로 낮은 처우를 제공한다는 지적도 있다. 이에 김 소장은 "국가 예산과 ETRI 구조상 처우를 대폭 개선하기는 어렵다"면서도 "다만 유능한 인재를 끌어들이기 위해 국가 공공기관 평균 연봉보다 2~3천만 원 더 지급해 물가 고려시 영국 연구소의 연봉 수준에 비견하는 수준의 인센티브를 지급하고 있다"고 말했다. 이어 "향후에도 ETRI와 함께 조율해 장기적으로 우수 인재 유치에 더 과감히 투자할 계획으로, 이들이 여기서 쌓는 경험도 개인 커리어에 큰 장점이 될 수 있을 것"이라고 강조했다. 이같이 AI안전연구소는 AI 기술의 안전성과 신뢰성을 강화하며 정책·평가·기술의 통합적 접근을 통해 글로벌 리더십을 확보하는 데 주력하고 있다. AI가 가져올 사회적·경제적 영향을 면밀히 분석하며 이를 바탕으로 국내외 신뢰받는 AI 생태계를 구축해 나가는 것이 연구소의 궁극적인 목표다. 김명주 AI안전연구소장은 "AI는 기술적 진보뿐 아니라 신뢰와 안전을 담보해야 글로벌 시장에서 경쟁력을 가질 수 있다"며 "우리는 기술, 정책, 윤리적 기준을 모두 아우르는 리더십을 통해 국내외 AI 생태계의 신뢰성 확보를 위해 매진할 것"이라고 강조했다.

2025.01.17 15:02조이환 기자

고학수 위원장 "올해 개보위 핵심은 AI…안전연구소 협력 의지"

개인정보보호위원회가 올해 안전한 인공지능(AI) 생태계 조성을 위해 AI안전연구소와 협력할 의지를 내비쳤다. 고학수 개인정보위 위원장은 16일 서울 정부청사에서 열린 정례 브리핑에서 이같은 업무 계획을 밝혔다. 고학수 위원장은 "올해 개인정보위 키워드는 AI"라며 "지난 2년 동안 AI 영역을 자세히 들여다봤다면 올해부터 현장에서 프라이버시, 데이터 생태계 등 실질적인 AI 안전에 집중할 것"이라고 설명했다. 고 위원장은 최근 AI로 인해 발생한 딥페이크와 가짜뉴스, 환각현상 등 부작용이 발생했다고 지적했다. 이에 개인정보위가 늘 강조하는 개인의 자유와 존엄성이 훼손됐다는 설명이다. 그는 "특히 딥페이크는 개인의 존엄성을 전면 침해하고 있다"며 "이를 정부가 근본적으로 어떻게 해결할 것인가 고민해야 할 시점"이라고 말했다. 고 위원장은 AI 부작용 해결과 국민 자유·존엄성 보호를 위해 AI안전연구소와 협력할 것이라고 말했다. 구체적으로는 AI 서비스에 적용되는 데이터 프라이버시 관련 영역에서 가이드라인·관리 모형 등에 협력할 계획이다. 그는"최근 AI안전연구소를 산하로 둔 한국전자통신연구원(ETRI)과 한국정보통신기술협회(TTA)가 지난해 12월 발표한 개인정보위의 AI 리스크 관리 모형에 큰 관심을 보였다"며 "이는 AI안전연구소 입장에서도 당연히 들여다볼 법한 영역이기 때문"이라고 강조했다. "공공영역 처벌법 고려해야"…구글·메타 소송 결과 '낙관' 고학수 위원장은 공공영역 과징금 규모와 처벌 수위를 고려해야 한다고 주장했다. 이는 공공영역 과징금 규모가 민간기업에 비해 낮다는 평가에 대한 반응이다. 개정법 전 공공기관 과징금 상한선은 5억원이었지만 지난해 이를 20억원으로 상향조정됐다. 그러나 여전히 민간기업에 비해 낮은 수준이라는 지적이 이어지고 있다. 이에 고 위원장은 "공공영역은 국민 세금으로 운영되는 곳"이라며 "과징금을 높게 부과하는 것이 세금 낭비로 이어질 수 있다"고 설명했다. 그러면서 "과징금이 아닌 다른 방향으로 처벌을 진행하는 방향으로 바꿀 필요가 있다"고 강조했다. 실제 개인정보위는 공공기관 처벌 사실을 공표하는 것을 선택에서 의무로 전환한 바 있다. 한 번 초사 처분 된 기관은 3년 동안 반복적으로 점검할 수 있는 시스템도 구축된 상태다. 조직 내부에서 문제가 발견될 때 조직적 문제와 개인적 문제를 구분해 징계하는 방식도 추진 중이다. 고학수 위원장은 오는 23일 판결 예정인 구글·메타 소송을 낙관적으로 기대한다고 말했다. 그는 "조만간 결정이 이뤄질 사안"이라며 "낙관적으로 생각하지만 100% 장담할 수는 없는 상황"이라고 덧붙였다.

2025.01.16 17:01김미정 기자

지금 뜨는 기사

이시각 헤드라인

HBM4 출하 경쟁 '과열'...엔비디아 수급 전략이 공급망 핵심 변수

"또 실패는 없다"…구글이 AI 글래스 '킬러앱'에 카톡 찜한 이유

"피지컬 GPT, 한국이 선도할 수 있다"

저평가주 외인 매수세에...SK텔레콤 주가 고공행진

ZDNet Power Center