ZDNet 검색 페이지

'AI 안전'통합검색 결과 입니다. (128건)

"숨 가쁜 글로벌 테크 대전"…파리 AI 정상회의·사우디 리프 2025 연속 개최

인공지능(AI)과 첨단 기술의 미래를 둘러싼 글로벌 경쟁이 치열해지는 가운데 프랑스와 사우디아라비아에서 연이어 대규모 기술 행사가 열린다. 프랑스는 파리 AI 정상회의(AI Action Summit)를 통해 국제 AI 거버넌스와 협력 방안을 논의하고 사우디아라비아는 리프(LEAP) 2025를 통해 중동을 기술 혁신의 허브로 만들기 위한 전략을 본격화한다. 9일 업계에 따르면 프랑스와 사우디에서 잇달아 개최되는 이번 행사에는 전 세계 정부 관계자, 글로벌 테크 기업인, 학계 전문가들이 참석해 첨단 기술과 규제의 미래를 논의할 예정이다. 파리에서는 AI 기술의 윤리적 활용과 글로벌 협력을 강조되고 리야드에서는 AI·반도체·로보틱스·사이버보안을 중심으로 중동 테크 허브 도약이 추진될 예정이다. 한국도 두 행사에 적극적으로 참여한다. 파리 AI 정상회의에는 정부 차원의 지원이 두드러지며 과학기술정보통신부, 개인정보보호위원회, AI안전연구소 등이 참석해 AI 국제 거버넌스 논의에 힘을 보탠다. 사우디 '리프 2025'에서는 네이버가 맞춤형 AI 솔루션을 공개하고 국내 스타트업들이 중동 시장 진출을 모색한다. "AI 글로벌 규범 강화"…파리 정상회의, 거버넌스 논의 본격화 프랑스 정부는 오는 10일부터 이틀간 프랑스 파리 그랑팔레에서 인도 정부와 함께 '파리 AI 정상회의(AI Action Summit)'를 개최한다. 이번 회의는 AI 안전을 넘어 실천적 행동으로 전환하는 것을 목표로 하며 AI 기술이 개발도상국을 포함한 전 세계에 공정하게 혜택을 제공하도록 협력 체계를 구축하는 데 중점을 둔다. 파리 정상회의는 지난 2023년 영국 블레츨리 파크, 2024년 서울 정상회의에 이은 세 번째 글로벌 AI 정상회의다. 행사에는 80개국 이상이 참여하며 AI 국제 거버넌스·일자리 변화·보안 및 안전·공공이익·혁신과 문화 등 5대 핵심 의제를 중심으로 실질적인 정책과 행동 강령이 논의된다. 이번 회의에는 주요 국가 정상, 글로벌 기업 대표, 학계 전문가가 대거 참석한다. 에마뉘엘 마크롱 프랑스 대통령, 나렌드라 모디 인도 총리, JD 밴스 미국 부통령, 딩쉐샹 중국 부총리를 비롯해 샘 알트만 오픈AI 대표, 순다르 피차이 구글 대표, 얀 르쿤 메타 AI 수석과학자 등이 자리한다. 학계에서는 마이클 조던 UC버클리 교수, 에릭 브린욜프손 스탠퍼드 교수가 참석해 AI의 미래에 대한 논의를 이끈다. 국내에서도 정부 및 기업 대표단이 적극 참여한다. 유상임 과학기술정보통신부 장관, 고학수 개인정보보호위원장, 김명주 AI안전연구소장이 주요 세션에 참석하며 기업 차원에서는 전경훈 삼성전자 최고기술책임자(CTO), 최수연 네이버 대표, 김유철 LG AI연구원 전략부문장 등이 글로벌 AI 기술 경쟁력을 알릴 예정이다. 한국AI윤리학회와 정보통신산업진흥원(NIPA) 관계자들도 행사에 함께한다. 회의에서는 AI 안전성 강화를 위한 국제 보고서 발표와 사이버 위기 시뮬레이션이 진행되며 AI로 인한 직업 구조 변화에 대비한 재교육 방안도 논의된다. AI 데이터센터의 에너지 소비 문제를 해결하기 위한 다자간 협약이 추진되며 의료·기후변화 대응 등 50개 글로벌 AI 공공 프로젝트도 소개된다. 업계에서는 파리 정상회의를 통해 글로벌 AI 협력 체계가 한층 강화될 것으로 기대된다. 특히 프랑스는 구글, 메타, 미스트랄 등 AI 연구센터 유치를 확대하며 AI 허브로 도약하는 계기를 마련하고 있다. 한국 역시 반도체·플랫폼 분야의 강점을 바탕으로 글로벌 AI 표준화 논의에서 주도적인 역할을 할 것으로 보인다. 마크롱 프랑스 대통령은 "AI는 서부의 무법지대가 될 수 없다"며 "권리, 환경, 뉴스의 진실성, 지적 재산권을 보호하는 강력한 원칙을 담으면서도 완전히 자발적으로 모든 국가가 서명할 수 있는 선언을 만들기 위해 시도할 것"이라고 말했다. "사우디, 중동 테크 허브로"…'리프 2025'로 韓 기업 중동 진출 기회 확대 사우디아라비아 정부 역시 9일부터 나흘간 리야드 그랑팔레(엑스포센터)에서 국가 최대 IT 행사인 '리프(LEAP) 2025'를 통해 중동 최대 기술 혁신 플랫폼을 구축한다. 이 행사는 비전 2030 전략에 따라 사우디 경제를 석유 중심에서 기술 주도로 전환하는 데 중점을 두며 AI·로보틱스·사이버보안 등 첨단 기술 분야에서 글로벌 리더십을 강화하는 계기가 될 전망이다. 이 행사에는 1천800개 글로벌 테크 기업, 680개 스타트업, 1천명 이상의 글로벌 전문가가 참여한다. 사우디 통신정보기술부(MCIT)와 타할루프(Tahaluf)가 주최하는 이번 행사는 AI 기반 혁신 사례 전시 '딥페스트(DeepFest)', e스포츠 및 스포츠 기술을 다루는 '스포츠테크 트랙', 신기술을 직접 체험할 수 있는 '테크 아레나' 등 다양한 프로그램을 운영한다. 글로벌 테크 리더들도 대거 참석한다. 아르빈드 크리슈나 IBM 대표, 앨리슨 왜건펠트 구글 클라우드 대표 등이 기술 혁신 방향을 논의한다. 전 맨체스터 유나이티드 선수 파트리스 에브라, 전 아스널 선수 마티유 플라미니 같은 스포츠 스타들도 참여해 스포츠와 기술의 접점을 조명할 예정이다. 한국도 적극적으로 참여하며 사우디 시장 공략에 나선다. 네이버는 'AI 포 사우디아라비아, 파워드 바이 네이버'를 테마로 사우디 맞춤형 AI 모델과 자체 대형 언어모델 '하이퍼클로바X'를 선보인다. 또 사우디 국영기업과 디지털 트윈 플랫폼 협약을 체결하며 현지 시장 확대를 노린다. 리벨리온은 AI 반도체 기술을 공개하며 보안기업인 스패로우는 애플리케이션 보안 솔루션을 소개할 예정이다. 김유원 네이버클라우드 대표는 "각국의 문화와 정체성을 존중하는 기술력을 개발하겠다"며 "이로써 글로벌 시장에서 입지를 보다 강화할 것"이라고 강조했다.

2025.02.09 11:07조이환 기자

"中에 정보 털릴까 겁난다"…정부도, 기업도 딥시크 접속 잇따라 차단

중국 인공지능(AI) 스타트업 딥시크의 보안 문제가 제기되면서 국방, 외교, 통상 분야 정부 부처들이 딥시크 접속을 차단했다. 이와 함께 카카오도 사내에서 딥시크 활용을 전면 금지하며 오픈AI와의 협력 영향이 작용한 것 아니냐는 해석이 나오고 있다. 5일 업계에 따르면 국방부, 외교부, 산업통상자원부는 내부 보안상의 판단에 따라 인터넷이 연결된 컴퓨터에서 딥시크 접속을 제한했다. 이는 정부 차원에서 보안 우려를 반영한 조치로 보인다. 이보다 앞서 행정안전부는 지난 3일 중앙부처와 17개 광역 지방자치단체에 딥시크와 챗GPT 같은 생성형 AI 사용에 주의하라는 공문을 발송했다. 해당 공문에서는 생성형 AI에 개인정보를 입력하지 말고 AI가 생성한 결과물을 맹신해서도 안 된다는 점을 강조했다. 업계 관계자들은 이번 조치가 국가정보원의 판단에 따른 것으로 보고 있으며 검증되지 않은 중국산 AI 모델이 국가 안보에 위협을 가할 수 있다는 우려 때문이라고 분석했다. 이와 함께 개인정보보호위원회도 딥시크 본사에 개인정보 수집 항목과 절차 처리 및 보관 방식 등에 대한 확인을 요청하는 질의서를 발송한 것으로 알려졌다. 정부 부처뿐만 아니라 공공기관에서도 딥시크 사용 금지 사례가 늘고 있다. 한국수력원자력(한수원)과 한전KPS 역시 딥시크 사용을 제한하는 조치를 취했다. 다만 이들 기관은 이미 생성형 AI 전체 사용을 금지하고 있어 이번 조치는 기존 방침을 재확인하는 수준이거나 일부 부서에서만 추가로 시행된 것으로 보인다. 한수원 관계자는 "인터넷과 인트라넷을 포함한 전체 업무 환경에서 딥시크 사용을 제한하고 있다"면서도 "다만 지난 1일 전 직원에게 보낸 공문은 이미 지난해부터 시행해온 생성형 AI 금지 조치를 딥시크 등장으로 다시 환기시킨 것"이라고 설명했다. 한전KPS 관계자 역시 "고객사들이 보안을 중요하게 여기는 경우가 많아 원자력 사업부에서 딥시크 사용을 자제하라는 공문을 발송했다"며 "행정안전부의 공문과 유사한 수준의 내용"이라고 전했다. IT 업계에서도 비슷한 흐름이 감지되고 있다. 카카오는 5일 사내 AI 활용 정책을 개정해 보안과 윤리적 측면에서 충분한 검증이 이루어지지 않은 AI에 대한 우려를 반영해 사내 업무용으로 딥시크 사용을 금지한다고 공지했다. 딥시크가 이용자의 기기 정보, IP, 키보드 입력 패턴 등을 수집해 중국 내 서버에 저장한다는 의혹이 제기된 데 따른 조치다. 다만 업계에서는 카카오의 결정이 오픈AI와의 협력 발표 직후 나왔다는 점에 주목하며 여러 해석을 내놓고 있다. 특히 정신아 카카오 대표와 샘 알트먼 오픈AI 대표가 지난 4일 서울 중구 플라자 호텔에서 5천만 카카오 플랫폼 이용자를 대상으로 '챗GPT' 애플리케이션 프로그램 인터페이스(API)를 제공하는 협력을 발표한 직후였다는 점에서 오픈AI의 영향을 고려한 조치일 가능성이 제기된다. 실제로 딥시크가 지난달 20일 공개한 'R1' 모델은 오픈AI의 최신 추론 모델인 'o1'과 유사한 성능을 보이면서도 전면 오픈소스로 무료 제공돼 오픈AI에도 부담을 줬다는 분석이 나온다. 이에 대응하듯 오픈AI는 'R1' 발표 직후 'o3 미니모델'을 공개했으며 이는 'R1'과 유사한 성능을 갖추면서도 무료로 제공됐다. 또 기존 'o1' 모델에서는 비공개였던 AI의 사고 과정도 'R1'과 같이 투명하게 공개했다. 이러한 흐름 속에서 업계 일각에서는 카카오가 오픈AI의 영향을 받아 딥시크 사용을 차단했거나 최소한 이를 염두에 둔 결정이었을 가능성을 제기하고 있다. 이 같은 상황 속에 딥시크는 보안 문제가 제기되며 우리나라뿐 아니라 해외 여러 나라에서도 사용을 자제하고 나섰다. 100만 건 이상의 보안 문제 사례에 대한 의혹과 함께 AI 모델이 이용자 정보를 과도하게 수집한다는 지적이 이어지면서 정보 유출 우려가 커진 상황이다. 이에 이탈리아와 호주 정부는 일찌감치정부 사용 시스템과 기기에서 딥시크 사용을 금지하기도 했다. 업계 관계자는 "딥시크 같은 중국산 AI는 보안과 지정학적 리스크를 안고 있는 것이 사실"이라며 "이 때문에 '챗GPT' 서비스와 API가 국내에서 상대적으로 더 선호될 가능성이 크다"고 전망했다.

2025.02.05 22:36조이환 기자

메타, AI 위험성 평가 기준 확립…"치명적 위협 피하겠다"

메타가 인공지능(AI) 오픈소스 전략을 유지하면서도 보안 위험이 높은 시스템의 개발과 배포를 제한하기로 했다. AI 기술의 혁신과 보안 사이에서 균형을 맞추겠다는 방침이다. 4일 테크크런치에 따르면 메타는 AI 시스템의 위험도를 평가하고 관리하기 위한 내부 정책인 '프론티어 AI 프레임워크'를 발표했다. 이 문서를 기반으로 메타는 AI 기술이 초래할 수 있는 보안 위험을 고려해 '고위험'과 '치명적 위험' 두 단계로 분류하고 이에 따라 개발과 공개 여부를 결정할 계획이다. 메타에 따르면 '고위험' AI 시스템을 사이버 보안 침해, 화학·생물학적 공격을 돕는 기술이다. 다만 '고위험' 시스템은 공격을 보다 쉽게 수행할 수 있게 만들지만 완전한 성공을 보장하지는 않는다. 메타는 '치명적 위험' AI 시스템을 두고 통제할 수 없는 치명적인 결과를 초래할 수 있는 기술로 정의했다. 일례로 '최신 보안이 적용된 기업 네트워크를 자동으로 침해하는 기술'과 '고위험 생물학적 무기의 확산' 가능성이 '치명적 위험'에 해당된다. 회사는 AI가 '고위험 시스템'으로 분류될 경우 내부 접근을 제한하고 위험도를 '중간 수준'으로 낮출 때까지 공개하지 않기로 했다. '치명적 위험'으로 평가된 시스템은 보안 조치를 통해 유출과 개발이 즉시 중단된다. 다만 회사의 위험 정의 리스트는 완전하지 않은 상태로, AI 기술 발전에 따라 지속적으로 업데이트될 예정이다. 또 AI 시스템의 위험도는 단순한 정량적 테스트가 아닌 내부 및 외부 연구진의 평가를 바탕으로 최고위 의사 결정자들의 승인을 받는 방식으로 운영될 예정이다. 업계에서는 메타의 이번 정책 발표를 두고 AI 기술 개방과 보안 리스크 사이의 균형을 찾으려는 움직임으로 분석한다. 메타는 경쟁사인 오픈AI와 달리 AI 모델을 오픈소스 모델로 제공해왔다. 실제로 메타의 AI 모델 '라마' 시리즈는 수억 회 다운로드되며 전 세계에서 활용되고 있다. 다만 오픈소스 모델 특성 상 누구나 사용할 수 있다는 점 때문에 거대한 위험을 초래할 수 있다는 비판이 꾸준히 제기되고 있다. 메타 관계자는 "AI 기술을 사회에 제공하면서도 적절한 수준의 위험을 유지하는 것이 가능하다"며 "기술의 이점과 위험을 모두 고려한 개발 및 배포 전략을 지속할 것"이라고 밝혔다.

2025.02.04 14:56조이환 기자

[트럼프 취임] 美 정권 교체 앞두고 AI 행정명령 폐지 예고…안전성 공백 '우려'

도널드 트럼프 미국 대통령 당선인이 공식 취임을 앞둔 가운데 인공지능(AI) 안전성에 대한 규제가 크게 완화될 가능성이 제기되고 있다. 이에 업계와 전문가들은 미국 내 AI 규범 공백이 발생해 혼란이 초래될 수 있다고 우려하고 있다. 21일 업계에 따르면 트럼프 당선인은 대선 전부터 바이든 행정부의 AI 행정명령을 철폐하겠다는 의사를 지속적으로 밝혀왔다. 지난 2023년 도입된 이 행정명령은 AI 기술의 안전하고 책임 있는 개발을 촉진하고자 하는 목적을 담고 있었지만 공화당과 트럼프 캠프는 이를 지나치게 관료주의적이라고 비판해왔다. 부통령 당선인 J.D 밴스 역시 트럼프와 동일한 입장을 견지해 왔다. 지난해 7월 상원 청문회에서 밴스는 "선제적 과잉 규제 시도가 기존 빅테크 기업들을 고착화시킬 가능성이 높다”고 주장하며 행정명령에 대해 부정적 견해를 드러낸 바 있다. 이같은 트럼프 진영의 행정명령 철폐 기조는 해당 명령이 강조해 온 ▲AI 모델 배포 전 안전성 테스트 ▲AI 개발 및 사용에 대한 연방 차원의 감독 ▲정부 주도 안전 기준에 대한 전면적인 거부 등의 결과를 초래할 수 있다는 점에서 전문가들의 경고가 이어지고 있다. AI 안전 연구자 로만 얌폴스키는 "고급 AI 시스템 훈련과 관련된 규제를 제거하는 것은 미국 국민과 전 세계의 안전을 위해 최악의 선택"이라고 지적했다. 이같은 우려는 이미 트럼프 당선 후 빅테크 기업의 최근 행보에서도 드러난다. 메타는 지난 7일 미국 내 인스타그램 및 페이스북 게시물에 대한 제3자 '팩트체킹 프로그램'을 운영하지 않겠다고 발표했다. 이 프로그램은 지난 2016년부터 전문가들이 허위정보를 걸러내기 위해 가동된 알고리즘이다. 메타는 기존의 프로그램 대신 엑스의 '커뮤니티 노트'와 유사한 기능을 추가하겠다는 방침이다. 커뮤니티 노트는 논란이 되는 게시물을 삭제하거나 제한하기보다 일반 사용자가 게시물에 다양한 의견을 붙여 사실 여부를 공개적으로 검증하는 방식으로, 대중의 판단에 기반하기 때문에 허위정보 확산을 막기에 충분치 않다는 비판을 받고 있다. '팩트체킹 프로그램'을 중지한 이유에 대해 마크 저커버그 메타 대표는 “팩트체크 전문가들이 정치적으로 편향돼 오히려 신뢰를 떨어뜨렸다”고 주장했다. 업계 일각에서는 이 주장을 곧이곧대로 받아들이기 어렵다고 지적하고 있다. 오히려 메타의 결정이 비용 효율성을 고려한 전략적 선택으로, AI가 24시간 운영이 가능하며 인건비 부담이 적기 때문에 프로그램을 폐지했다는 해석이다. 여기에 트럼프 행정부의 규제 완화 기조가 빅테크 기업들에 보다 자유로운 운영 환경을 제공할 것이라는 판단이 더해져 메타가 이러한 결정을 내렸다는 분석을 내리고 있는 것이다. 한 국내 AI 업계 관계자는 "메타의 결정은 트럼프 행정부의 정책 변화를 예상한 선제적 대응일 수 있다"면서도 "이와 함께 AI 기술 발전으로 인한 정확도 개선과 비용 효율성 등 다양한 요인이 복합적으로 작용했을 것"이라고 설명했다. 빅테크가 규범 공백 속에서 AI 안전성을 경시할 수 있음을 드러내는 또 다른 사례는 일론 머스크가 이끄는 AI 회사 xAI의 챗봇 '그록(Grok)'이다. 이 AI는 검열 없이 답변을 생성한다는 점이 특징으로, 트럼프 당선 이전부터 AI 안전성과 윤리적 책임에 대한 논란의 중심에 서 왔다. '그록'은 지난 2023년 11월 최초 출시된 이후 지속적인 업데이트를 통해 점차 그 특성을 강화해왔다. 특히 머스크의 정책 기조에 따라 정치적·인종적·문화적으로 민감한 질문에도 제한 없이 답변하거나 수위 높은 이미지를 생성하는 등 논란이 계속되고 있다. 가디언에 따르면 '그록'은 지난해 테일러 스위프트나 카멀라 해리스 등 실존 인물의 선정적 사진을 합성하는 등 문제적 콘텐츠를 생성해 우려를 키웠다. 이러한 xAI의 기조를 트럼프 전 대통령과 머스크 간의 정치적 연대가 보다 강화할 것이라는 분석 역시 제기된다. 머스크는 지난해 7월 트럼프 전 대통령 암살 시도 사건 이후 트럼프에 대한 공개적인 지지를 선언하며 매월 약 4천500만 달러(한화 약 600억원)를 트럼프 지지단체에 지원해 왔다. 이에 '그록'이 편향된 정보를 확대 생산할 가능성에 대한 우려 역시 커지고 있다. 실제로 '그록'은 미국 대선 당시 카멀라 해리스 전 부통령 후보가 후보자들에 대한 부정적인 발언을 했다는 등의 왜곡된 부정적 정보를 제공했다. 이같은 사례는 향후 AI가 트럼프와의 정치적 연대를 배경으로 특정 이익을 위해 더욱 편향된 정보를 제공할 가능성을 높여 민주적 과정의 공정성을 심각하게 위협할 수 있다는 우려를 낳고 있다. 미국 비영리 미디어 단체 프리 프레스의 노라 베나비데즈 선임 고문은 "머스크는 플랫폼을 인수한 이래 안전성 테스트를 고려하지 않은 대대적인 변화를 강행해왔다"며 "지금까지의 행태를 보면 앞으로 더 심각한 결과를 초래할 가능성이 크다"고 경고했다. 또 AI가 이미 국가 안보 차원에서 핵심 전략 자원으로 간주되는 만큼 트럼프 행정부가 들어서면 AI의 군사화가 보다 가속화될 것이라는 전망이 제기되고 있다. AI의 안보자원화는 현재 이미 진행 중이다. 지난해 12월 오픈AI와 미국 방산 업체인 안두릴 인더스트리즈는 국가 안보를 위한 AI 솔루션 개발을 목표로 한 파트너십을 발표했다. 중국 역시 지난해 메타의 라마(Llama) 모델을 활용해 군사용 AI 개발에 착수하며 AI 무기화 경쟁을 본격화하는 양상을 보이고 있다. 업계에서는 트럼프 행정부가 미중 경쟁 구도 속에서 AI 군사화를 더욱 빠른 속도로 추진할 가능성이 크다고 평가한다. 대통령 재임기에 미국 우선주의 기조 아래 대규모 거버넌스나 국제적 합의에 대한 언급을 꺼려왔기에 AI의 군사적 활용을 주저하지 않을 것이라는 전망이다. 실제로 트럼프 계열 싱크탱크는 지난해 'AI 맨해튼 프로젝트'라는 계획안을 선제적으로 제안하며 AI를 국가 전략 자원으로 전환할 것을 권고한 바 있다. 김명주 AI안전연구소장은 "트럼프 대통령의 '아메리카 퍼스트' 기조가 재현되면 적성국 제재를 강화해 프런티어 LLM 기술의 해외 서비스가 완전히 제한될 가능성이 있다"며 "이를 통해 미국이 AI 선도적 지위를 독점적으로 유지하려 할 가능성이 있다"고 전망했다. 이어 그는 "심지어는 미국이 '책임 있는 능력(Responsible capability)'과 같은 기존 AI 안전·거버넌스 용어를 활용해 타국에 강도 높은 규제를 요구할 가능성도 있다"며 "결과적으로 규제 개념이 자국 AI의 독주를 위해 활용될 가능성이 있다"고 분석했다.

2025.01.21 08:01조이환 기자

[AI 리더스] 김명주 AI안전연구소장 "AI 신뢰도 제고, 韓 기업 글로벌 성공에 필수"

"인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다고 봅니다. 결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이지요." 김명주 AI안전연구소(AISI) 초대 소장은 최근 기자와 만난 자리에서 정부와 기업이 협력해 AI 거버넌스를 강화하고 안전성을 확보해야 한다고 강조하며 이같이 말했다. 17일 업계에 따르면 글로벌 AI 산업이 빠르게 성장함에 따라 정부가 기술 혁신과 안전성·신뢰성 확보를 위한 법·제도 개선에 박차를 가하고 있다. 이같은 정책적 움직임을 뒷받침하기 위해 세워진 AI안전연구소의 김명주 소장은 연구소의 역할과 비전, AI 관련 글로벌 동향 및 기술 경쟁 속에서의 과제를 공유하며 AI의 안전성과 신뢰성을 높이기 위한 전략적 노력이 필수적임을 강조했다. "글로벌 기준 선도"…정책-기술 잇는 AI안전연구소 역할 AI안전연구소는 지난해 11월 전자통신연구원(ETRI) 산하로 출범해 국가 AI 정책 수립을 지원하고 기술의 빠른 발전이 가져올 안전성과 윤리적 문제를 해결하기 위해 박차를 가하고 있다. 현재 연구소는 ▲글로벌 정책 동향 분석 및 AI 위험 대응을 맡는 'AI안전정책 및 대외협력실' ▲위험 정의와 평가 프레임워크를 개발하는 'AI안전평가실' ▲딥페이크 방지와 AI 보안 기술 연구에 집중하는 'AI안전연구실'로 구성돼 있다. 연구소는 이러한 구조를 통해 독립적이면서도 유기적으로 '정책·평가·기술'을 통합 운영해 AI의 안전성과 경쟁력을 높이는 데 집중한다. 이 구조는 해외 AI 연구소들과의 차별점으로 지목된다. 영국·미국·일본·싱가포르 등 여러 국가에서도 AI안전연구소를 운영 중이지만 자본과 보유 기술의 한계 등으로 인해 기술과 정책을 통합적으로 다루는 경우가 많지 않기 때문이다. 김 소장은 "미국과 영국의 AI안전연구소는 리더십 자체가 정책 전문가나 비즈니스 전문가 중심인 경우가 많다"면서 "국내 우리 연구소는 정책·거버넌스뿐 아니라 기술과 표준화에도 동일한 비중을 두고 운영 체계를 마련했다"고 설명했다. 업계에서는 김 소장을 국내 AI안전연구소의 비전 실현에 적합한 리더로 평가한다. 정책과 기술 모두에 정통한 전문가로, 이 두 분야를 통합적으로 이끌어가는 데 강점을 지니고 있기 때문이다. 그는 지난 1993년 서울대에서 컴퓨터공학 박사 학위를 취득한 후 약 30년간 서울여대에서 정보보안을 가르치며 IT 윤리와 거버넌스 분야에서도 20년 이상 활동해왔다. 김 소장은 "사이버 보안을 비롯한 컴퓨터 공학이 원래 전문 분야지만 윤리와 거버넌스까지 함께 다룰 줄 아는 것이 연구소 운영에 큰 도움이 된다"며 "AI 문제는 결국 사람에게 미치는 영향을 종합적으로 살펴야 한다"고 설명했다. AI 신뢰성 위해 '전방위 리스크맵' 구축…다방면서 시민·국제 사회 조율 이러한 목적을 위해 AI안전연구소는 AI의 안전성과 신뢰성을 확보하기 위한 '전방위적 리스크 맵' 작업을 진행 중이다. AI의 위험을 종합적으로 분석하고 윤리와 안전을 모두 포괄하는 접근을 하기 위함이다. 현재 메사추세츠 공과대학(MIT) 등 다양한 글로벌 기관에서 리스크 맵을 발표했지만 대부분 개발자와 사업자 관점에 치우쳐 있어 윤리적·안전적 관점을 충분히 반영하지 못했다는 평가를 받고 있다. 기존의 난점을 극복하기 위해 연구소는 보안 개념을 중요한 연구 주제로 삼고 있다. 지난 2022년 오픈AI '챗GPT' 출시 직후 AI 안전에 대한 논의는 AI가 인류에게 존재론적 위협을 초래할 것이라는 '터미네이터형 리스크'에 집중됐다. 그런데 실제로 닥쳤던 현실적인 문제는 오픈AI의 오픈소스 버그로 인한 사용자 대화 기록 유출 사건이었다. 이후 170개 이상의 취약점이 패치되며 문제가 해결됐지만 이 사건은 AI 시스템의 취약성을 여실히 드러낸 사례로 평가된다. 김 소장은 "'챗GPT'의 경우 버그바운티를 통해 지난 2년간 취약점을 패치하면서 최근에야 비로소 문제를 해결했다"며 "AI 모델 내부의 취약점도 중요하지만 해커가 외부 네트워크를 통해 공격하지 못하도록 방어 체계를 갖추는 것이 필수적"이라고 강조했다. 이어 "연구소는 이를 위해 기술적 연구와 대응 방안을 적극적으로 개발 중"이라고 밝혔다. 또 그는 올바른 AI 안전 수립을 위한 시민과의 소통의 중요성을 강조했다. 딥페이크 문제, AI로 인한 일자리 위협 등과 같이 일반 시민들이 느끼는 공포가 증가하고 있는 상황에서 기술만으로는 이러한 문제를 해결할 수 없기 때문이다. 김 소장은 "사회적으로 큰 파장을 일으키는 문제에는 제도적·윤리적 지원이 필수적"이라며 "기술 발전뿐만 아니라 실질적인 해킹 문제와 시민이 느끼는 불안까지 고려한 전방위 리스크 맵을 만들고 있다"고 밝혔다. 연구소는 이러한 목표를 달성하기 위해 글로벌 협력과 표준화 작업에도 박차를 가하고 있다. 특히 AI 안전 표준화에 전문성을 가진 싱가포르 AI안전연구소와 협력해 AI 취약성 평가와 안전 프레임워크의 글로벌 기준을 마련하고 있다. 김 소장은 "싱가포르는 AI 이전부터 이미 표준화에서 상당한 전문성과 노하우를 보유한 나라"라며 "협력을 통해 국제적으로 통용될 수 있는 AI 안전 기준을 구축하고자 한다"고 설명했다. 국제 거버넌스 협력도 활발히 진행 중이다. 연구소는 오는 3월 프랑스 파리에서 열리는 AI 정상회의에 참가해 글로벌 AI 안전 거버넌스 구축에 기여할 예정이다. 선진국·개발도상국 간 AI 기술 지원과 AI 국제지구 설립이 주로 논의될 이 회의에서 김 소장은 OECD 산하 글로벌 AI 파트너십(GPAI) 자문위원으로서 이 회의에서 중요한 역할을 할 것으로 기대된다. 또 연구소는 다문화·다언어(MCML) 프로젝트를 통해 AI 모델의 언어적·문화적 편향을 분석하고 이를 교정하는 작업을 수행하고 있다. 이를 통해 AI의 공정성과 신뢰성을 강화하고 국가 간 갈등 예방과 문화적 조화에 기여할 기술을 개발 중이다. 김 소장은 AI의 안전과 신뢰성이 글로벌 경쟁력의 핵심이라고 강조했다. 그는 "EU AI 법처럼 강력한 규제를 충족하고 호환성을 보장할 수 있는 표준화는 국내 기업들이 유럽 시장을 포함한 글로벌 시장에서 경쟁력을 확보하는 데 필수적"이라며 "브뤼셀 기준과 호환 가능한 표준을 마련해 국내 AI 기술의 EU 시장 진출을 도울 계획"이라고 밝혔다. 또 그는 글로벌 시장에서 국산 AI의 성공 가능성을 낙관적으로 전망했다. 특히 미국과 중국 간의 기술 경쟁이 심화되는 상황에서 디지털 종속에 대한 우려를 가진 중동과 동남아시아 국가들이 한국을 제3의 대안으로 선택할 가능성이 높다는 분석을 내 놓았다. 기술 수준이 두 AI 초강대국에 비해 다소 뒤처지더라도 정치적 리스크가 이러한 선택에 결정적인 영향을 미칠 수 있다는 것이다. 그는 "한국은 데이터, 반도체, 인재, 기술 지원 역량 등 AI 개발의 필요조건을 이미 갖추고 있다"며 "다만 여기에 안전성과 신뢰성이 충분조건으로 작용할 때 국산 AI의 '소프트파워'가 글로벌 시장에 먹혀들 것"이라고 분석했다. 트럼프 당선·AI 기본법 통과…글로벌 AI 생태계 지각 변동 예고 김명주 소장은 AI 기본법 통과와 트럼프 당선이라는 두 가지 중요한 정치적·법적 변수에 대해서도 의견을 밝혔다. 그는 이 두 사안이 한국뿐만 아니라 글로벌 AI 시장과 연구소의 운영 전략에도 영향을 미칠 가능성을 시사했다. 트럼프가 미국 대통령으로 취임한 후 AI 규제가 느슨해질 가능성이 있느냐는 기자의 질문에 김 소장은 규제가 강화될 가능성을 언급했다. 이는 트럼프의 '아메리카 퍼스트' 정책이 자국의 AI를 자유롭게 발전시키는 동시에 다른 나라에는 철저한 제한을 목표로 할 수 있기 때문이다. 또 AI가 전략자원화 되는 현 시점에 적성국을 견제하기 위한 규제 조치를 취할수도 있다는 설명이다. 김 소장은 "트럼프의 미국은 자국이 AI 규제를 선도해야한다는 입장일 가능성이 크다"면서 "산업적인 측면에서의 '사다리 걷어차기' 전략과 안보 정책으로서의 규제를 강력히 도입할 가능성이 있다"고 예측했다. AI 기본법에 대한 분석도 이어졌다. 지난해 12월 국회를 통과한 이 법안은 업계에서 규제와 진흥의 균형을 맞추려는 시도로 평가받으며 대체로 환영받는 분위기다. 다만 일각에서는 치열한 경쟁 상황에서 규제를 최소화해야 한다는 반론도 제기하고 있다. 김 소장은 "AI 기본법은 산업과 안전 중에 산업에 방점을 찍은 법안"이라며 "EU AI법은 주로 규제 내용으로 구성돼 기업들이 숨 쉴 틈이 없는 것과 달리 우리 기본법은 산업 진흥에 70~80%, 규제에 20~30% 정도로 구성돼 기업 부담을 크게 줄였다"고 설명했다. 이어 "향후 시행령과 고시를 통해 보다 합리적인 조정이 가능할 것"이라고 덧붙였다. AI 기본법 통과에 따른 연구소의 소속과 독립 문제도 거론됐다. 현재 AI안전연구소는 ETRI 산하로 운영되고 있지만 법 통과로 인해 독립 기관으로서의 출범 가능성이 열렸기 때문이다. 이에 대해 김 소장은 "법적 가능성은 있지만 아직 결정된 바는 없다"고 밝혔다. 다만 올해 연구소는 ETRI 산하에서 지속적으로 성장할 계획이다. 현재 15명인 조직 규모는 올해 30명으로 증원될 계획으로, 오는 4월 진행될 채용에서는 7명을 새로 선발하며 이 중 5명은 정책·대외협력 분야, 2명은 평가·기술 분야 인재가 포함될 예정이다. 그럼에도 국가기관 특성상 인재 채용 조건의 제한은 아쉬운 점으로 지적된다. 기자 확인 결과 연구소는 ETRI와 마찬가지로 과학 분야 최고 수준의 논문으로 평가받는 SCI급 논문 작성 경험을 가진 연구자만을 선발한다. 이는 정책·거버넌스 분야에서의 채용에는 다소 비효율적일 수 있다는 업계의 비판을 받고 있다. 또 영국 AI 안전연구소가 연구자들에게 약 2억 원의 연봉을 지급하는 것과 비교해 상대적으로 낮은 처우를 제공한다는 지적도 있다. 이에 김 소장은 "국가 예산과 ETRI 구조상 처우를 대폭 개선하기는 어렵다"면서도 "다만 유능한 인재를 끌어들이기 위해 국가 공공기관 평균 연봉보다 2~3천만 원 더 지급해 물가 고려시 영국 연구소의 연봉 수준에 비견하는 수준의 인센티브를 지급하고 있다"고 말했다. 이어 "향후에도 ETRI와 함께 조율해 장기적으로 우수 인재 유치에 더 과감히 투자할 계획으로, 이들이 여기서 쌓는 경험도 개인 커리어에 큰 장점이 될 수 있을 것"이라고 강조했다. 이같이 AI안전연구소는 AI 기술의 안전성과 신뢰성을 강화하며 정책·평가·기술의 통합적 접근을 통해 글로벌 리더십을 확보하는 데 주력하고 있다. AI가 가져올 사회적·경제적 영향을 면밀히 분석하며 이를 바탕으로 국내외 신뢰받는 AI 생태계를 구축해 나가는 것이 연구소의 궁극적인 목표다. 김명주 AI안전연구소장은 "AI는 기술적 진보뿐 아니라 신뢰와 안전을 담보해야 글로벌 시장에서 경쟁력을 가질 수 있다"며 "우리는 기술, 정책, 윤리적 기준을 모두 아우르는 리더십을 통해 국내외 AI 생태계의 신뢰성 확보를 위해 매진할 것"이라고 강조했다.

2025.01.17 15:02조이환 기자

엔비디아 '네모 가드레일' 공개…에이전트 폭주 방지로 AI 신뢰도 ↑

엔비디아가 생성형 AI 시대를 맞아 '네모 가드레일(NeMo Guardrails)' 솔루션을 통해 거대 언어 모델(LLM) 활용에 필요한 안전성과 신뢰도를 대폭 높이고 있다. 개발자가 직접 AI의 안전장치인 '가드레일'을 프로그래밍해 AI 에이전트(Agentic AI)를 제어·관리할 수 있는 것이 핵심으로, 엔비디아는 이를 오픈소스 형태로 제공해 다양한 서드파티 솔루션·브랜드 정책과 연동할 수 있도록 제공한다. 16일 업계에 따르면 최근 여러 기업들이 LLM 기술을 활용한 에이전트 AI를 경쟁적으로 선보이고 있다. 이러한 초거대 언어 모델이 예기치 않은 발언을 하거나 민감 정보를 노출하는 등 위험 요소가 늘어남에 따라 이를 사전에 제어·차단하는 '가드레일' 수요도 빠르게 증가하는 추세다. 이에 대응해 지난 2023년 4월 출시된 엔비디아 네모 가드레일은 크게 ▲콘텐츠 안전성 ▲주제 제어 ▲탈옥 방지 등 세 가지 주요 가드레일 모델로 구성됐다. 각각 유해·위험 발언 차단, 대화 주제 이탈 방지, 보안 우회 시도 차단에 특화됐다. 엔비디아 측은 이러한 가드레일을 병렬로 적용해도 처리 지연(latency)이 크지 않도록 GPU 최적화를 거쳤다고 강조하고 있다. '네모 가드레일'의 '콘텐츠 안전성(Content Safety)' 기능은 AI 대화나 에이전트가 생성하는 텍스트에서 유해·위험·비윤리적 발언을 사전에 차단한다. 엔비디아의 '이지스 콘텐츠 안전 데이터셋'으로 학습됐으며 3만5천 건 이상의 인공지능 안전성 주석 데이터를 바탕으로 폭넓은 시나리오를 커버한다. 이를 통해 잘못된 정보나 악의적 콘텐츠가 사용자에게 직접 전달되는 상황을 줄일 수 있다는 설명이다. '주제 제어(Topic Control)'는 대화 주제가 시스템 프롬프트나 브랜드 정책에서 벗어나지 않도록 관리한다. 단순 질의응답을 넘어 여러 차례의 대화가 이어질 때 에이전트가 불필요하거나 민감한 영역으로 빠지는 것을 막아주는 역할을 한다. 일례로 자동차 제조사 에이전트의 경우 경쟁사 차량과의 비교 등의 발언을 아예 금지하거나 특정 주제만 다루도록 제한하는 식이다. 복잡한 대화가 진행될수록 브랜드 일관성·규제 준수가 중요해지는 산업군에서 특히 주목받고 있다. '탈옥(Jailbreak) 방지' 모델은 AI 모델이 설정된 보호 장치를 교묘하게 우회해 민감 정보를 드러내거나 부적절한 기능을 수행하지 못하도록 막는다. 엔비디아는 1만7천 개 이상의 악의적 프롬프트 샘플을 통해 모델을 학습시켰으며 내부의 LLM 레드팀 테스트 툴을 활용해 새롭게 등장하는 공격 방식을 지속적으로 탐지·학습한다. 이를 통해 기업들이 실제 환경에서 운영 중인 AI 에이전트의 보안을 한층 더 강화하고 있다. '네모 가드레일'은 엔비디아 AI 엔터프라이즈 라이선스 체계로 운영되며 GPU당 연간 4천500달러(한화 약 630만원) 선의 비용이 소요된다. 실제 사용량과 기업 규모에 따라 차이가 발생할 수 있으나 개발 및 배포 효율성·안정성을 감안하면 비용 대비 효과가 충분하다는 것이 엔비디아 측의 설명이다. 이와 별개로 네모 가드레일 기본 프레임워크 자체는 오픈소스로 무료 제공된다. 이러한 기본 모드의 오픈소스 정책에 따라 기업이 직접 정책을 추가하거나 서드파티 가드레일을 도입하기가 용이하다. 엔비디아 측은 모든 이용 사례와 규정을 자사가 일일이 규정할 수 없으므로 오픈소스·모듈형 설계를 채택해 각 기업이 상황에 맞게 커스터마이징할 수 있게 했다는 입장이다. 업계에서는 특정 산업 규제나 민감 데이터 처리를 위한 맞춤형 가드레일을 구축하기 한층 수월해졌다는 평가를 하고 있다. 실제로 소매업, 통신사, 자동차 산업 등 다양한 분야의 기업들이 이미 '네모 가드레일'을 활용해 에이전트 제어 시스템을 구현하고 있다. 민감한 금융·청구 관련 정보를 다루거나 안전 운행을 보조해야 하는 경우처럼 오류나 부적절한 정보 노출이 절대 불가한 상황에서 가드레일의 역할이 돋보인다는 설명이다. 업계 전문가들은 "에이전틱 AI 시대에 IT 부서들이 AI를 인사·총무처럼 관리할 필요성이 커지는 와중에 이런 역할을 수행하는 솔루션 중 하나가 '네모 가드레일'"이라며 "가드레일 도입을 통해 AI가 사용자에게 줄 수 있는 가치는 키우면서도 위험 요소는 줄이는 길이 열리도록 해야한다"고 평가했다.

2025.01.16 23:05조이환 기자

고학수 위원장 "올해 개보위 핵심은 AI…안전연구소 협력 의지"

개인정보보호위원회가 올해 안전한 인공지능(AI) 생태계 조성을 위해 AI안전연구소와 협력할 의지를 내비쳤다. 고학수 개인정보위 위원장은 16일 서울 정부청사에서 열린 정례 브리핑에서 이같은 업무 계획을 밝혔다. 고학수 위원장은 "올해 개인정보위 키워드는 AI"라며 "지난 2년 동안 AI 영역을 자세히 들여다봤다면 올해부터 현장에서 프라이버시, 데이터 생태계 등 실질적인 AI 안전에 집중할 것"이라고 설명했다. 고 위원장은 최근 AI로 인해 발생한 딥페이크와 가짜뉴스, 환각현상 등 부작용이 발생했다고 지적했다. 이에 개인정보위가 늘 강조하는 개인의 자유와 존엄성이 훼손됐다는 설명이다. 그는 "특히 딥페이크는 개인의 존엄성을 전면 침해하고 있다"며 "이를 정부가 근본적으로 어떻게 해결할 것인가 고민해야 할 시점"이라고 말했다. 고 위원장은 AI 부작용 해결과 국민 자유·존엄성 보호를 위해 AI안전연구소와 협력할 것이라고 말했다. 구체적으로는 AI 서비스에 적용되는 데이터 프라이버시 관련 영역에서 가이드라인·관리 모형 등에 협력할 계획이다. 그는"최근 AI안전연구소를 산하로 둔 한국전자통신연구원(ETRI)과 한국정보통신기술협회(TTA)가 지난해 12월 발표한 개인정보위의 AI 리스크 관리 모형에 큰 관심을 보였다"며 "이는 AI안전연구소 입장에서도 당연히 들여다볼 법한 영역이기 때문"이라고 강조했다. "공공영역 처벌법 고려해야"…구글·메타 소송 결과 '낙관' 고학수 위원장은 공공영역 과징금 규모와 처벌 수위를 고려해야 한다고 주장했다. 이는 공공영역 과징금 규모가 민간기업에 비해 낮다는 평가에 대한 반응이다. 개정법 전 공공기관 과징금 상한선은 5억원이었지만 지난해 이를 20억원으로 상향조정됐다. 그러나 여전히 민간기업에 비해 낮은 수준이라는 지적이 이어지고 있다. 이에 고 위원장은 "공공영역은 국민 세금으로 운영되는 곳"이라며 "과징금을 높게 부과하는 것이 세금 낭비로 이어질 수 있다"고 설명했다. 그러면서 "과징금이 아닌 다른 방향으로 처벌을 진행하는 방향으로 바꿀 필요가 있다"고 강조했다. 실제 개인정보위는 공공기관 처벌 사실을 공표하는 것을 선택에서 의무로 전환한 바 있다. 한 번 초사 처분 된 기관은 3년 동안 반복적으로 점검할 수 있는 시스템도 구축된 상태다. 조직 내부에서 문제가 발견될 때 조직적 문제와 개인적 문제를 구분해 징계하는 방식도 추진 중이다. 고학수 위원장은 오는 23일 판결 예정인 구글·메타 소송을 낙관적으로 기대한다고 말했다. 그는 "조만간 결정이 이뤄질 사안"이라며 "낙관적으로 생각하지만 100% 장담할 수는 없는 상황"이라고 덧붙였다.

2025.01.16 17:01김미정 기자

AI 기술 활용한 약물-심혈관계 부작용 예측 모델 개발 추진

한국의약품안전관리원(이하 의약품안전원)은 '인공지능 기반 심혈관계 부작용 예측 모델 개발 사업'을 추진, 오는 24일까지 제안서를 접수한다고 밝혔다. 의약품안전원은 주요 의약품 부작용의 일종인 심혈관계 부작용의 발생 가능성을 낮추고 위해요인을 파악하기 위해 이번 용역을 실시, 사업을 통해 주요 약물-심혈관계 부작용 분석의 기초 기술을 개발해 능동적 약물감시 경쟁력이 한층 더 향상될 것으로 기대하고 있다. 사업 참여 대상 기관은 ▲ 공통데이터모델(Common Data model, CDM)을 활용한 인공지능 기반의 심혈관계 부작용 예측모델 개발 ▲ 다기관 자료를 활용한 모델 성능 및 유용성 검증 등의 역할을 수행하며, 선정 기준에 따라 총 1개소를 선정할 계획이다. 예산은 7천만원, 사업수행 기간은 11월까지이다. 한편 의약품안전원은 '병원 전자의무기록(EHR) 기반 공통데이터모델(CDM) 확대 구축사업'에 참여할 3개 수행기관을 오는 21일까지 모집한다. CDM은 의료기관별 다양한 전자의무기록 양식에 기록된 환자 정보 중 '인구통계학적 정보, 진단, 처방약, 시술, 검사결과' 등 의약품 부작용 분석에 필수적인 데이터를 추출해 표준화한 모델이다. 의약품안전원은 2018년부터 2024년까지 총 30개 의료기관에서 3천896만명의 환자 정보를 CDM으로 구축해 개인정보 유출 없이 신속·정확한 약물 사용 양상을 파악하고 부작용을 분석하는 등 공익 목적으로 활용하고 있다. 올해에는 3개 신규 기관에 각 4천만원, 총 1억2천만원을 지원해 환자 정보를 더욱 많이 확보하고 의약품 부작용 관리 기반을 더욱 강화한다는 계획이다.

2025.01.08 16:59조민규 기자

지금 뜨는 기사

이시각 헤드라인

[몰트북 파장①] AI가 내 메일 뒤져서 SNS 올린다면…실험장인가 위협인가

자꾸 바뀌는 쿠팡 개인정보 유출수...그래서 몇 개?

최수연 네이버, 지식인 오류 사과..."개보위 선제적 신고"

전력 빅3, 최대 실적 갈아치웠다…올해도 더 간다

ZDNet Power Center