• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
국감2026
인공지능
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'미국 AI안전연구소'통합검색 결과 입니다. (5건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

AI 위험 검증하는 나라로…韓, '제3자 평가국' 노린다

인공지능(AI) 경쟁이 모델 성능을 넘어 누가 위험을 판단할 것인지로 번지고 있다. 미국과 중국이 프런티어 AI 경쟁을 주도하면서 양국이 서로의 시스템을 직접 검증하기 어려울 경우 제3국이나 국제기구가 평가를 맡는 방안도 거론되고 있다. 김명주 AI안전연구소장은 23일 지디넷코리아와의 통화에서 "미국과 중국 사이에서 제3국의 평가가 필요해지는 상황이 온다면 우리가 나서겠다는 생각을 갖고 있다"며 "다만 아직은 앞서가는 시나리오이자 희망 사항일 뿐 실제 역할을 맡으려면 프런티어 AI 기술과 평가 역량을 갖춰야 한다"고 강조했다. 국제적으로도 프런티어 AI를 공동 평가하고 위험 정보를 공유하려는 움직임이 이어지고 있다. 오픈AI는 21일(현지시간) 한국 등 각국 AI안전연구소가 참여하는 협력망을 활용해 평가 결과를 공유하고 공통 기준을 마련하는 방안을 제안했다. 미중 AI 안전 협의 시작…검증은 누가 최근 AI 개발 속도와 안전을 둘러싼 논쟁이 커지면서 미국과 중국 사이에서도 AI 안전 문제가 의제로 떠올랐다. 양국은 정상회담을 앞두고 관련 논의를 시작했다. 미국은 중대한 AI 사고가 발생할 경우 서로 알리는 통보 체계를 중국 측에 제안했지만 중국은 아직 구체적인 입장을 밝히지 않은 것으로 알려졌다. 김 소장은 "위협의 신호가 보이면 서로 핫라인을 개설해 이야기하고 협의하자는 논의까지 나오고 있다"고 말했다. 통보 체계가 만들어져도 상대국 AI 위험을 누가 확인할지는 남는다. 미국이 중국의 핵심 AI 시스템을 직접 들여다보거나 중국이 미국의 모델을 검사하기는 쉽지 않아서다. 김 소장은 장기적으로 핵확산금지조약(NPT)과 비슷한 국제 통제체제가 AI에서도 등장할 가능성을 거론했다. 실제로 미국과 중국의 안보 전문가 사이에서도 핵 군축과 유사한 안전장치와 위기 소통 채널을 AI에 적용하자는 제안이 나왔다. 한국은 국제 평가체계가 만들어질 경우 참여하겠다는 뜻도 전달했다. 김 소장은 지난 8월 국제 AI 평가 협력망을 조정하는 영국 측과 의견을 나눴고 각국 AI안전연구소가 함께 참여하는 방식이라면 한국도 적극 참여하겠다는 입장을 밝혔다. 이 분야에서 가장 앞서 있다는 평가를 받는 곳은 영국이다. 영국 AI안전연구소는 2023년 11월부터 프런티어 AI를 직접 평가해왔다. 사이버와 생물안보 등 국가안보·공공안전 분야에서 첨단 모델을 반복적으로 시험하면서 평가 방법과 데이터를 축적했다. 김 소장은 영국이 현재 프런티어 AI 평가 기술에서 가장 앞서 있다고 진단했다. 김 소장은 AI안전연구소도 지난 2년간 영국의 평가 기술을 따라잡기 위해 관련 역량을 쌓아왔다고 설명했다. 그는 "한국은 AI 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 강조했다. 국제 논의 발언권, 결국 '경험'에서 나온다 AI 안전 논의에서 한국의 발언권을 키우려면 기술력과 함께 실제 현장에서 쌓은 경험도 중요하다는 지적이 나온다. 박지환 씽크포비엘 대표는 "아직 AI가 실제 현장에서 어떤 문제를 얼마나 자주 일으키는지 충분히 축적되지 않았는데 머릿속에서 만든 기준이 처음부터 정확할 것이라고 기대하기는 어렵다"고 말했다. 그는 혈압 기준을 예로 들었다. 어느 수준부터 치료에 개입할지를 수많은 임상 경험과 데이터를 거쳐 정해온 것처럼 AI도 실제 적용과 실증을 반복하면서 기준을 다듬어야 한다는 설명이다. 박 대표는 "한국이 표준에 대한 현장 실증을 많이 하는 나라가 되는 것이 중요하다"며 "국제기준을 실제 산업과 공공현장에 적용해 무엇이 맞고 무엇이 부족한지를 지속적으로 제시해야 한다"고 강조했다. 현장 경험과 별개로 국제적으로 통용될 표준은 공적인 절차와 합의를 거쳐야 한다. 전종홍 한국전자통신연구원(ETRI) 표준연구본부 책임연구원은 "오픈AI나 앤트로픽이 '표준'이라는 용어를 많이 쓰지만 그렇게 쓴다고 그냥 표준이 되는 것은 아니다"라며 "문서를 만드는 것과 권위를 만드는 것은 다르다"고 밝혔다. 박 대표는 "이런 경험과 데이터가 축적되면 한국의 의견에 무게가 생기고 더 많은 국제 실증과 표준화 논의의 중심에 설 기회가 생긴다"며 "기준을 받아들이는 나라보다 기준이 현실에서 작동하는지를 증명하고 개선하는 나라가 AI 안전 논의의 중심에 설 것"이라고 말했다.

2026.09.23 10:43김동원 기자

오픈AI "AI 국제표준, 미국이 주도해야"

오픈AI가 미중 정상회담을 앞두고 미국이 차세대 인공지능(AI)의 국제표준 수립을 주도해야 한다고 촉구했다. 21일(현지시간) 오픈AI는 자사 블로그에 'AI의 다음 단계를 위한 표준 구축'이라는 글을 올리고 미국이 세계 각국과 협력해 최첨단 AI의 글로벌 기술표준 마련을 이끌어야 한다고 밝혔다. 오픈AI는 국가마다 AI 평가와 사고 보고 기준이 다르면 위험이 발생했을 때 공동 대응이 어려워질 수 있다고 지적했다. 최첨단 AI 개발 역량과 전문성도 일부 국가에 집중돼 있어 국가 간 공통 기준이 필요하다고 강조했다. AI 연구 자동화도 국제표준이 필요한 이유로 제시했다. AI가 다음 세대 모델 개발에 더 많이 참여하면 연구 결과가 다시 AI 개발에 활용될 수 있다. 오픈AI는 이런 '재귀적 자기개선(RSI)'이 늘어날수록 AI 발전 속도도 빨라질 수 있다고 경고했다. 아직 사람이 빠진 채 AI가 스스로 이런 과정을 반복하는 단계에 이른 것은 아니다. 다만 자동화가 지나치게 빨라지면 사람이 연구 과정을 이해하지 못해 AI 개발을 제대로 통제하기 어려워질 수 있다. 오픈AI는 국제표준에 AI 연구가 얼마나 자동화됐는지 측정하는 기준과 사람이 개입해야 할 시점, 사고가 발생했을 때 이를 분류하고 보고하는 절차를 담자고 제안했다. 표준 마련에는 한국을 비롯해 호주, 캐나다, 독일, 프랑스, 케냐, 일본, 싱가포르, 인도, 영국의 AI 안전연구소와 관련 기관을 활용하는 방안을 내놨다. 미국 인공지능 표준혁신센터(CAISI)와 각국 기관이 협력해 AI 성능 평가와 위험 관리에 필요한 공통 기술기준을 마련하자는 구상이다. 다만 이를 AI 모델 출시 전 정부 승인을 받도록 하는 규제로 만들자는 것은 아니다. 공통 기술기준을 실제 법과 제도에 적용할지는 각국 정부가 결정하도록 했다. 미국이 국제표준 마련을 이끌어야 하는 이유로는 기술력과 국제 영향력을 들었다. 미국이 최첨단 AI 개발을 주도하고 금융과 무역, 국방, 기술, 정보시스템 등에서 세계 각국과 연결돼 있어 국제 규칙을 만드는 데 유리하다는 주장이다. 오픈AI는 앞으로 AI 경쟁이 누가 더 뛰어난 모델을 개발하느냐에 그치지 않을 것으로 전망했다. 각국 기업과 사회가 어떤 기준 아래 AI를 도입하고 확산할지 정하는 규칙까지 경쟁 영역으로 넓어질 수 있다고 내다봤다. 이번 제안은 미국과 중국이 AI 안전 문제를 양국 간 의제로 다루기 시작한 가운데 나왔다. 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석은 오는 24일 워싱턴에서 정상회담을 갖고 AI와 무역 등 주요 현안을 논의할 예정이다. 앞서 스콧 베선트 미국 재무장관과 허리펑 중국 국무원 부총리는 20일 뉴욕에서 AI 안전 문제를 논의했다. 미국은 국가안보에 영향을 줄 정도의 AI 사고가 발생하면 양국이 서로 알리는 체계를 제안했고 양측은 관련 대화를 이어가기로 했다. 오픈AI는 "미국과 중국 간 대화는 긍정적인 조치가 될 것"이라며 "지금 주도권을 잡아야 미국이 글로벌 AI 체계를 형성할 수 있다"고 밝혔다.

2026.09.22 15:32김동원 기자

[현장] "AI 보안이 혁신이자 안보"…AI안전연구소, 미국 랜드·마이터와 전략 공조

한국전자통신연구원(ETRI) 산하 인공지능(AI)안전연구소가 미국 글로벌 정책 싱크탱크 및 연구기관과 손잡고 AI 시스템의 안전성과 신뢰성을 확보하기 위한 방법론을 제시했다. AI안전연구소는 25일 서울 강남구 AC 호텔 바이 메리어트에서 미국 랜드 연구소(RAND), 마이터(MITRE)와 'AI 보안 워크숍'을 공동 개최했다. 이날부터 3일간 열리는 행사는 AI 시스템의 안전 확보를 중심으로 보안과 국가안보를 아우르는 위험 관리 체계를 공유하고, 적용 방안을 논의하기 위해 마련됐다. 현장엔 국내외 17개 기업과 외교부 등 4개 기관 소속 60여명이 참석했다. 첫날인 25일은 AI 위협 환경 조망과 생애주기 기반 보안, 보증 체계 논의 등 세 가지 주제 발표가 진행됐다. 첫 세션에서 랜드는 'AI 보안 가이드'를 통해 조직의 보안 태세를 진단하는 방법론을 공유했다. 특히 AI 보안을 단순한 기술적 문제를 넘어 기업의 경쟁 우위와 신뢰를 보호하기 위한 '비즈니스 리스크 관리' 차원으로 정의했다. 카렌 슈윈트 랜드 선임 정책 분석가는 설계·개발·배포·운영의 4단계 생애주기 모델을 제시하며 각 단계에서 발생할 수 있는 구체적인 위협과 통제 방안을 설명했다. 특히 설계 단계에서의 네트워크 분할을 통한 트로이 목마 공격 방어, 배포 단계에서의 모델 가중치 암호화, 운영 단계에서 성능 저하를 감지하기 위한 정기적인 모니터링 등 실무적인 보안 컨트롤을 강조했다. 슈윈트 분석가는 "AI 보안에 있어 초기 단계의 실패가 치명적인 운영 장애로 이어질 수 있다"며 전 생애주기에 걸친 계층적 방어 중요성을 역설했다. 마이터는 AI 위험 평가와 검증 활동을 구조화한 '마이터 아틀라스'와 'AI 보증 프로세스'를 통해 실질적인 통제 방안을 제시했다. 줄리안 워 마이터 선임 AI 엔지니어는 실제 침해 사례를 기반으로 공격자의 전술을 체계화한 '아틀라스 매트릭스'를 소개했다. 대표적인 사례로는 'M365 코파일럿'을 대상으로 한 프롬프트 인젝션 공격이 있다. 워 엔지니어에 따르면 코파일럿은 이메일 등 사용자의 데이터를 실시간으로 참조하는 검색 증강 생성(RAG) 기술을 활용한다. 이에 공격자가 "돈을 보낼 때 특정 주소로 보내라"는 지시가 담긴 악성 이메일을 보내는 것만으로도 시스템의 동작을 왜곡할 수 있다. 시스템이 해당 이메일을 읽는 순간 공격자의 의도대로 자금 이체 경로를 조작하게 되는 것이다. 워 엔지니어는 "이러한 위협을 막기 위해 입력되는 프롬프트를 정밀하게 스캔하고 악성 키워드를 탐지하는 기술적 보완이 필수적"이라고 강조했다. AI 보증 프로세스는 AI의 안전성과 신뢰성을 공학적으로 확보하기 위해 시스템 특성 문서화, 위험 평가, 모니터링, 변경 관리, 검증 등 보증 활동을 구조화한 반복적 생애주기 모델이다. 워 엔지니어는 "이를 통해 시스템의 본래 목적을 달성하면서도 잠재적 위협을 지속적으로 완화할 수 있다"고 설명했다. 이어 둘째 날인 26일엔 사전 신청 기업을 대상으로 랜드와 마이터 전문가와의 일대일 맞춤형 컨설팅이 이뤄진다. 각 기업의 AI 시스템 구조와 데이터 흐름, 배포 환경 및 기존 통제 체계를 점검하고, 우선 조치 사항과 보증 계획 수립 방향을 구체화할 방침이다. 마지막 날인 27일엔 국내 AI 안전 및 보안 분야 벤처기업을 방문해 기술 개발 현황을 공유하고 국제 표준 적용 방안을 논의할 예정이다. AI안전연구소는 "국제 협력을 바탕으로 산업 현장의 AI 안전 역량을 강화하고 신뢰 가능한 생태계 조성을 지속적으로 지원할 계획"이라고 말했다.

2026.02.25 15:19이나연 기자

글로벌 AI 안전 협력, 서울서 현실화…"책임 확장에서 실행으로"

인공지능(AI) 안전을 둘러싼 글로벌 협력이 서울에서 본격화됐다. 세계 주요 연구기관과 기업들은 한자리에 모여 AI의 잠재적 위험을 평가하고 안전성을 강화하기 위한 공동 전략을 논의했다. 한국 AI안전연구소는 29일 호텔 나루 서울 엠갤러리 앰배서더에서 '2025 인공지능 안전 서울 포럼' 행사를 열고 AI 평가, 벤치마킹, 레드티밍(취약성 검증) 세션을 진행했다. 과학기술정보통신부가 주최하고 한국전자통신연구원(ETRI)이 공동 주관한 이번 포럼에는 ML커먼스, METR, 에포크AI, 퓨처오브라이프연구소(FLI), 옥스퍼드대 등 세계 주요 평가기관과 연구진이 참석했다. 특히 이날 포럼에서는 한국 AI안전연구소와 미국 AI 전문기업 스케일AI 간의 업무협약(MOU) 체결식이 진행됐다. 양 기관은 AI 평가, 레드티밍, 안전 연구 고도화를 위한 공동 협력 체계를 구축키로 했다. 이번 협약을 통해 양측은 실험적 안전 테스트를 비롯해 글로벌 평가 표준 수립에도 협력할 계획이다. 포럼 세션 발표에서는 AI 시스템의 실무 평가와 벤치마킹 전략이 논의됐다. ML커먼스의 숀 맥그리거 에이전틱 리드는 "모든 AI 모델들은 안정성을 갖추기 위해 독립적 감사와 공공 검증 절차를 거쳐야 한다"며 "AI 안전 생태계의 인재 부족도 시급히 해결해야 할 과제"라고 강조했다. 이어 METR의 사미 자와르 엔지니어링 총괄은 제3자 위험 평가(3PRA) 이니셔티브를 소개하며 AI 모델이 배포되기 전에 위험 신호를 감지하고 대응할 수 있는 프로세스가 필요하다고 제언했다. 또 AI 개발사뿐만 아니라 평가기관 간의 신뢰 협력도 강화돼야 한다고 주장했다. 이번 포럼에서는 실습 기반의 프론티어 AI 레드티밍 세션도 진행됐다. 참가자들은 최신 대규모 언어모델(LLM)을 대상으로 공격·방어 시나리오를 시뮬레이션하며 모델 취약성을 검증했다. 한국 AI안전연구소와 스케일AI가 공동으로 준비한 이 세션은 국제 협력 기반의 평가 훈련 프로그램으로 주목받았다. 아울러 이날 행사에는 앤트로픽도 참석해 '책임 있는 확장 정책'을 중심으로 한 AI 안전 프레임워크를 공개했다. 앤트로픽 니타르샨 라즈쿠마르 국제정책 리드는 "AI 기술의 잠재력이 커질수록 그만큼 재난적 위험에 대한 대비가 중요하다"며 "우리의 원칙은 적절한 안전 조치 없이 위험한 수준의 AI 모델을 훈련하거나 배포하지 않는 것"이라고 말했다. 앤트로픽은 모델의 역량이 높아질수록 보안과 검증 수준을 단계적으로 강화하는 계층형 안전 관리 체계를 운영 중이다. 이 체계는 생물학 분야의 바이오시큐리티 등급 시스템을 참고해 위험도가 높은 모델일수록 더 엄격한 보호조치를 적용하는 방식이다. 라즈쿠마르 리드는 "우리는 내부 레드팀을 운영하며 미국과 영국의 AI안전연구소, 제3의 독립 기관과 협력해 위험 평가를 진행하고 있다"며 "최근 유럽연합(EU)과 미국, 한국 등의 국가들도 자율적 안전 약속에서 법적 의무로 전환하며 AI 안전 프레임워크 공개와 검증을 요구하는 법제화를 추진 중"이라고 말했다. 이어 "외부 검증은 개발 속도를 늦추는 것이 아니라 오히려 안전한 배포를 가속화하는 과정"이라고 강조했다.

2025.10.29 14:02한정호 기자

미국 AI안전연구소, '혁신' 간판 달고 재출범…트럼프식 '규제 철폐' 본격화하나

미국 인공지능 안전연구소(AISI)가 간판을 바꿔 달았다. 트럼프 행정부의 'AI 혁신 우선, 안전 최소화' 기조에 따라 정부의 개입 방향도 규제와 검열에서 산업 경쟁력 지원으로 급선회한 모양새다. 5일 미국 상무부 홈페이지에 따르면 하워드 루트닉 상무장관은 대통령 지시에 따라 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 개편한다고 발표했다. AI 표준 및 혁신 센터는 기존에 AI 안전연구소가 위치했던 국립표준기술연구소(NIST) 산하에 유지되며 평가와 시험을 통한 AI 기술 경쟁력 확보에 중점을 둔다. 상무부는 AI 표준 및 혁신 센터를 통해 신속히 발전 중인 상업용 AI 시스템의 역량과 보안성을 분석하는 데 초점을 맞춘다. 국가안보를 명분으로 삼았던 기존 규제 관행은 철회하고 기술 혁신을 저해하지 않는 방향으로 AI 거버넌스를 전환하겠다는 입장이다. 센터는 민간 AI 기업과 자발적 협약을 체결해 비분류 상태의 AI 기술을 공동 평가하고 사이버 보안과 생물·화학 무기 등 실질적 위협에 집중해 평가를 수행한다. 여기에는 미국 내 기업뿐 아니라 적성국 기술의 위협성까지 포함된다. 외국산 AI 기술이 국내 시스템에 혼입될 경우를 대비해 백도어나 은폐된 악성 행위 등 보안 취약성 여부를 점검하는 역할도 맡는다. 미국 내 기술뿐 아니라 외국 기술의 수용 과정과 국제 경쟁 상황을 정기적으로 분석한다. 더불어 센터는 국방부, 에너지부, 국토안보부, 과학기술정책실, 정보기관 등과 협력해 평가 방법론을 정립하고 공동 평가를 수행하게 된다. 국제 협의체에서는 미국 기술에 불리한 규제를 견제하는 동시에 국제 AI 표준에서 미국의 주도권을 강화하는 데도 주력할 계획이다. 조직 운영은 기존과 마찬가지로 국립표준기술연구소 내부에서 진행되며 정보기술연구소를 포함한 다른 산하 조직 및 상무부 산업안보국과도 긴밀히 협력할 예정이다. 하워드 루트닉 상무장관은 "너무 오랫동안 검열과 규제가 국가안보라는 이름으로 기술 발전을 막아왔다"며 "CAISI는 미국의 상업용 AI 기술이 자율성과 안전성을 동시에 확보할 수 있도록 주도권을 갖고 평가할 것"이라고 밝혔다. 다만 실질적인 변화는 크지 않다는 시각도 있다. 기존 AI 안전연구소가 수행했던 기능과 역할은 그대로 두고 간판만 바꿨다는 점에서 조직 개편보다는 브랜딩에 가깝다는 평가다. 한 업계 관계자는 "이번 개편의 경우 이름만 바꾸고 하는 일은 동일한 것으로 보인다"며 "약자가 캐나다 AI 안전연구소(CAISI)와 같단 면에서 조금 결례인듯 하다"고 말했다.

2025.06.05 14:44조이환 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

신세계, 중앙일보 인수전 합류…다우키움·CJ 컨소시엄 참여

"아내 잔소리가 쏙"...LGU+와 10년 '의리', 화담숲서 꽃피다

하늘 나는 테슬라 로드스터, 현실화될까…전문가 "실용성 없다"

中 지커, 韓도로 달린다…전기차 시장 경쟁 격화

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.