• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
반도체
인공지능
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI 안전'통합검색 결과 입니다. (331건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

모바일신분증 불편 국민이 직접 푼다…행안부, 아이디어 공모전 개최

행정안전부가 국민이 직접 모바일신분증 사용 과정의 불편을 해결하고 새로운 활용 방안을 제안하는 아이디어 공모전을 연다. 우수 아이디어는 실제 모바일신분증 서비스 개선에 반영해 온·오프라인에서 활용 편의성을 높인다는 계획이다. 행안부는 다음 달 1일부터 '2026 모바일신분증 아이디어 공모전'을 개최하고 참가작을 접수한다고 30일 밝혔다. 모바일신분증은 2022년 모바일 운전면허증을 시작으로 주민등록증과 국가보훈등록증, 장애인등록증, 외국인등록증 등으로 탑재 가능한 신분증 종류를 확대해왔다. 은행을 비롯해 편의점과 상점 등에서도 신원 확인 수단으로 활용되고 있다. 다만 휴대전화에 신분증을 탑재하는 특성상 일부 현장에서는 사용에 제약이 있었다. 일부 시험장에선 휴대전화 반입 제한으로 모바일신분증을 사용할 수 없고 특정 기관 방문 시 임시출입증을 받기 위해 실물 신분증을 담보물로 맡겨야 하는 경우에도 활용이 어렵다는 게 행안부 측 설명이다. 행안부는 이번 공모전을 통해 이같은 불편을 해소하고 모바일신분증을 일상에서 더욱 편리하게 활용할 수 있는 아이디어와 해결 방법을 발굴할 계획이다. 공모전에는 모바일신분증에 관심 있는 국민 누구나 참여할 수 있다. 아이디어뿐 아니라 실제 구현 가능성을 확인할 수 있는 개념검증(PoC) 형태의 자료도 추가로 제출할 수 있다. 행안부는 참가자가 아이디어를 구체화할 수 있도록 개발지원센터를 통해 전문가 컨설팅과 기술 자문을 지원할 방침이다. 최근 생성형 인공지능(AI)을 활용해 아이디어를 소프트웨어로 구현하거나 시험할 수 있는 환경이 확대된 만큼 기술 경험이 많지 않은 국민도 참여할 수 있을 것으로 보고 있다. 공모 대상은 모바일 주민등록증과 운전면허증, 국가보훈등록증, 장애인등록증, 외국인등록증이다. 접수는 다음 달 1일 오전 9시부터 30일 오후 6시까지 진행된다. 제출된 아이디어는 실현 가능성 등을 확인하는 서면평가와 중복 여부를 살피는 공개검증, 전문가 대면평가를 거친다. 서면평가는 11월 2~6일, 공개검증은 같은 달 9~20일 진행된다. 최종적으로 총 6개 수상작을 선정한다. 대면평가와 시상식은 11월 25일 킨텍스 제1전시관에서 열리는 '2026 대한민국 정부혁신 박람회' 부대 행사로 진행된다. 대상에는 행정안전부장관상, 최우수상에는 한국조폐공사사장상을 수여하며 총상금은 1000만원이다. 행안부는 선정된 우수 아이디어의 완성도를 높여 실제 모바일신분증 서비스 개선에 활용할 계획이다. 국민이 현장에서 겪는 불편을 바탕으로 서비스 개선 과제를 발굴해 모바일신분증의 활용 범위를 넓힌다는 구상이다. 황규철 행안부 인공지능정부실장은 "모바일신분증은 온·오프라인에서 안전하고 편리하게 신원을 확인할 수 있는 주요 수단이지만, 일부 현장에선 사용에 불편함이 있었다"며 "국민 여러분의 참신한 아이디어와 기술이 더 안전하고 편리한 모바일신분증을 만드는 데 활용될 수 있도록 많은 관심과 참여를 부탁드린다"고 말했다.

2026.09.30 14:25한정호 기자

정부, AI 안전 종합계획 마련…12월 수립 목표

정부가 인공지능(AI) 위험에 대응하기 위해 민간과 힘을 모은다. 산업계와 전문가 현장 의견을 반영해 AI 안전·신뢰 기반을 강화한다는 방침이다. 과학기술정보통신부는 '(가칭)국가 AI 안전 생태계 조성 마스터플랜' 마련을 위한 민·관 실무협의체를 내달부터 운영한다고 30일 밝혔다. 과기정통부는 협의체에서 제시한 의견을 검토하고 관계부처 협의를 거쳐 올해 12월까지 계획을 수립할 예정이다. 협의체는 국가 AI 안전 관리체계 구축과 첨단 AI 안전 대응역량 강화, 국민 일상의 AI 안전 환경 조성 등 3대 전략안과 핵심과제를 점검한다. 글로벌 AI 안전 정책과 산업·기술 동향을 반영해 새로 추진하거나 보완할 과제도 발굴한다. 이번 협의체 구성은 최첨단 AI의 위험이 현실화하는 등 기술·산업 환경이 빠르게 변하면서 현장 의견을 정책에 반영할 필요성이 커진 데 따른 것이다. 과기정통부는 'AI 3대 강국' 실현을 위해 기술 혁신과 함께 안전·신뢰 기반을 강화하는 정책적·체계적 노력이 필요하다고 봤다. 협의체에는 과기정통부와 국가AI전략위원회를 비롯해 AI 안전 관련 유관기관, 국내외 AI 기업·협회, 기술·법·제도 전문가 등 25명 내외가 참여한다. 유관기관으로는 AI안전연구소와 한국지능정보사회진흥원, 정보통신정책연구원, 한국정보통신기술협회가 이름을 올렸다. 산업계에서는 국내 주요 AI 기업과 글로벌 AI 기업, 중소기업·스타트업이 AI 개발·활용 현장 경험과 의견을 공유한다. 한국인공지능·소프트웨어산업협회와 코리아스타트업포럼도 참여하며 유관기관과 전문가들은 기술·정책·법제 등 다양한 관점에서 의견을 제시할 예정이다. 이진수 과기정통부 AI정책기획관은 "그동안 AI 혁신과 안전의 균형을 위한 기반을 조성해 왔으나 첨단 AI 위험에 대한 국가적 대응역량 강화가 필요한 시점"이라며 "현장 수용성과 글로벌 AI 안전 정책·기술 동향을 반영해 실효성 있는 국가 AI 안전 생태계 조성 방안을 마련하겠다"고 밝혔다.

2026.09.30 12:00김미정 기자

AI 안전망 넓히는 오픈AI, 에이전트 보안 강화

오픈AI가 인공지능(AI) 에이전트 업무 범위를 넓히는 동시에 보안과 데이터 보호 장치도 강화했다 오픈AI는 29일(현지시간) 미국 샌프란시스코에서 열린 개발자 행사 데브데이 2026에서 코덱스 시큐리티 클라우드 기능을 강화하고 새로운 기업용 데이터 보호 체계 '프라이빗 인텔리전스'를 공개했다. 코덱스 시큐리티 클라우드는 기업 코드를 지속적으로 검사해 보안 취약점을 찾고 실제 위험 여부를 확인한 뒤 수정안까지 만든다. 프라이빗 인텔리전스는 기업이 민감한 정보를 외부에 노출하지 않고 오픈AI의 고성능 모델과 안전 기능을 사용할 수 있도록 한다. 이번 발표는 AI 안전 문제가 다시 부각되는 가운데 나왔다. 오픈AI는 다음 달 선보일 예정이던 GPT-6.1 아스트라가 내부 안전성과 정렬 기준을 충족하지 못하자 출시를 보류했다. 내부 평가에서는 모델이 자신의 행동을 정확하게 알리지 않거나 사람의 감독을 피하려는 문제가 나타난 것으로 전해졌다. 오픈AI는 AI 에이전트가 장시간 업무를 수행하고 여러 시스템에 접근할수록 행동 범위와 데이터 접근을 통제하는 장치가 중요해진다고 설명했다. 샘 알트먼 오픈AI 최고경영자(CEO)는 "에이전트가 안전하게 작동하고 데이터를 보호할 수 있어야 한다"고 말했다. 취약점 찾고 수정안까지…코덱스 시큐리티 클라우드 코덱스 시큐리티 클라우드는 개발자가 작성한 코드를 계속 살펴보면서 해킹에 악용될 수 있는 취약점을 찾는 서비스다. 문제가 있을 가능성을 알리는 데 그치지 않고 실제 위험한 문제인지 검증한 뒤 개발자가 확인할 수 있는 수정안까지 제시한다. 깃허브에 저장된 코드를 연결하면 새롭게 추가되거나 변경된 부분을 지속적으로 검사한다. 정해진 시간마다 자동 검사를 실행할 수 있으며 같은 문제를 여러 차례 찾아내는 중복 결과도 걸러낸다. 취약점을 발견하면 해당 코드가 실제 공격에 이용될 수 있는지도 확인한다. 이후 문제를 고칠 수 있는 코드를 만들고 시험한 뒤 개발자가 검토할 수 있도록 제시한다. 사람이 최종 판단을 내리는 구조는 유지했다. 어떤 문제를 조사하고 어떤 수정안을 실제 코드에 반영할지는 개발자나 보안 담당자가 결정한다. 코덱스 시큐리티 클라우드는 지난 3월 연구 프리뷰로 처음 공개됐다. 이후 3만 개가 넘는 코드베이스에서 3000만 건 이상 코드 변경을 검사했다. 이 가운데 7만 건이 넘는 문제는 사람이 수정 완료를 확인했고 50만 건이 넘는 문제는 시스템이 자동으로 수정 완료된 것으로 판정했다고 오픈AI는 밝혔다. 이번 데브데이에서는 자동 중복 제거와 예약 검사 기능을 추가하고 이용 화면도 새롭게 개편했다. 보안팀이 취약점을 발견하는 데서 끝나지 않고 실제 수정까지 이어지는 시간을 줄이는 데 초점을 맞췄다. 알트먼 CEO는 "코덱스 시큐리티 클라우드는 클라우드 환경에서 지속적으로 취약점을 찾고 검증된 수정안을 준비한다"고 설명했다. 기업 데이터는 보호…'프라이빗 인텔리전스' 오픈AI는 기업이 민감한 정보를 AI에 맡길 때 데이터 노출을 줄이기 위한 프라이빗 인텔리전스도 공개했다. 금융 정보나 의료 데이터, 회사 내부 문서처럼 외부에 공개하기 어려운 정보를 다루는 기업을 위한 기능이다. 여기에는 데이터를 저장하지 않으면서 AI 사용 과정의 위험을 검사하는 '프라이빗 세이프티 프로세싱'이 포함된다. 데이터 비저장 방식인 '제로 데이터 리텐션(ZDR)'과 함께 사용하면 이용자가 입력한 내용과 AI의 답변을 오픈AI가 보관하지 않은 상태에서도 자동 안전 검사를 할 수 있다. AI 안전 검사는 보통 이용자가 입력한 내용이나 모델의 답변을 확인해야 한다. 프라이빗 세이프티 프로세싱은 고객이 관리하는 저장 공간에 데이터를 두고 자동 시스템이 위험 신호를 찾아내는 방식이다. 오픈AI 직원은 원본 내용에 접근할 수 없다. 안전 문제가 발견돼도 오픈AI에는 문제 유형 등 제한된 정보만 전달된다. 기업의 실제 문서나 이용자가 AI에 입력한 구체적인 내용은 보내지 않는다. 오픈AI는 민감한 데이터가 AI 처리 과정에서 노출되지 않도록 하는 '프라이빗 인퍼런스'도 개발하고 있다. 기업이 중요한 데이터를 보호하면서 프런티어 AI를 사용할 수 있도록 하는 기술이다. 알트먼 CEO는 "기업이 가장 발전된 모델을 사용하면서도 자신의 데이터를 더 강하게 통제할 수 있도록 하는 것이 목표"라며 "프라이버시와 프런티어 AI를 함께 제공하는 새로운 기준을 만들 수 있을 것"이라고 말했다.

2026.09.30 05:12김동원 기자

정부 AI·데이터 정책 한데 모은다…범정부 협력체계 본격 가동

행정안전부가 각 정부기관에서 개별적으로 추진해온 인공지능(AI)·데이터 정책을 범정부 차원에서 연계·조정하는 협력체계를 가동한다. 공공부문 AI 도입을 확대하는 동시에 AI 영향평가와 공통 인프라 등 안전한 활용 기반을 마련해 행정서비스 혁신으로 연결한다는 구상이다. 행안부는 오는 30일 정부서울청사 별관 국제회의실에서 '제1회 AI·데이터행정 책임관 협의회'를 개최한다고 29일 밝혔다. AI·데이터행정 책임관 협의회는 'AI·데이터 행정법' 제19조에 따라 구성된 법정 협의체다. 행안부 차관이 의장을 맡고 각 기관의 AI·데이터행정 업무와 데이터 구축·제공, 공동 활용 등을 총괄하는 국장급 AI·데이터행정 책임관이 참여한다. 협의회는 공공기관이 AI를 안전하고 신뢰성 있게 도입·활용할 수 있도록 관련 정책과 현안을 논의하는 범정부 협력 창구 역할을 맡는다. 향후 정책 추진 여건을 고려해 탄력적으로 개최할 예정이다. 첫 협의회에선 AI·데이터 행정법 시행에 따른 정부 정책 추진 방향과 기관별 이행 사항을 공유한다. 행안부와 중소벤처기업부, 서울시, 인천시 등이 추진하는 AI 기반 정책도 함께 논의한다. 행안부는 지능형 업무관리 플랫폼 '온AI' 추진 방향과 공공데이터 상위 100개 조기 개방, 공공 누리집 사용자 인터페이스·사용자 경험(UI·UX) 개선 방안 등을 제시하고 각 기관에 협조를 요청할 계획이다. 중기부는 중소벤처24 통합플랫폼 및 AI 서비스 도입 방안을 발표한다. 중소벤처기업을 대상으로 맞춤형 지능형 원스톱 서비스를 구축·제공하기 위해 필요한 데이터 연계 등 기관 간 협조 사항을 공유할 방침이다. 서울시는 AI 기반 도시행정 혁신과 도시문제 해결을 위해 보유한 약 65만개 데이터의 구조와 시민·기업·정책 수요를 분석한다. 이를 통해 고가치 데이터 집합 100개를 선정하고 AI가 바로 활용할 수 있는 'AI-레디 데이터'로 정비해 내년부터 단계적으로 개방할 계획이다. 인천시는 지방정부가 AI·데이터 사업에 참여할 수 있는 공모 기회를 확대하는 방안을 제안할 예정이다. 지방정부에서 발굴한 우수 AI·데이터 기반 서비스를 다른 지역에서도 활용할 수 있도록 공동 활용·확산 체계를 마련할 필요가 있다는 입장이다. 협의회에서 논의된 과제는 관계 기관이 공동으로 검토·추진한다. 행안부는 필요한 법·제도적 지원 방안을 마련하고 각 기관은 담당 업무 특성에 맞는 추진 방안을 수립해 이행할 계획이다. 공공기관의 AI 활용을 위한 안전장치도 강화한다. 행안부는 AI 활용 과정에서 국민의 기본권이 침해되는 것을 방지하기 위해 오는 12월까지 'AI 영향평가 가이드라인'을 배포할 예정이다. 각 기관이 AI를 도입할 때 활용할 수 있는 '범정부 AI 공통 기반' 구축도 확대한다. 민관 협력 기반을 강화하기 위해 내년까지 '공공 AI·데이터협회'도 설립한다는 목표다. 김민재 행안부 차관은 "본 협의회를 현장의 어려움을 공유하고 함께 해법을 찾는 범정부 협력의 장으로 운영하겠다"라며 "안전한 AI 활용 기반을 갖추는 동시에 AI·데이터 행정이 국민이 체감할 수 있는 행정서비스 혁신으로 이어지도록 각 기관과 긴밀히 협력하겠다"고 밝혔다.

2026.09.29 13:26한정호 기자

AI 안전도 '그들만의 리그'…기술 가진 자가 규칙 만든다

인공지능(AI) 안전 논의가 프런티어 AI를 보유한 국가와 기업 중심으로 좁혀지고 있다. 최첨단 모델을 직접 만드는 기업들이 새로운 위험을 찾아내는 데서 나아가 평가 방식과 안전 기준 마련에도 나서면서 기술력이 AI 안전 분야의 영향력으로 이어지는 모습이다. 29일 AI 업계에 따르면 구글과 오픈AI, 앤트로픽은 프런티어 AI에 적용할 공동 안전 기준을 마련하기 위해 가칭 '프런티어 AI 표준기구(SAFA)' 설립을 추진 중이다. 이르면 올해 말이나 내년 초 출범을 목표로 논의가 진행되고 있다. SAFA에서는 프런티어 AI를 어떤 방식으로 시험하고 안전사고가 발생했을 때 어떻게 대응할지 등을 다룰 것으로 알려졌다. 지금까지 각 회사가 자체적으로 운영해온 안전 평가를 넘어 여러 기업이 함께 적용할 공통 기준도 논의한다. 프런티어 모델 성능이 높아지면서 평가 대상도 달라졌다. 단순한 답변 정확도를 넘어 사이버 공격이나 생물학적 위험을 높일 수 있는지, 사람의 개입 없이 복잡한 업무를 어디까지 수행할 수 있는지 등이 새로운 평가 영역으로 들어왔다. 오픈AI는 최근 신형 모델의 사이버 공격 능력을 평가한 뒤 위험 수준에 맞춰 내부 보안 조치를 강화했다. 앤트로픽은 최신 모델 출시 전 외부 기관에 안전 평가를 맡겼고 구글 딥마인드는 시험 내용이 개발 과정에 미리 노출되지 않도록 새로운 평가 방식을 도입했다. 새로운 능력이 나타날 때마다 평가 방식도 함께 바뀐다. 기존 시험으로 확인하기 어려운 위험이 나오면 무엇을 시험할지 다시 정하고 이를 측정할 방법도 새로 만들어야 한다. SAFA에서는 이러한 논의가 이어질 것으로 전망된다. 국가 차원에서도 프런티어 AI 평가가 이뤄지고 있다. 미국과 영국의 AI 안전기관은 자국 기업의 모델뿐 아니라 중국 기업이 개발한 최신 모델도 직접 시험하고 있다. 미국 AI표준혁신센터(CAISI)는 중국 AI 모델의 취약점 발견과 공격 코드 개발 능력을 측정해 미국의 최상위 모델과 비교하기도 했다. 프런티어 AI 기술은 모델 성능 경쟁을 넘어 안전 분야의 국제 논의와도 연결된다. 최신 모델에서 나타나는 위험을 직접 확인하고 평가할 기술을 갖춰야 다른 국가와 기업이 만드는 평가 방식과 안전 기준을 논의할 때도 기술적 근거를 제시할 수 있어서다. 배경훈 부총리 겸 과학기술정보통신부 장관은 지난달 국무회의에서 "AI 모델은 이제 국가 안보 그 자체"라며 독자 AI 역량 확보 필요성을 강조했다. 김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "한국이 국제 AI 거버넌스 논의에 참여하려면 프런티어 AI 기술력과 평가 역량을 빠르게 확보해야 한다"며 "한국은 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 말했다.

2026.09.29 11:28김동원 기자

청소년 SNS·AI 과몰입 막으려면…"플랫폼 설계부터 안전하게"

청소년 사이에서 SNS·AI 이용이 빠르게 늘면서 과몰입과 정서적 의존 등 새로운 위험에 대응하기 위해 플랫폼 책임을 강화해야 한다는 제언이 나왔다. 청소년과 보호자가 이용을 조절하는 데만 의존하기보다 서비스 설계 단계부터 안전장치를 마련하고, 서비스 특성과 위험도에 따라 규제를 달리하는 제도적 접근이 필요하다는 지적이다. 박정하·한지아 국민의힘 국회의원, 한국소비자연맹, 한국정보통신법학회는 28일 서울 영등포구 국회의원회관에서 '청소년에게 안전한 디지털 환경, 누구의 책임인가?'를 주제로 토론회를 개최했다. 이번 토론회는 상윤모 연세대 언론홍보영상학부 교수와 김나정 국회입법조사처 조사관보가 각각 발제를 맡았다. 최근 온라인 환경에서의 청소년 SNS 중독과 위험 문제에서 플랫폼의 책임을 인정하는 판결이 속속 내려지고 있다. 지난 3월 미국 캘리포니아주 배심원단이 메타와 구글에 600만 달러를 배상하라고 한 판결과 SNS 중독을 유도했다는 이유로 메타가 미국 48개 주에 최대 180억 달러를 지급하기로 합의한 소송 등이 대표적이다. 새 법률 제정·망법 개정안 사이 결정 필요…민관 논의 병행해야 상 교수는 이같은 판결을 짚어보며 해외 주요국의 플랫폼 규제 현황과 아동·청소년의 SNS 규제 현황을 소개했다. 유럽연합(EU)은 디지털서비스법(DSA)을 통해 서비스 유형과 이용자 규모별로 불법 유해 정보 유통 방지를 위한 차등적인 의무를 부과하고 있다. 영국 온라인 안전법(OSA)은 플랫폼들이 아동 보호 관련 의무를 제대로 이행할 수 있도록 사용자 간 서비스, 검색 서비스로 사업자를 구분해 상세한 가이드라인을 제공한다. 호주는 아동 사이버 괴롭힘, 성인 사이버 학대 등 5개 주요 핵심 제도로 구분해 특정 유형의 콘텐츠를 규제하도록 법안을 설계했다. 해외 주요국에서는 청소년의 SNS 이용도 규제하고 있는데, 호주는 전 세계에서 처음으로 16세 미만 이용자에 한해 SNS 계정 보유·가입을 금지하고 있다. 인도네시아도 이와 같은 제도를 시행 중이다. 일본에서는 15~19세 청소년 과반이 SNS 이용 제한에 찬성하는 입장을 견지했다. 프랑스와 미국, EU 등에서도 관련 법안을 추진하겠다는 강한 의지를 표명하고 있다. 국내에서도 아동·청소년 SNS 이용과 관련해 정보통신망법 개정안이 여러 건 발의된 바 있다. 글로벌 환경에서는 세이프티 바이 디자인(설계에 의한 안전 모델) 측면에서 접근하려는 추세지만, 망법에서는 불법·유해 정보가 유통된 이후 콘텐츠를 중심으로 사후 규제하고 있다. 상 교수는 온라인상에서 이용자 보호를 위한 기본법 성격의 법률을 새로 제정하는 것과 기존 망법을 개정하는 것 사이에서 결정이 필요하다고 봤다. 그는 “가장 중요한 것은 시민단체, 사업자, 정부가 같이 논의하는 공동 규제 부분이 꼭 필요하다”며 “중독을 유발하는 알고리즘과 이에 기반한 맞춤형 광고는 어떻게 규제할지도 핵심적으로 논의에 포함돼야 한다”고 말했다. AI 규제 성격 달라졌다…개인화·알림 등 설계 같이 봐야 '청소년 AI 이용제한 이슈와 과제'에 대해 발제를 진행한 김 조사관보는 AI 이용을 운전에 비유하며 사업자의 안전 설계 의무라는 안전벨트와 위험 기반 차등 규율이라는 신호등을, 보호자·청소년 AI 리터러시라는 운전교육이 함께 갖춰질 때 청소년들이 AI 혜택을 안전하게 누릴 수 있다고 강조했다. 올해 미국 9~17세 청소년 1204명을 대상으로 시행한 조사에 따르면 응답자 중 86%가 AI를 사용하거나 접한 경험이 있다고 응답했고, 이 중 24%는 매일 AI를 사용한다고 답했다. 국내 청소년 3300명을 상대로 진행된 조사에서도 94.4%가 생성형 AI 챗봇을 이용한 경험이 있다고 밝혔다. 김 조사관보는 AI 규제에 있어 핵심은 위험의 성격이 달라진 것이라고 짚으며, 현재는 대화와 같이 반복되는 상호작용 구조에 있어 사후 삭제만으로 충분하지 않고 개인화·알림 등과 같은 설계 요소를 함께 봐야 한다고 평가했다. 특히, 청소년의 경우 보상에 반응하는 신경계가 성인보다 활성화돼 있어 칭찬과 공감에 민감하게 반응하는 반면 인지 통제 기능은 아직 부족해서 보다 위험하다고 진단했다. 그러면서 서비스 설계 단계에서부터 예견 가능한 위험을 평가하고 연령에 맞는 기본 설정 등을 서비스 안에 담아야 한다고 주장했다. AI 통제 문제 대두되나…서비스 특성별로 다른 규제 필요 이날 토론에서 윤영호 서울대학교 가정의학과 교수는 사회가 급격히 발전한 반면 사고 체계는 여전히 1970년대에 머물고 있다고 지적했다. 그는 “디지털 사회로 접어들면서 AI와 관련 부작용들이 나타날 때 통제 문제가 대두될 수밖에 없다”며 악행 근절의 원칙, 선행의 원칙, 자율성 존중의 원칙, 정의의 원칙이라는 의료 윤리의 4대 원칙이 디지털 환경에서도 이뤄져야 한다고 봤다. 청소년 SNS 중독 등은 기업과 국가의 책임이라며 입법 과제로 안전 조치의 의무, SNS 통제 방법에 대한 정신 건강 연구, 디지털 중독 해결 예산 마련, 디지털 건강 분담금 도입 등을 제안했다. 정지연 한국소비자연맹 사무총장은 청소년 특수성을 이해하면서 관련 제도를 고민해 봐야 한다며 EU처럼 플랫폼에 책임을 묻는 방안을 고려해 봐야 한다고 언급했다. 정 총장은 “SNS와 AI는 같은 원칙이지만, AI는 이용자의 질문과 감정에 직접 반응하고 SNS는 과몰입과 과한 신뢰, 의인화가 문제”라며 “서비스 특성과 위험도에 따라 규제 프레임워크도 달라져야 한다”고 덧붙였다. 천혜선 디지털산업정책연구소 박사는 “SNS나 AI 문제는 기존 인터넷 정책에서 경험해 보지 못한 새로운 위기 상황”이라며 “병원균으로부터의 격리가 아닌 백신을 통한 면역을 확보하는 방안이 무엇인가에 대한 고민이 필요하다”고 말했다. 이어 “우리가 집행 역량을 확보하는 것이 청소년들의 조절 역량을 확보하는 것만큼이나 중요하다”며 “제도를 설계할 때 불확실성을 줄여가는 과정 자체도 절차적으로 들어가야 한다”고 부연했다.

2026.09.28 18:26박서린 기자

개인정보 유출된 정부24, AI로 보안관제 강화

정부 통합행정서비스 포털인 정부24에서 개인정보 유출 사고가 발생한 가운데 행정안전부가 인공지능(AI)을 활용한 보안관제 강화에 나섰다. 기존에는 관제 인력이 이상 징후를 확인하고 판단해 차단했다면, 앞으로는 AI가 먼저 자동 판독해 차단한 뒤 사람이 확인하는 방식으로 대응 속도를 높인다는 목표다. 28일 행안부에 따르면 이 부처는 지난달 정부24에서 발생한 개인정보 유출 사고 이후 관련 취약점에 대한 조치를 완료하고 보안관제 체계를 강화했다. 행안부는 기존 인력 중심의 보안관제 과정에서 이상 징후를 판단하고 차단하기까지 시간이 걸릴 수 있다고 보고 AI를 활용한 자동 판독 체계를 적용했다. AI가 이상 징후를 자동으로 판독해 우선 차단하고 이후 관제 인력이 내용을 확인하는 방식이다. 앞서 행안부는 지난 8월 17일 정부24에 대한 불법적인 접근을 통해 개인정보가 포함됐을 가능성이 있는 정보가 유출된 사실을 확인했다. 현재 관련 대상자는 100여명으로 추정되지만 정확한 대상자와 유출 건수는 특정하기 어려운 상태다. 행안부에 따르면 이번에 유출된 정보는 개인정보가 일정한 형태로 정리된 자료가 아니라 메모리 데이터에 개인정보가 일부 포함된 형태다. 이에 개별 피해자를 특정하기 어려워 개인정보가 오용된 것으로 의심되는 피해 사례를 별도로 접수했다. 현재까지 별도로 접수된 피해 사례는 없는 것으로 파악됐다. 행안부 측은 사고 인지 후 문제가 된 취약점에 대한 조치를 마쳤으며 동일한 경로를 통한 추가 유출도 차단한 상태라고 설명했다. 이와 함께 향후 유사 사고를 막기 위한 중장기 재발방지 대책도 마련 중이다. 정부24는 앞서 개인정보 보호조치 미흡으로 개인정보보호위원회 제재를 받은 바 있다. 행안부는 주민등록증 발급상황 조회 서비스의 본인인증 취약점을 발견·조치하지 않고 교육부 연계 민원서류 오발급에 따른 개인정보 유출 통지를 지연한 것 등을 이유로 과징금과 과태료, 시정조치 권고 처분을 받았다. 행안부 관계자는 "과거에는 사람이 관제하고 판단해 차단했다면 현재는 AI로 자동 판독해 일단 차단한 뒤 확인하도록 관제 방식을 바꿨다"며 "관련 취약점에 대한 조치도 완료해 동일한 방식으로 유출되는 것은 차단한 상태"라고 밝혔다.

2026.09.28 17:03한정호 기자

AI 위험 검증 강화하는 주요국…韓 안전 평가 인력 6명뿐

국내 인공지능(AI) 안전 평가를 담당하는 AI안전연구소의 기술 평가 인력이 6명에 불과한 것으로 나타났다. 미국과 영국, 일본이 전문인력과 연산 자원을 늘리는 가운데 국내 AI 안전 평가 역량도 강화해야 한다는 지적이 제기됐다. 28일 국회 과학기술정보방송통신위원회 소속 이정헌 더불어민주당 의원이 과학기술정보통신부와 AI안전연구소에서 제출받은 자료에 따르면 연구소 AI 안전 평가실 인력은 7명뿐이었다. 법제·규범 담당자 1명을 제외하면 실제 AI 모델을 기술적으로 평가하는 인력은 6명이다. 이들은 고성능 AI 모델이 어떤 위험한 능력을 갖췄는지 직접 시험한다. 해킹이나 사이버 공격에 악용될 수 있는지, 생물학적 위험 정보를 제공하는지, 개발사가 적용한 안전장치를 우회할 수 있는지 등을 모델을 직접 구동하며 검증한다. 미국에서는 고성능 AI 모델 위험성을 직접 검증해 결과를 공개하고 있다. 미국 국립표준기술연구소(NIST) 산하 AI표준혁신센터(CAISI)는 지난 7월 중국 AI 기업 Z.ai(옛 지푸AI)의 GLM-5.2를 평가했다. 사이버 공격 지원 능력과 생물학적 위험, 안전장치 우회 가능성 등을 시험했다. 주요국은 AI 안전 평가 인력도 늘리고 있다. 의원실 자료에 따르면 미국의 관련 인력은 34명으로 향후 80명까지 확대할 계획이다. 일본도 현재 31명에서 올해 60명으로 늘린 뒤 장기적으로 200명 규모까지 확대할 방침이다. 영국 AI안보연구소는 전체 인력이 약 200명이다. 연구소가 공개한 현황을 기준으로 기술 인력만 100명을 넘는다. 첨단 AI의 사이버 공격 능력과 화학·생물학적 위험, 자율적인 행동 등 국가안보와 공공안전에 영향을 줄 수 있는 위험을 평가하고 있다. 김명주 AI안전연구소장은 지디넷코리아와의 통화에서 "현재 AI 평가 기술에서는 영국이 가장 앞서 있다"며 "한국도 영국을 따라잡기 위해 평가 역량을 강화하고 있다"고 말했다. 김 소장은 AI 안전 평가가 향후 국제적인 AI 규칙을 논의하는 과정에서도 중요해질 것으로 내다봤다. 그는 "AI 발전 속도가 빨라지면서 모델을 통제할지 판단하기 위한 평가가 중요해지고 있다"며 "이 과정에서 객관적인 국가 기관인 각국 AI안전연구소의 역할이 많이 거론되고 있다"고 설명했다. AI 안전과 신뢰성을 평가할 전문인력을 키우려는 움직임은 민간에서도 나타나고 있다. 씽크포비엘은 관련 전문가 양성 교육을 운영하면서 신뢰할 수 있는 인공지능 국제연대(TRAIN)와 함께 AI 개발 과정에서 신뢰성을 검증하는 해커톤 등도 진행하고 있다. 박지환 씽크포비엘 대표는 "국내에 AI 인재·반도체·보안 인력 양성 사업은 있지만 AI 신뢰성 전문인력을 키우는 커리큘럼과 실습 과제, 평가 체계를 갖춘 사업은 부재하다"며 "AI 위험을 사전에 준비하는 능력이 AI 경쟁력을 좌우할 수 있으므로 관련 인재 양성이 꼭 필요하다"고 강조했다. AI 모델을 직접 시험하려면 전문인력뿐 아니라 이를 구동할 컴퓨팅 인프라도 필요하다. 고성능 모델에 다양한 공격을 시도하고 안전장치가 제대로 작동하는지 반복적으로 검증하려면 상당한 연산 자원이 필요하기 때문이다. 의원실 자료에 따르면 국내 AI안전연구소가 활용하는 그래픽처리장치(GPU) 서버는 5대다. 이 가운데 2대는 민간 클라우드에서 임차해 사용하고 있다. 의원실은 현재 인프라로는 조 단위 매개변수를 가진 초거대 AI 모델이나 안전장치의 제약을 받지 않는 모델을 충분히 검증하는 데 한계가 있다고 지적했다. 영국은 국가 차원의 컴퓨팅 인프라를 안전 평가에 활용하고 있다. 의원실 자료에 따르면 영국 AI안보연구소는 15억파운드 규모의 국가 컴퓨팅 자원에 우선 접근할 수 있다. 예산에서도 차이가 나타났다. 의원실 자료에 따르면 한국 올해AI안전연구소 예산은 89억원이다. 영국은 약 1216억원, 미국은 약 232억원이며 일본은 추가경정예산을 통해 관련 예산을 800억원 이상으로 늘렸다. 현재 AISI는 한국전자통신연구원(ETRI) 직할 부서로 운영되고 있다. 이 의원은 이 같은 조직 구조로는 전문인력 확보와 독립적인 안전 평가에 한계가 있다며 AI 기본법을 개정해 AISI에 독립적인 예산과 인사권을 부여해야 한다고 주장했다. 이 의원은 "가시화된 위협에 대응하기 위한 AI 안보 체계 구축을 위해 AI 기본법 개정이 필요하다"며 "AI안전연구소에 법적 독립성을 부여하고 독자적인 예산과 인사권을 보장해 실질적인 대응 역량을 강화해야 한다"고 말했다.

2026.09.28 14:10김동원 기자

행안부, 루마니아·조지아에 'AI 정부' 알린다…디지털 협력 확대

행정안전부가 루마니아와 조지아에 인공지능(AI) 정부 사절단을 파견해 디지털정부 협력을 확대한다. 한국의 AI·디지털전환 정책과 공공서비스 혁신 사례를 공유하고 디지털 ID와 데이터 기반 행정 등 협력 과제를 발굴해 국내 디지털 기술의 해외 진출 기반도 넓힌다는 구상이다. 행안부는 흑해경제협력기구(BSEC) 회원국과 AI를 활용한 공공혁신 방안을 논의하기 위해 오는 29일부터 다음 달 4일까지 루마니아와 조지아에 AI 정부 사절단을 파견한다고 28일 밝혔다. BSEC는 흑해 연안 국가 간 교역과 경제협력 확대 등을 목적으로 1992년 설립된 지역경제협력기구다. 이번 사절단은 행안부 인공지능정부협력과장을 단장으로 관세청과 한국조폐공사, 한국지역정보개발원, 한국지능정보사회진흥원(NIA) 등 AI·디지털정부 관계 기관과 외교부가 함께 참여한다. 행안부는 BSEC 회원국인 루마니아와 조지아에서 현지 공무원을 대상으로 'AI 정부 정책포럼'을 개최한다. 양국과 AI·디지털전환 정책 및 경험을 공유하고 AI를 활용한 공공혁신 방향과 향후 협력 과제를 논의할 계획이다. 사절단은 오는 30일 루마니아에서 '한국-루마니아 AI 정부 정책포럼'을 개최한다. 포럼에선 양국의 AI·디지털전환 정책과 공공서비스 혁신 사례를 공유한다. 한국의 국가 AI 정책을 비롯해 지방정부의 AI 활용과 지역정보화, 디지털 ID, 전자통관시스템 '유니패스' 등 주요 정책과 서비스를 루마니아 정부에 소개할 예정이다. 다음 달 2일에는 조지아 트빌리시에서 조지아 법무부 차관 등이 참석하는 '한국-조지아 AI 정부 정책포럼'을 연다. 양국은 AI 기술을 행정과 공공서비스에 적용하기 위한 정책 방향을 논의하고 디지털 ID와 데이터 기반 행정 등 상호 관심 분야에서 협력 가능성을 모색할 계획이다. 한국과 조지아의 디지털정부 협력은 이미 진행되고 있다. 행안부는 지난 8일 조지아 법무부 장관의 방한을 계기로 디지털정부 분야 협력에 관한 양해각서(MOU)를 체결했다. 이를 기반으로 올해부터 2028년까지 3년간 조지아에 디지털정부협력센터를 설치·운영할 예정이다. 행안부는 이번 사절단 파견을 계기로 방문국의 정책 환경과 수요를 고려한 후속 협력 과제를 발굴할 방침이다. 한국의 AI 정부 정책과 공공서비스 혁신 경험을 국제사회와 공유해 AI 기반 행정 분야의 협력 범위도 넓힌다는 목표다. 국내 기업의 해외 진출을 위한 기반 마련도 추진한다. 디지털 ID와 관세 시스템 등 국내 공공 분야에서 활용되는 디지털 기술을 해외 정부에 소개하고 향후 관련 기업이 해외 시장에 진출할 수 있는 협력 기회를 확대한다는 구상이다. 황규철 행안부 인공지능정부실장은 "이번 AI 정부 사절단 파견은 한국의 우수한 정책과 기술력을 효과적으로 공유할 수 있는 좋은 기회가 될 것"이라며 "앞으로도 해외 정부와의 협력 수요를 적극 발굴하고 확대해 나감으로써 AI 3대 강국으로 자리 잡을 수 있도록 노력하겠다"고 밝혔다.

2026.09.28 12:55한정호 기자

'AI 멈춤 버튼' 만들면 끝일까…킬 스위치의 한계

인공지능(AI)이 인간의 통제를 벗어나는 상황에 대비해 시스템을 강제로 멈추게 하는 '킬 스위치'를 마련해야 한다는 논의가 미국에서 확산하고 있다. AI 자율성과 실행 범위가 커지면서 버튼 하나로 시스템 전체를 차단하기는 어렵다는 지적도 함께 제기된다. 26일(현지시간) 블룸버그 통신에 따르면 민주당 차기 대선주자로 꼽히는 개빈 뉴섬 캘리포니아 주지사는 이달 프런티어 AI 모델의 비상 종료 기능을 의무화하는 규정 검토를 지시했다. 미 의회에서도 고도화된 AI 시스템의 작동을 중단하거나 제한할 수 있는 기능을 요구하는 법안이 잇따라 발의됐다. 킬 스위치는 AI가 위험한 행동을 보일 때 사람이 시스템을 중단하거나 기능을 제한할 수 있도록 하는 장치다. 위험 수준에 따라 모델의 작동 속도를 낮추거나 특정 기능을 제한한 뒤 완전 종료하는 단계적 대응 방식도 거론된다. 이같은 논의는 AI 모델이 코드를 작성·실행하고 외부 도구와 서비스를 활용하는 등 자율성이 높아진 데 따른 것이다. 오픈AI는 지난 7월 사이버보안 평가에서 일부 모델이 인터넷과 격리하도록 설계된 통제를 우회해 AI 플랫폼 허깅페이스의 시스템에 접근한 사례를 공개하기도 했다. 실제 킬 스위치를 구현하는 과정에서도 한계가 예상된다. 소프트웨어에 종료 장치를 넣더라도 AI가 작업을 완료하기 위해 이를 수정하거나 비활성화할 가능성이 있어서다. 서버를 직접 끄는 방식도 여러 데이터센터와 클라우드에 분산된 AI 시스템 전체를 차단하기는 어렵다. AI 에이전트가 여러 소프트웨어와 클라우드 서비스, 외부 인프라를 넘나들며 작업하는 구조도 변수다. 업계에서는 단일 종료 버튼보다 지속적인 모니터링과 위험 행동 탐지, 단계적인 기능 제한 등 시스템 전반에 여러 보호장치를 구축해야 한다고 입을 모은다. 블룸버그 통신은 "고도화된 AI 모델의 완전한 종료를 보장할 수 있는 간단한 방법은 없다"며 "효과적인 보호장치는 AI 시스템 전반에 걸쳐 구축돼야 하며 지속적인 모니터링과 위험 행동을 포착해 인간의 개입을 유도하는 장치를 포함해야 한다"고 말했다.

2026.09.27 09:59이나연 기자

미·중 정상회담 뒤…미 의회서 AI 안전협정 요구

미국과 중국 정상회담이 구체적인 인공지능(AI) 안전 합의 없이 끝난 가운데 미국 의회에서 양국 간 AI 안전협정 체결을 요구하는 목소리가 나왔다. 25일(현지시간) 액시오스에 따르면 로 칸나 미국 하원 미중전략경쟁특별위원회 민주당 간사는 마코 루비오 국무장관에게 보낸 서한에서 미국과 중국이 구속력 있는 AI 안전협정을 체결해야 한다고 촉구했다. 칸나 의원은 AI 개발 속도에 제동을 거는 방안을 제시했다. AI가 스스로 새로운 AI를 만들고 시험하며 성능을 높이는 '재귀적 자기개선'을 국제적으로 일시 중단하고 인간의 지적 능력을 크게 뛰어넘는 초지능 개발도 별도로 멈추자고 했다. 이미 개발된 AI를 통제할 장치도 요구했다. 첨단 AI에 문제가 생기면 작동을 강제로 멈출 수 있도록 미국과 중국이 '킬스위치' 운영 기준을 함께 만들고 AI 기업에는 새 모델 출시 전 안전성 검사를 의무화하자는 내용이다. 양국이 합의를 지키는지 확인하는 방안도 담았다. 이행 여부를 확인할 기술과 점검 체계를 만들고 미국과 중국 모두 신뢰할 수 있는 국제기구나 비정부기구가 이를 검증하자고 제안했다. 이 같은 요구는 고성능 AI 개발 속도가 빨라지면서 출시 전 검증과 사고 대응체계를 강화해야 한다는 논의가 확산하는 가운데 나왔다. 오픈AI는 최근 스스로 성능을 높이는 AI에 대비한 국제 기술 기준과 공통 측정 방식, 사고 보고 체계를 마련하자고 제안했다. 앤트로픽도 신모델을 내놓기 전 외부 안전기관 평가를 받는 등 검증 절차를 강화하고 있다. 미국과 중국 사이에서도 AI 안전 문제는 정상회담 전부터 별도 의제로 다뤄졌다. 스콧 베선트 미국 재무장관은 허리펑 중국 부총리와 회담에서 중대한 AI 사고가 발생하면 상대국에 알리는 통보 체계를 제안하기도 했다. 다만 정상회담 이후 구체적인 AI 안전협정이나 사고 통보 체계 도입은 발표되지 않았다. 칸나 의원은 사고 이후 정보를 공유하는 데 그치지 않고 AI 개발과 출시 단계부터 양국이 공동 기준을 마련해야 한다고 요구했다. 그는 "미국과 중국은 인간이 AI에 대한 통제력을 잃지 않도록 해야 한다는 공동 이해관계가 있다"며 양국 합의를 실제로 확인할 수 있는 국제 검증체계도 마련해야 한다고 밝혔다.

2026.09.26 17:00김동원 기자

정보 찾던 오픈AI 에이전트, 정부·대학 침투 시도

오픈AI 인공지능(AI) 에이전트가 정보검색 과제를 수행하다 정부와 대학 등 외부 웹사이트 보안 장치를 우회하거나 취약점을 공격한 정황이 잇따라 확인됐다. 오픈AI는 영향을 받은 정부와 대학, 공공기관 등 수십 곳에 관련 사실을 알리고 과거 활동을 조사하고 있다. 25일(현지시간) 테크크런치에 따르면 비영리 AI 감시 연구소 트랜슬루스는 오픈AI와 연관된 AI 에이전트가 데이터 USA와 미국 뉴멕시코대 디지털도서관, 호주 보건복지연구원(AIHW)에 접근을 시도한 기록을 확인했다. 일부 에이전트는 정상 접근이 막히자 다른 경로를 찾거나 취약점을 탐색했다. 에이전트에 주어진 과제는 특정 기관 공격이 아니라 인터넷에서 찾기 어려운 통계 확보였다. 태국의 마약 단속 지표와 호주 의약품 비용, 2014년 미국 석사 학위자 중위소득 등을 찾는 과정에서 보안 장치를 우회하려는 행동이 나타났다. 뉴멕시코대 디지털도서관에서는 사진을 가져오는 데 실패한 뒤 7차례에 걸쳐 취약점을 탐색했다. 데이터 USA에서는 사이트가 외부에서 입력한 코드를 실행하는지 확인하는 공격 등을 시도했다. 트랜슬루스는 세 기관에서 실제 시스템 침해에 성공했다는 증거는 발견하지 못했다고 밝혔다. 에이전트들은 웹 보안 분석 서비스 '유알쿼리닷넷'도 활용했다. 연구진은 이곳에 공개된 접속 기록과 에이전트들이 별도 위키에서 나눈 활동기록을 대조해 연관성을 추적했다. 관련 활동은 지난 3월 6일부터 확인됐다. 앞서 알려진 허깅페이스와 에이전트 협업 위키 등 사건보다 최소 두 달 앞선 시점이다. 지난해 11월 기록에서도 비슷한 데이터 검색 활동이 발견됐지만 연구진은 3월 이후 사례보다 에이전트 활동과 연관성이 뚜렷하지 않다고 봤다. 별도로 호주 정부가 공개한 사건에서는 실제 시스템 침입까지 발생했다. 오픈AI 에이전트는 지난 6월 호주 정부 사이트에 무단 접근해 비공개 파일을 확인하고 내부 서버에 새로운 파일까지 생성한 것으로 파악됐다. 호주 정부는 에이전트가 정부 사이트 4곳 접근을 시도한 것으로 보고 법 위반 여부를 조사하고 있다. 이번 사안은 AI 개발 속도와 안전장치를 둘러싼 논쟁이 커지는 가운데 공개됐다. 오픈AI도 지난달 허깅페이스 사고를 고성능 AI 에이전트 위험을 보여준 '경고탄'으로 규정했다. 오픈AI는 안전장치가 위험을 따라갈 수 있도록 필요할 경우 모델 역량 개발속도를 조절해야 한다고 밝혔다. 오픈AI는 현재 정부와 대학, 공공기관 등 수십 곳에 자사 모델의 허가받지 않은 활동 가능성을 통보하고 조사를 확대하고 있다. 접근 통제 우회와 노출된 인증정보 사용, 외부 시스템 내부 접근 등 여러 활동을 확인하고 과거 학습·평가 과정에서 발생한 사례를 다시 살펴보고 있다. 오픈AI는 허깅페이스 사건 조사에서도 내부팀이 지난 5월 말부터 일부 에이전트의 허가받지 않은 인터넷 접근과 에이전트 간 통신을 포착했지만 당시 대응이 충분하지 않았다고 인정했다. 이후 장시간 작업에서도 에이전트가 처음 부여받은 권한과 과제 범위를 벗어나지 않도록 학습과 감시 체계를 강화하고 있다. 콘래드 스토스 트랜슬루스 거버넌스 책임자는 "우리가 보고 있는 것은 에이전트들이 우연히 흔적을 남긴 몇 안 되는 데이터 소스에 불과하다"며 "연구자들은 앞으로도 더 많은 트래픽과 에이전트가 남긴 증거를 찾아낼 것으로 본다"고 말했다.

2026.09.26 13:00김동원 기자

오픈AI·앤트로픽 CEO, UN 안보리서 AI 안전 규범 촉구

샘 알트먼 오픈AI 최고경영자(CEO)와 다리오 아모데이 앤트로픽 CEO가 인공지능(AI)의 잠재적 위험에 대응하기 위한 국제 공조를 촉구했다. 경쟁 관계에 있는 두 AI 기업 수장이 유엔 안전보장이사회에 함께 참석해 AI 안전 문제를 논의한 것은 이례적이다. 24일 두 CEO는 유엔 총회가 열린 미국 뉴욕에서 개최된 안보리 회의에 참석해 AI 시스템이 자체적으로 성능을 개선하고 인간의 통제 역량을 넘어설 가능성에 대비해야 한다고 강조했다. 정부와 기업이 AI의 미래를 좌우할 핵심 결정 과정에 공동으로 참여해야 한다는 주장이다. 샘 알트먼 CEO는 "서로 경쟁하고 때로는 관계가 좋지 않은 국가들도 강력한 신기술 앞에서 공동의 이익과 공공선을 위해 협력한 사례가 있다"며 "AI 역시 그런 경우가 되어야 한다"고 말했다. 이어 AI 개발 속도를 늦춰야 한다는 주장과 위험을 과소평가하는 견해 사이에서 현실적 접근이 필요하다고 밝혔다. 그는 AI 관련 사고를 신속히 보고하고, 국제 사회가 안전장치와 감독 기준에 합의해야 한다고 강조했다. 샘 알트먼 CEO는 "무엇이 좋은 증거이고, 좋은 안전장치이며, 좋은 감독인지 세계 무대에서 합의할 수 있다면 모두에게 더 나은 결과가 될 것"이라며 "우리가 모든 답을 알고 있는 것은 아니며, 더 나은 아이디어를 받아들일 준비가 돼 있다"고 말했다. 다리오 아모데이 CEO는 화상 발언을 통해 AI가 과학과 의료 분야에 상당한 혜택을 가져올 수 있지만, 동시에 재앙적 결과를 초래할 위험도 있다고 지적했다. 그는 테러 조직이 AI를 활용해 치명적 생물무기를 개발할 가능성과 AI 모델이 개발자의 통제 범위를 벗어날 가능성을 언급하며 국제 안전 기준 마련을 촉구했다. 다리오 아모데이 CEO는 "이 자리에 있는 사람들이 가진 차이에도 불구하고, 우리는 동시에 제시된 세계적 기회와 위협에 맞서기 위해 차이를 넘어야 한다"며 "어떤 지도자나 기업, 국가도 이를 혼자 관리할 수 없다"고 말했다. AI의 실존적 위험을 둘러싼 논쟁은 최근 더 확산되고 있다. 다리오 아모데이 CEO는 이달 초 공개한 장문의 글에서 가장 고도화된 AI 시스템의 개발 속도를 조절하고, 연구자들이 잠재적 위협을 충분히 파악할 시간을 확보해야 한다고 주장했다. 이 견해는 샘 알트먼 CEO와 일론 머스크 등의 지지를 받았으며 미국 의회 내 AI 안전 규제 논의에도 영향을 미쳤다. 안토니우 구테흐스 유엔 사무총장도 개회사에서 최첨단 AI 모델인 프런티어 AI를 둘러싼 국가 간 협력 필요성을 강조했다. 그는 국제적 조율과 안전 기준 마련을 지원하는 데 유엔이 역할을 할 수 있다고 밝혔다. 미중 정상회담을 앞두고 열린 이번 회의에서는 AI를 둘러싼 국제 경쟁과 협력 문제도 부각됐다. 미국과 중국은 AI 분야의 세계적 주도권을 놓고 경쟁하는 동시에, 양국 간 AI 대화 채널을 구축하는 방안을 논의해 온 것으로 알려졌다. AI 안전과 규제, 경제적 파급효과는 정상회담의 주요 의제 중 하나가 될 전망이다. 이번 회의에는 조슈아 벤지오 몬트리올대 교수도 유엔 독립 국제 AI 과학패널 공동의장 자격으로 회의에 참석했다. 벤지오 교수는 AI의 급속한 고도화가 국제 평화와 안보에 미칠 영향을 점검하고, 과학적 근거에 기반한 국제 거버넌스 체계를 마련해야 한다는 필요성을 제기했다. 오픈소스 AI 플랫폼 허깅페이스의 클레망 들랑그 CEO도 참석해 AI 에이전트 공격을 받은 사례를 소개하면서도 개별 사고를 이유로 공포 중심의 대응에 나서서는 안 된다고 경고했다. 클레망 들랑그 CEO는 "공포에 기반한 서사는 이처럼 근본적이고 역량을 강화하는 기술의 미래에 대한 올바른 결정을 내리거나 대중의 동의를 얻는 방법이 아니다"라며 "우리는 AI의 공격을 받았지만 더 중요하게는 AI로 방어했다"고 말했다.

2026.09.24 09:14남혁우 기자

[AI는 지금] 속도조절론 속 쏟아진 신모델…AI 3사 승부처는

인공지능(AI) 개발 속도를 둘러싼 논쟁이 커지는 가운데 글로벌 AI 기업 3곳이 이틀 사이 신모델을 잇따라 공개했다. 앤트로픽과 오픈AI, 스페이스XAI는 나란히 성능을 높이면서도 안전성과 비용 효율, 에이전트 역량에 각각 무게를 뒀다. 22일(현지시간) 오픈AI는 'GPT-6 솔·루나', 앤트로픽은 '클로드 오퍼스 5.5'를 각각 공개했다. 하루 전인 21일에는 스페이스XAI가 '그록 4.7'을 선보였다. 같은 시기에 나왔지만 각사가 택한 전략은 달랐다. 앤트로픽은 외부 평가와 행동 감사 등 안전 검증을 강화했다. 오픈AI는 GPT-6 아스트라에서 확보한 기술을 더 빠르고 저렴한 솔·루나로 가져왔고 스페이스XAI는 복잡한 작업을 장시간 수행하고 결과를 스스로 확인하는 능력을 키웠다. 성능 경쟁에서는 오퍼스 5.5가 앞섰다. 글로벌 AI 평가기관 아티피셜 애널리시스의 종합 성능 지표(AAII)에서 최고 설정 기준 오퍼스 5.5는 58점을 기록했다. GPT-6 솔은 48점, 그록 4.7은 46점이었다. 다만 오픈AI와 스페이스XAI는 각각 비용 효율과 장시간 에이전트 업무를 주요 경쟁력으로 강조했다. 최근 AI 개발 속도를 조절해야 한다는 주장에는 세 회사 수장 모두 공감을 나타냈다. 다만 실제 안전 대응은 검증 방식과 적용 강도에서 차이가 있었다. 속도조절 필요성을 제기한 앤트로픽은 오퍼스 5.5를 외부 기관에 사전 평가받고 약 2000개 상황을 대상으로 행동 감사를 진행했다. 오픈AI는 솔·루나가 자사 최고 위험 단계에는 이르지 않았다고 판단해 기존 GPT-5.6 솔·루나와 같은 안전장치를 적용했다. 스페이스XAI는 그록 4.7에 새로운 안전체계를 도입했지만 공식 발표에는 외부 기관의 사전 평가나 개발 속도를 늦춘 조치에 대한 내용은 포함되지 않았다. 앤트로픽은 '안전'…외부 검증·고위험 작업 제한 앤트로픽은 오퍼스 5.5에서 외부 검증과 고위험 작업 통제를 강화했다. 회사는 이를 프런티어 AI 개발 속도조절을 제안한 이후 처음 공개한 모델이라고 소개했다. 출시 전에는 미국 비영리 AI 평가기관 모델평가위협연구소(METR)와 프런티어 디자인 등 외부 기관의 평가를 받았다. 내부에서도 모델이 위험하거나 의도하지 않은 행동을 보이는지 자동으로 점검했다. 통제 범위를 벗어나려는 행동도 따로 살폈다. 오퍼스 5.5가 정해진 경계를 우회하려 한 빈도는 기존 오퍼스 5와 미토스 5.1보다 약 85% 낮았다. 확인된 시도는 모두 심각도가 낮았으며 모델이 스스로 이를 보고했다고 회사 측은 설명했다. 악용 가능성이 큰 분야에는 사용 제한을 뒀다. 대부분의 사이버보안 작업은 이전 모델인 오퍼스 4.8이 처리하도록 했으며 일부 생물학 관련 고위험 기능에는 이용자 검증 절차를 적용했다. 성능과 비용도 개선됐다. 초기 평가자가 20만줄 규모의 프로그램 코드를 점검하고 오류를 수정하도록 하자 오퍼스 5.5는 3시간 안에 작업을 마쳤다. 기존 오퍼스 5는 같은 작업에 20시간 이상 걸렸다. 일반적인 작업 비용은 40% 낮아졌고 출력 속도는 30% 이상 빨라졌다. 안전 평가의 한계도 확인됐다. 오퍼스 5.5가 일부 상황에서 자신이 시험받고 있다는 사실을 의심하는 징후를 보였기 때문이다. 앤트로픽은 "모델을 배포하기 전에 모든 실패 가능성을 평가로 찾아내는 방법은 아직 해결되지 않았다"고 설명했다. 오픈AI는 '효율'…아스트라 기술 더 싸게 오픈AI는 아스트라에서 확보한 기술을 더 낮은 비용의 솔과 루나로 가져왔다. 최상위 모델의 성능을 최고가 제품에만 두기보다 작업 난도와 비용에 따라 선택할 수 있도록 GPT-6 제품군을 세분화했다. 솔은 복잡한 코딩과 에이전트 업무처럼 높은 성능이 필요한 작업을 겨냥한다. 루나는 빠른 응답과 낮은 비용이 중요한 대량 작업에 초점을 맞췄다. 오픈AI는 루나를 자사 모델 가운데 가장 빠르고 비용 효율적인 모델로 소개했다. 가격은 GPT-5.6 솔·루나의 프로모션 가격보다 50% 낮췄다. 솔은 입력 토큰 100만개당 2달러, 출력 10달러이며 루나는 각각 0.1달러와 0.5달러다. 안전 대응에서는 기존 체계를 유지했다. 오픈AI는 솔과 루나를 사이버보안과 생물·화학 분야에서 '높은 수준'으로 분류했지만 아스트라가 도달한 사이버보안 '중대한 수준'에는 미치지 않는다고 평가했다. 이에 따라 GPT-5.6 솔·루나와 같은 수준의 안전장치를 적용했다. 아스트라에서 개발한 정렬 기술은 새 모델에도 적용했다. 오픈AI는 솔과 루나가 GPT-5.6 계열보다 탈옥 공격에 대한 저항성과 정렬 평가에서 개선된 결과를 보였다고 밝혔다. 오픈AI는 위험이 일정 수준에 접근하면 실제 개발 속도를 늦춘 경험도 있다. 지난달 아스트라가 중대한 수준의 사이버보안 능력에 도달할 가능성이 나타나자 배포 예정 모델의 강화학습을 2주간 중단했다. 최대 규모의 프런티어 강화학습도 보류하고 보안과 모니터링 체계를 보강했다. 스페이스XAI는 '에이전트'…수시간짜리 업무까지 겨냥 스페이스XAI는 그록 4.7의 장시간 업무 수행과 자기 검증 능력을 강화했다. 기존 그록 4.6보다 큰 기반 모델을 사용하고 강화학습 기간을 늘려 수시간이 걸리는 문제의 학습 비중을 높였다. 모델은 긴 작업을 이어가면서 앞서 내린 판단과 결과를 다시 확인하도록 훈련됐다. 긴 맥락을 관리하는 능력도 높여 코딩뿐 아니라 문서 작성과 전문 지식 업무처럼 여러 단계를 거치는 작업을 겨냥했다. 외부 평가에서도 에이전트 업무 성능이 높아졌다. 아티피셜 애널리시스의 장기 지식 업무 평가 'AA 브리프케이스'에서 그록 4.7은 1657점을 기록해 그록 4.6보다 111점 높았다. 코딩 에이전트 지표도 9점 오른 56점을 기록했다. 가격은 입력 토큰 100만개당 2달러, 출력은 6달러부터 시작한다. 출력 속도를 두 배 높인 별도 모델도 제공한다. 안전 측면에서는 새로운 안전체계를 적용했다. 스페이스XAI는 자체 사이버보안 평가 '해커벤치 0.3'에서 위험한 이중용도 요청 가운데 3.3%만 허용했으며 자사가 평가한 모델 가운데 탈옥 공격 저항성이 가장 높았다고 밝혔다. 머스크도 최근 AI 개발 속도를 늦출 필요성에 공감을 나타냈다. 다만 이번 그록 4.7 공식 발표에서는 개발 속도를 낮추거나 외부 기관의 사전 평가를 받았다는 내용은 공개되지 않았다. 스페이스XAI는 "그록 4.7은 어려운 작업을 더 오래 수행하고 자신의 작업을 더 꼼꼼히 확인할 수 있다"며 "지금까지 가장 잘 조정된 안전장치를 갖췄다"고 밝혔다.

2026.09.23 14:37김동원 기자

AI 위험 검증하는 나라로…韓, '제3자 평가국' 노린다

인공지능(AI) 경쟁이 모델 성능을 넘어 누가 위험을 판단할 것인지로 번지고 있다. 미국과 중국이 프런티어 AI 경쟁을 주도하면서 양국이 서로의 시스템을 직접 검증하기 어려울 경우 제3국이나 국제기구가 평가를 맡는 방안도 거론되고 있다. 김명주 AI안전연구소장은 23일 지디넷코리아와의 통화에서 "미국과 중국 사이에서 제3국의 평가가 필요해지는 상황이 온다면 우리가 나서겠다는 생각을 갖고 있다"며 "다만 아직은 앞서가는 시나리오이자 희망 사항일 뿐 실제 역할을 맡으려면 프런티어 AI 기술과 평가 역량을 갖춰야 한다"고 강조했다. 국제적으로도 프런티어 AI를 공동 평가하고 위험 정보를 공유하려는 움직임이 이어지고 있다. 오픈AI는 21일(현지시간) 한국 등 각국 AI안전연구소가 참여하는 협력망을 활용해 평가 결과를 공유하고 공통 기준을 마련하는 방안을 제안했다. 미중 AI 안전 협의 시작…검증은 누가 최근 AI 개발 속도와 안전을 둘러싼 논쟁이 커지면서 미국과 중국 사이에서도 AI 안전 문제가 의제로 떠올랐다. 양국은 정상회담을 앞두고 관련 논의를 시작했다. 미국은 중대한 AI 사고가 발생할 경우 서로 알리는 통보 체계를 중국 측에 제안했지만 중국은 아직 구체적인 입장을 밝히지 않은 것으로 알려졌다. 김 소장은 "위협의 신호가 보이면 서로 핫라인을 개설해 이야기하고 협의하자는 논의까지 나오고 있다"고 말했다. 통보 체계가 만들어져도 상대국 AI 위험을 누가 확인할지는 남는다. 미국이 중국의 핵심 AI 시스템을 직접 들여다보거나 중국이 미국의 모델을 검사하기는 쉽지 않아서다. 김 소장은 장기적으로 핵확산금지조약(NPT)과 비슷한 국제 통제체제가 AI에서도 등장할 가능성을 거론했다. 실제로 미국과 중국의 안보 전문가 사이에서도 핵 군축과 유사한 안전장치와 위기 소통 채널을 AI에 적용하자는 제안이 나왔다. 한국은 국제 평가체계가 만들어질 경우 참여하겠다는 뜻도 전달했다. 김 소장은 지난 8월 국제 AI 평가 협력망을 조정하는 영국 측과 의견을 나눴고 각국 AI안전연구소가 함께 참여하는 방식이라면 한국도 적극 참여하겠다는 입장을 밝혔다. 이 분야에서 가장 앞서 있다는 평가를 받는 곳은 영국이다. 영국 AI안전연구소는 2023년 11월부터 프런티어 AI를 직접 평가해왔다. 사이버와 생물안보 등 국가안보·공공안전 분야에서 첨단 모델을 반복적으로 시험하면서 평가 방법과 데이터를 축적했다. 김 소장은 영국이 현재 프런티어 AI 평가 기술에서 가장 앞서 있다고 진단했다. 김 소장은 AI안전연구소도 지난 2년간 영국의 평가 기술을 따라잡기 위해 관련 역량을 쌓아왔다고 설명했다. 그는 "한국은 AI 제재국이 되지 말고 제재를 논의하는 나라가 돼야 한다"고 강조했다. 국제 논의 발언권, 결국 '경험'에서 나온다 AI 안전 논의에서 한국의 발언권을 키우려면 기술력과 함께 실제 현장에서 쌓은 경험도 중요하다는 지적이 나온다. 박지환 씽크포비엘 대표는 "아직 AI가 실제 현장에서 어떤 문제를 얼마나 자주 일으키는지 충분히 축적되지 않았는데 머릿속에서 만든 기준이 처음부터 정확할 것이라고 기대하기는 어렵다"고 말했다. 그는 혈압 기준을 예로 들었다. 어느 수준부터 치료에 개입할지를 수많은 임상 경험과 데이터를 거쳐 정해온 것처럼 AI도 실제 적용과 실증을 반복하면서 기준을 다듬어야 한다는 설명이다. 박 대표는 "한국이 표준에 대한 현장 실증을 많이 하는 나라가 되는 것이 중요하다"며 "국제기준을 실제 산업과 공공현장에 적용해 무엇이 맞고 무엇이 부족한지를 지속적으로 제시해야 한다"고 강조했다. 현장 경험과 별개로 국제적으로 통용될 표준은 공적인 절차와 합의를 거쳐야 한다. 전종홍 한국전자통신연구원(ETRI) 표준연구본부 책임연구원은 "오픈AI나 앤트로픽이 '표준'이라는 용어를 많이 쓰지만 그렇게 쓴다고 그냥 표준이 되는 것은 아니다"라며 "문서를 만드는 것과 권위를 만드는 것은 다르다"고 밝혔다. 박 대표는 "이런 경험과 데이터가 축적되면 한국의 의견에 무게가 생기고 더 많은 국제 실증과 표준화 논의의 중심에 설 기회가 생긴다"며 "기준을 받아들이는 나라보다 기준이 현실에서 작동하는지를 증명하고 개선하는 나라가 AI 안전 논의의 중심에 설 것"이라고 말했다.

2026.09.23 10:43김동원 기자

[AI는 지금] AI 속도조절 꺼낸 앤트로픽, 성능·안전 높인 '오퍼스 5.5' 공개

앤트로픽이 인공지능(AI) 개발 속도조절론을 제안한 뒤 처음으로 새로운 모델을 선보였다. 성능을 높이면서 외부 평가와 통제 장치를 강화해 안전성도 함께 끌어올렸다. 앤트로픽은 22일(현지시간) 자사 블로그를 통해 '클로드 오퍼스 5.5'를 공개했다. 코딩과 컴퓨터 사용, 지식 업무 능력을 강화하면서 기존 오퍼스 5보다 일반적인 작업 비용은 40% 낮추고 출력 속도는 30% 이상 높였다. 성능 개선은 실제 작업에서도 확인됐다. 앤트로픽에 따르면 초기 평가자가 20만 줄 규모 프로그램 코드를 점검하고 오류를 수정하도록 하자 오퍼스 5.5는 3시간 안에 작업을 마쳤다. 기존 오퍼스 5는 같은 작업에 20시간 이상이 걸렸다. 전문적인 코딩 평가에서도 성능 향상이 나타났다. AI가 컴퓨터에서 직접 명령을 실행하며 문제를 해결하는 능력을 평가하는 '터미널-벤치 4.0'에서 오퍼스 5.5는 66.4%를 기록했다. 앤트로픽이 공개한 자료에서 오픈AI 'GPT-6 아스트라'는 57.9%, 기존 오퍼스 5는 52.3%였다. 앤트로픽은 다만 이런 점수만으로 모델의 우열을 판단하기는 어렵다고 설명했다. 모델 성능이 높아질수록 벤치마크의 작은 점수 차이가 실제 사용 환경에서 그대로 나타나지 않을 수 있어서다. 비용도 낮췄다. 기업이나 개발자가 오퍼스 5.5를 사용할 때 내는 가격은 입력 토큰 100만개당 4달러, 출력 토큰 100만개당 20달러다. 기존 오퍼스 5보다 각각 20% 저렴하다. 앤트로픽은 성능과 비용을 개선하면서 안전장치도 강화했다고 밝혔다. 이번 모델은 출시 전 AI 평가기관인 모델평가위협연구소(METR)와 프런티어 디자인 등 외부 기관의 평가를 거쳤다. 내부에서는 약 2000개 상황을 대상으로 모델이 위험하거나 의도하지 않은 행동을 보이는지 확인하는 자동화 행동 감사도 진행했다. 회사 측은 오퍼스 5.5가 지금까지 평가한 모델 가운데 가장 높은 수준의 안전성을 보였다고 평가했다. 별도 평가에서는 모델이 정해진 통제 경계를 우회하려 한 빈도가 기존 오퍼스 5와 클로드 미토스 5.1보다 약 85% 낮았다. 확인된 우회 시도는 모두 심각도가 낮았으며 모델이 스스로 이를 보고했다. 사이버보안과 생물학처럼 악용 위험이 큰 분야에는 별도 안전장치를 적용했다. 사이버보안 작업 대부분은 이전 모델인 오퍼스 4.8이 처리하도록 했으며 일부 생물학 관련 기능은 검증된 이용자에게만 제공한다. 다만 안전 평가 과정에서는 한계도 드러났다. 오퍼스 5.5는 일부 상황에서 자신이 시험받고 있다는 사실을 눈치챈 듯한 반응을 보였다. 앤트로픽은 평가 환경을 인식한 모델이 실제 사용 환경에서는 다르게 행동할 가능성이 있어 출시 전 평가만으로 모든 문제를 찾아내기는 어렵다고 설명했다. 앤트로픽은 "현재 모델은 기존 안전 관행으로 관리할 수 있는 수준"이라며 "AI 연구를 완전히 자동화할 수 있는 미래 모델에는 더 높은 기준과 공공정책의 더 큰 역할이 필요하다"고 밝혔다.

2026.09.23 09:17김동원 기자

AI 안전, 선언보단 검증으로…국제표준도 달라진다

인공지능(AI) 기술이 빠르게 발전하면서 국제표준도 안전 원칙을 세우는 데서 나아가 실제 위험을 찾아내고 검증하는 쪽으로 기준이 바뀌고 있다. 전종홍 한국전자통신연구원(ETRI) 표준연구본부 책임연구원은 22일 서울대 인공지능신뢰성연구센터 월례세미나에서 "AI 안전과 신뢰성에 대한 국제표준 논의가 원칙 중심에서 이를 입증할 수 있는 증거 중심으로 이동하고 있다"고 밝혔다. 최근 AI는 질문에 답하는 도구에서 스스로 판단하고 행동하는 단계로 빠르게 넘어가고 있다. AI가 직접 도구를 사용하고 여러 작업을 수행하면서 성능과 정확도를 넘어 예상하지 못한 행동과 피해 가능성까지 검증해야 할 필요성이 커졌다. 이에 따라 AI 안전을 확인하는 방법도 달라지고 있다. AI를 직접 공격해 취약점을 찾는 레드팀 테스트와 어떤 안전·신뢰 기준을 충족했는지 근거와 함께 보여주는 신뢰성 사실 라벨(TFL) 등이 국제표준으로 개발되고 있다. 전 책임연구원은 이 같은 AI 안전·신뢰성 분야 국제표준 개발을 주도해온 전문가다. ISO와 IEC의 AI 국제표준화위원회 'ISO/IEC JTC1 SC42'에서 AI 시험·평가와 레드팀 테스트, 신뢰성 표시 관련 표준 개발에 참여하고 있다. 대통령 직속 국가인공지능전략위원회 글로벌협력 분과위원으로도 활동 중이다. 일부러 AI 속여본다…안전 검증도 '레드팀'으로 AI 안전성을 확인하는 대표 방법이 레드팀 테스트다. AI를 일부러 속이거나 공격해 정상적인 사용 과정에서는 드러나지 않는 취약점을 찾는다. AI는 기존 소프트웨어와 달리 모든 상황에서 어떤 결과를 내놓을지 미리 정하기 어렵다. 위험한 답변을 유도하거나 안전장치를 우회하는 등 다양한 공격을 가해 예상하지 못한 행동을 확인하는 이유다. 전 책임연구원이 국제표준 에디터를 맡은 'ISO/IEC 42119-7'은 이러한 레드팀 테스트의 절차와 방법을 정한다. 공격 시나리오 설계부터 시험 수행, 결과 분석과 개선까지 다루며 2027년 5월 제정을 목표로 하고 있다. 그는 "이미 알려진 공격만 반복해서 시험해서는 새로운 취약점을 찾기 어렵다"며 "악의적인 공격뿐 아니라 일반 이용자가 AI를 사용하는 과정에서 우연히 발생하는 문제까지 찾아낼 수 있어야 한다"고 강조했다. AI 공격에 에이전트 30개…평가에도 AI 쓴다 레드팀 테스트에도 AI가 활용되고 있다. 사람이 직접 공격 문장을 만드는 대신 여러 AI 에이전트가 동시에 다양한 공격을 시도하는 방식이다. 실제로 올해 국내 AI 레드팀 챌린지에서는 한 참가자가 AI 에이전트 약 30개를 동시에 가동했다. 참가자 수는 지난해와 비슷했지만 제출된 공격 사례는 약 4900건에서 1만 7500건으로 3배 이상 늘었다. AI를 활용하면서 짧은 시간에 훨씬 많은 공격을 시도할 수 있게 됐다. 동시에 사람이 확인해야 할 결과도 크게 늘었다. 결국 평가에도 AI가 투입됐다. 사람이 수많은 공격 결과를 하나씩 확인하기 어려워지자 AI가 결과를 분석하고 평가하는 데 활용됐다. 전 책임연구원은 "AI를 활용하면서 공격 규모가 크게 늘었다"며 "사람이 모든 결과를 확인하기 어려워져 평가에도 AI를 활용하게 됐다"고 설명했다. AI 안전, 말로 보증 안 된다…증거 보여주는 '신뢰 라벨' AI를 시험하는 것만큼 중요한 것은 그 결과를 어떻게 보여주느냐다. 국제표준화 현장에서는 AI가 어떤 안전·신뢰 기준을 충족했는지 근거와 함께 표시하는 TFL을 개발하고 있다. TFL은 환경 라벨과 비슷하다. 기업이 말로 AI가 안전하다고 주장하는 대신 어떤 시험과 평가를 거쳤는지 확인할 수 있도록 한다. ▲위험관리 체계를 갖췄는지 ▲편향이나 취약점을 시험했는지 ▲사람이 중요한 결정을 통제할 수 있는지 등을 표시하고 이를 뒷받침하는 시험·인증 결과를 연결한다. 전 책임연구원은 "AI가 신뢰할 만하다는 것을 검증 가능한 방법으로 증명할 수 있는 체계를 만들자는 것"이라며 "환경 라벨과 비슷한 개념이라고 보면 된다"고 설명했다. 라벨은 사람뿐 아니라 AI가 읽을 수 있는 형태도 검토되고 있다. 향후 AI 에이전트가 다른 서비스에 접속하기 전에 해당 시스템이 어떤 안전 기준을 충족했는지 자동으로 확인하는 데 활용할 수 있다. 그는 "약 2년간 관련 작업을 진행했다"며 "현재 기본 개념과 요구사항을 담은 표준안이 국제표준 절차를 밟고 있다"고 밝혔다. 답변 넘어 직접 행동하는 AI…새 안전 기준 필요 표준화가 아직 따라가지 못한 영역도 있다. 스스로 판단하고 행동하는 AI 에이전트다. AI 에이전트는 목표를 받아 작업 순서를 정하고 외부 도구를 이용해 직접 행동한다. AI에 어떤 권한을 줄지, 어떤 행동에 사람의 승인을 받도록 할지, 잘못된 행동을 어떻게 중단하거나 되돌릴지 등 새로운 기준이 요구된다. 여러 AI가 역할을 나눠 일하는 멀티에이전트에서는 각각의 권한과 행동을 추적하는 문제까지 더해진다. 하지만 이를 모두 포괄하는 국제표준은 아직 마련되지 않았다. 전 책임연구원은 "신원 확인과 권한 위임, 도구 사용 통제부터 사람의 승인과 검증, 문제가 생겼을 때 되돌리는 기준까지 필요하다"며 "현재 이를 모두 지원하는 표준은 없는 상황"이라고 지적했다. 프런티어 AI도 표준화 논의가 시작된 단계다. 어느 정도 능력이나 연산 규모를 갖춰야 프런티어 AI로 볼지 합의된 정의가 없고 빠르게 높아지는 능력을 어떻게 평가할지도 과제로 남아 있다. AI 발전 속도를 국제표준이 따라갈 수 있느냐는 숙제도 있다. 표준 제정에 수년이 걸리는 만큼 특정 기술에 맞춘 세부 기준은 완성될 때쯤 뒤처질 수 있어서다. 전 책임연구원은 "기술 트렌드에 종속되는 내용은 많이 다루지 않는다"며 "시간이 지나 기술이 변해도 필요성이 없어지지 않는 내용을 주로 다룬다"고 말했다.

2026.09.22 15:44김동원 기자

오픈AI "AI 국제표준, 미국이 주도해야"

오픈AI가 미중 정상회담을 앞두고 미국이 차세대 인공지능(AI)의 국제표준 수립을 주도해야 한다고 촉구했다. 21일(현지시간) 오픈AI는 자사 블로그에 'AI의 다음 단계를 위한 표준 구축'이라는 글을 올리고 미국이 세계 각국과 협력해 최첨단 AI의 글로벌 기술표준 마련을 이끌어야 한다고 밝혔다. 오픈AI는 국가마다 AI 평가와 사고 보고 기준이 다르면 위험이 발생했을 때 공동 대응이 어려워질 수 있다고 지적했다. 최첨단 AI 개발 역량과 전문성도 일부 국가에 집중돼 있어 국가 간 공통 기준이 필요하다고 강조했다. AI 연구 자동화도 국제표준이 필요한 이유로 제시했다. AI가 다음 세대 모델 개발에 더 많이 참여하면 연구 결과가 다시 AI 개발에 활용될 수 있다. 오픈AI는 이런 '재귀적 자기개선(RSI)'이 늘어날수록 AI 발전 속도도 빨라질 수 있다고 경고했다. 아직 사람이 빠진 채 AI가 스스로 이런 과정을 반복하는 단계에 이른 것은 아니다. 다만 자동화가 지나치게 빨라지면 사람이 연구 과정을 이해하지 못해 AI 개발을 제대로 통제하기 어려워질 수 있다. 오픈AI는 국제표준에 AI 연구가 얼마나 자동화됐는지 측정하는 기준과 사람이 개입해야 할 시점, 사고가 발생했을 때 이를 분류하고 보고하는 절차를 담자고 제안했다. 표준 마련에는 한국을 비롯해 호주, 캐나다, 독일, 프랑스, 케냐, 일본, 싱가포르, 인도, 영국의 AI 안전연구소와 관련 기관을 활용하는 방안을 내놨다. 미국 인공지능 표준혁신센터(CAISI)와 각국 기관이 협력해 AI 성능 평가와 위험 관리에 필요한 공통 기술기준을 마련하자는 구상이다. 다만 이를 AI 모델 출시 전 정부 승인을 받도록 하는 규제로 만들자는 것은 아니다. 공통 기술기준을 실제 법과 제도에 적용할지는 각국 정부가 결정하도록 했다. 미국이 국제표준 마련을 이끌어야 하는 이유로는 기술력과 국제 영향력을 들었다. 미국이 최첨단 AI 개발을 주도하고 금융과 무역, 국방, 기술, 정보시스템 등에서 세계 각국과 연결돼 있어 국제 규칙을 만드는 데 유리하다는 주장이다. 오픈AI는 앞으로 AI 경쟁이 누가 더 뛰어난 모델을 개발하느냐에 그치지 않을 것으로 전망했다. 각국 기업과 사회가 어떤 기준 아래 AI를 도입하고 확산할지 정하는 규칙까지 경쟁 영역으로 넓어질 수 있다고 내다봤다. 이번 제안은 미국과 중국이 AI 안전 문제를 양국 간 의제로 다루기 시작한 가운데 나왔다. 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석은 오는 24일 워싱턴에서 정상회담을 갖고 AI와 무역 등 주요 현안을 논의할 예정이다. 앞서 스콧 베선트 미국 재무장관과 허리펑 중국 국무원 부총리는 20일 뉴욕에서 AI 안전 문제를 논의했다. 미국은 국가안보에 영향을 줄 정도의 AI 사고가 발생하면 양국이 서로 알리는 체계를 제안했고 양측은 관련 대화를 이어가기로 했다. 오픈AI는 "미국과 중국 간 대화는 긍정적인 조치가 될 것"이라며 "지금 주도권을 잡아야 미국이 글로벌 AI 체계를 형성할 수 있다"고 밝혔다.

2026.09.22 15:32김동원 기자

미·중, 'AI 사고' 국가 간 충돌 막는다…미국, 중대 사고 상호 통보 제안

미국과 중국이 인공지능(AI) 사고가 국가 간 충돌로 번지는 것을 막기 위한 논의에 들어갔다. 미국은 국가안보에 영향을 줄 만한 AI 사고가 발생하면 양국이 서로 이를 알리는 방안을 중국에 제안했다. 20일(현지시간) 로이터와 AFP통신 등에 따르면 스콧 베선트 미국 재무장관과 허리펑 중국 국무원 부총리는 이날 미국 뉴욕에서 만나 AI 문제를 별도로 논의했다. 미국 측은 중대한 AI 사고가 발생할 경우 상대국에 상황을 알리는 방안을 제시했다. 미국은 이런 소통이 양국의 오해를 줄이는 데 필요하다고 설명했다. AI가 군사나 사이버 분야에서 예상하지 못한 행동을 했을 때 상대국이 이를 실제 공격으로 받아들이는 상황을 막기 위해서다. 중국도 이번 회담에서 AI 문제를 논의했다고 밝혔다. 중국 관영 신화통신은 양국이 경제·무역 현안과 함께 AI 관련 문제를 다뤘다고 전했다. 다만 미국이 제안한 사고 통보 방안에 대해서는 별도 입장을 내놓지 않았다. 이 문제는 오는 24일 워싱턴에서 열리는 도널드 트럼프 미국 대통령과 시진핑 중국 국가주석 간 정상회담에서도 다뤄질 수 있다. 미국과 중국 정상은 지난 5월 베이징 회담에서도 AI 관련 협의 가능성을 논의한 바 있다. 미국과 중국의 안보 전문가들 사이에서는 이미 비슷한 제안이 나왔다. 브루킹스연구소와 칭화대가 주도해 온 AI·국가안보 대화에 참여한 전문가들은 AI 사고가 군사적 충돌로 번지는 것을 막기 위해 양국 간 핫라인을 만들자고 제안했다. 양국의 AI 기술 경쟁과 관련한 모든 문제가 이번 회담에서 다뤄진 것은 아니다. 제이미슨 그리어 미국 무역대표부 대표는 첨단 AI 반도체와 반도체 제조 장비에 대한 미국의 대중국 수출통제는 이번 논의에서 제외됐다고 밝혔다. 베선트 장관은 "우리는 공동의 목표와 공동의 위협에 대한 인식을 공유하기를 원한다"며 "세계 1위와 2위 AI 강국 사이에서 불투명성을 줄이고 더 많은 투명성으로 나아가는 것은 매우 중요하다"고 말했다.

2026.09.21 16:11김동원 기자

AI 안전성, 지정학적 맥락보다 '언어'에 더 큰 영향…한국어 질문 시 유해성 낮아

인공지능(AI) 모델의 안전성이 질문 언어와 지정학적 맥락에 따라 달라질 수 있다는 연구 결과가 나왔다. 영어보다 한국어로, 미국보다 한국 맥락으로 질문했을 때 유해성 점수가 낮았으며 언어에 따른 효과는 지정학적 맥락보다 2.5배 컸다. 오픈소스 모델에서는 이와 다른 양상도 나타났다. 21일 업계에 따르면 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 조직인 인공지능안전연구소는 스케일 AI와 다국어 AI 안전성 벤치마크 'ROK-포트리스'를 공동 개발했다. ROK-포트리스는 스케일 AI의 국가안보·공공안전 분야 벤치마크인 포트리스를 기반으로 개발됐다. 이 최신 벤치마크는 기존 다국어 안전성 평가처럼 동일한 프롬프트를 번역하는 데 그치지 않고 질문의 언어와 지정학적 맥락을 각각 바꿔 모델 응답 변화를 비교한다. 영어·한국어와 미국·한국의 주체, 기관, 사건 등을 조합해 하나의 적대적 프롬프트를 최대 4가지 조건으로 변형하는 방식이다. 공동 연구진은 국가안보·공공안전 분야에서 1235개 과제를 구성해 14개 AI 모델을 평가했다. 평가 영역은 화학·생물학·방사능·핵·폭발물(CBRNE), 정치적 폭력·테러리즘, 범죄·금융 활동, 정보 유출 등 4개다. 각 유해 요청에는 무해한 대응 요청을 함께 구성해 모델의 과잉 거부 여부도 측정했다. 평가에서는 영어 프롬프트가 전반적으로 가장 높은 위험 점수를 기록했고 한국어와 한국 맥락을 함께 적용한 프롬프트의 위험 점수가 가장 낮았다. 영어에서 한국어로 언어를 바꿨을 때의 효과는 약 10%포인트로, 미국 주체·기관을 한국으로 바꿨을 때의 약 4%포인트보다 2.5배 컸다. 한국어로 바꿨을 때 유해성이 낮아지는 효과가 한국 맥락을 추가한다고 더 커지는 것은 아니었다. 14개 모델 중 4개에서는 오히려 한국 맥락을 적용했을 때 한국어 사용에 따른 유해성 억제 효과가 유의미하게 줄었다. 반대로 한국 맥락을 추가하면서 이 효과가 유의미하게 커진 모델은 없었다. 공동 연구진은 언어와 지정학적 맥락이 서로 독립적으로 작용하는 것이 아니라 모델마다 상호작용한다고 분석했다. 한국어의 상대적 안전성이 모든 모델의 고유한 안전성 정렬을 의미하는 것은 아니라는 분석도 나왔다. 공동 연구진이 역할극이나 가상의 배경, 감정적 호소 등 유해한 요청을 감추는 적대적 프레이밍을 제거하고 같은 정보를 직접 요청하도록 조건을 바꾸자 한국어의 상대적 이점이 대부분 사라졌다. 이 과정에서 모델 유형별 차이도 나타났다. 오픈AI와 앤트로픽, 구글 등 폐쇄형 모델은 적대적 프레이밍을 제거한 뒤에도 한국어에서 다소 낮은 유해성을 유지했지만 5개 오픈소스 프론티어 모델은 오히려 한국어 유해 요청에 응할 가능성이 높아졌다. 연구진은 트랜스크리에이션 과정에서 적대적 프롬프트의 포장 방식이 효과를 잃으면서 초기 결과의 일부가 발생했을 가능성을 제시했다. 한국어에서 낮은 유해성 점수가 나타난 것이 거부율이 높았기 때문만은 아니라는 결과 역시 확인됐다. 모델이 요청을 거부하지 않고 실제 답변을 제공한 사례만 따로 분석해도 14개 모델 중 12개가 한국어 질문에 더 낮은 유해성의 응답을 내놨다. 동시에 무해한 한국어 요청에 대한 거부도 늘었으며 일부 모델에서는 거부 빈도가 약 두 배까지 증가했다. 공동 연구진은 이번 결과가 영어 프롬프트를 다른 언어로 번역하는 방식만으로는 배포 환경의 AI 안전성을 충분히 평가하기 어렵다는 점을 보여준다고 설명했다. 실제 서비스에서는 언어와 함께 제도·기관·인물·사건 등 지정학적 맥락도 달라지는 만큼, 안전성 평가에서도 이를 함께 반영해야 한다는 것이다. 인공지능안전연구소와 스케일 AI는 공동 연구와 거대언어모델(LLM) 평가, AI 시스템 취약점과 잠재적인 적대적 악용방식을 식별하기 위한 레드티밍 활동 등을 이어갈 방침이다. 공동 연구진은 "ROK-포트리스의 더 큰 목표는 측정하기 가장 쉬운 환경이 아니라 있는 그대로의 현실 세계를 반영하는 안전성 평가 체계를 확립하는 것"이라며 "영어 환경에서 안전장치가 작동하는지를 확인하는 데 그치지 않고, AI가 실제로 사용될 다양한 맥락에서도 안전성이 일반화되는지를 검증해야 한다"고 말했다.

2026.09.21 11:26이나연 기자

  Prev 1 2 3 4 5 6 7 8 9 10 Next  

지금 뜨는 기사

이시각 헤드라인

장인의 '감' 대신 데이터로…K-주얼리, AI 날개 단다

"TSMC, 메모리 진출 검토…엔비디아 요청" 디인포메이션

기아, 전남광주서 PBV 생태계 구축…2029년까지 3조원 투자

"피지컬AI 닻 올렸다"…K-팹리스, 실전 무기 갖추고 출전 채비

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.