• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
2026전망
스테이블코인
배터리
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'인공지능 안전'통합검색 결과 입니다. (101건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

안토니 쿡 MS 부사장 "AI 혁신·안전 사이 균형 필요…접근성·포용성 높여야 발전 가능"

[경주=장유미 기자] 마이크로소프트(MS)가 인공지능(AI)의 책임 있는 설계와 활용을 위해 공공·민간 협력을 강화한다. 안토니 쿡(Antony Cook) MS 부사장은 30일 오전 경북 경주 예술의 전당에서 열린 '아시아태평양경제협력체(APEC) CEO 서밋' 연단에 올라 '책임 있는 AI 확산과 확장을 위한 공공·민간 협력'에 대해 강연했다. 그는 "AI 기술을 설계하고 운영할 때 투명성과 책임성을 확보하는 것이 무엇보다 중요하다"며 "우리는 10년 전부터 이런 원칙을 적용해왔고, 이제는 이를 산업 전반으로 확산할 시점"이라고 말했다. 이어 "현재 30개 이상의 안전 도구를 외부에 개방해 기업과 기관이 자체적으로 AI 안전 체계를 구축할 수 있도록 지원하고 있다"며 "이 같은 접근은 단순히 기술 제공을 넘어 신뢰 가능한 AI 생태계를 조성하는 것을 목표로 두고 있다"고 설명했다. 이를 위해 MS는 '콘텐츠 출처 및 진위성 연합(Coalition for Content Provenance and Authenticity, C2PA)'의 창립 멤버로도 활동 중이다. AI가 생성한 콘텐츠의 출처를 표시하는 개방형 표준 개발을 주도하기 위해서다. C2PA는 딥페이크 위협에 대응하기 위한 핵심 표준을 제시하는 곳으로, 구글과 어도비, 메타, 인텔, 소니, 오픈AI 등도 멤버로 활동하고 있다. 쿡 부사장은 "콘텐츠의 출처를 명확히 하는 것은 디지털 신뢰의 핵심"이라며 "산업계 전체가 협력해야 한다"고 강조했다. 또 그는 사회 인식 제고를 위한 민관 협력의 중요성도 강조했다. 이의 일환으로 MS는 한국에서 영국 비영리단체, 국내 비영리기관, 한국지능정보사회진흥원(NIA)과 협력해 중학생 대상 AI 인식 캠페인을 진행할 예정이다. 쿡 부사장은 "청소년들이 AI 기술의 가능성과 위험을 균형 있게 이해하고 책임 있는 이용 태도를 가질 수 있도록 도울 것"이라며 "청소년이 기술의 가능성과 위험을 올바르게 이해하도록 돕는 것이 목표로, AI 시대의 책임 있는 시민 의식을 키우는 계기가 될 것"이라고 말했다. 그는 AI의 사회적 영향이 커지는 만큼 법적 책임의 경계에 대한 논의도 중요하다고 강조했다. 또 정부는 국민 보호의 책임을 지지만, 시민사회와 업계의 협력이 병행돼야 균형 잡힌 제도와 문화가 만들어진다고 주장했다. 쿡 부사장은 "플랫폼 운영자, 콘텐츠 제작자, 이용자 간 책임 소재를 명확히 하면서도 창작의 자유와 사회적 안전을 함께 고려해야 한다"며 "정부와 시민사회, 업계가 함께 AI의 한계와 가능성에 대한 투명한 대화를 나누는 것이 출발점"이라고 말했다. 또 과거 기술 혁명을 통해 얻은 교훈이 있는지에 대해선 "전기나 광대역망처럼 일반 목적 기술의 확산이 모든 계층에 공평하지 못했다"며 "AI 역시 인프라가 충분히 갖춰지지 않으면 격차가 커질 수 있다"고 말했다. 그러면서 "AI 접근성과 포용성을 높이는 것이 지속 가능한 기술 발전의 핵심"이라고 강조했다. 마지막으로 쿡 부사장은 "AI 혁신을 촉진하면서도 사회적 가치와 안전을 지키는 균형이 필요하다"며 "책임 있는 협력을 통해 AI의 잠재력을 모두가 공유해야 한다"고 밝혔다.

2025.10.30 10:59장유미

글로벌 AI 안전 협력, 서울서 현실화…"책임 확장에서 실행으로"

인공지능(AI) 안전을 둘러싼 글로벌 협력이 서울에서 본격화됐다. 세계 주요 연구기관과 기업들은 한자리에 모여 AI의 잠재적 위험을 평가하고 안전성을 강화하기 위한 공동 전략을 논의했다. 한국 AI안전연구소는 29일 호텔 나루 서울 엠갤러리 앰배서더에서 '2025 인공지능 안전 서울 포럼' 행사를 열고 AI 평가, 벤치마킹, 레드티밍(취약성 검증) 세션을 진행했다. 과학기술정보통신부가 주최하고 한국전자통신연구원(ETRI)이 공동 주관한 이번 포럼에는 ML커먼스, METR, 에포크AI, 퓨처오브라이프연구소(FLI), 옥스퍼드대 등 세계 주요 평가기관과 연구진이 참석했다. 특히 이날 포럼에서는 한국 AI안전연구소와 미국 AI 전문기업 스케일AI 간의 업무협약(MOU) 체결식이 진행됐다. 양 기관은 AI 평가, 레드티밍, 안전 연구 고도화를 위한 공동 협력 체계를 구축키로 했다. 이번 협약을 통해 양측은 실험적 안전 테스트를 비롯해 글로벌 평가 표준 수립에도 협력할 계획이다. 포럼 세션 발표에서는 AI 시스템의 실무 평가와 벤치마킹 전략이 논의됐다. ML커먼스의 숀 맥그리거 에이전틱 리드는 "모든 AI 모델들은 안정성을 갖추기 위해 독립적 감사와 공공 검증 절차를 거쳐야 한다"며 "AI 안전 생태계의 인재 부족도 시급히 해결해야 할 과제"라고 강조했다. 이어 METR의 사미 자와르 엔지니어링 총괄은 제3자 위험 평가(3PRA) 이니셔티브를 소개하며 AI 모델이 배포되기 전에 위험 신호를 감지하고 대응할 수 있는 프로세스가 필요하다고 제언했다. 또 AI 개발사뿐만 아니라 평가기관 간의 신뢰 협력도 강화돼야 한다고 주장했다. 이번 포럼에서는 실습 기반의 프론티어 AI 레드티밍 세션도 진행됐다. 참가자들은 최신 대규모 언어모델(LLM)을 대상으로 공격·방어 시나리오를 시뮬레이션하며 모델 취약성을 검증했다. 한국 AI안전연구소와 스케일AI가 공동으로 준비한 이 세션은 국제 협력 기반의 평가 훈련 프로그램으로 주목받았다. 아울러 이날 행사에는 앤트로픽도 참석해 '책임 있는 확장 정책'을 중심으로 한 AI 안전 프레임워크를 공개했다. 앤트로픽 니타르샨 라즈쿠마르 국제정책 리드는 "AI 기술의 잠재력이 커질수록 그만큼 재난적 위험에 대한 대비가 중요하다"며 "우리의 원칙은 적절한 안전 조치 없이 위험한 수준의 AI 모델을 훈련하거나 배포하지 않는 것"이라고 말했다. 앤트로픽은 모델의 역량이 높아질수록 보안과 검증 수준을 단계적으로 강화하는 계층형 안전 관리 체계를 운영 중이다. 이 체계는 생물학 분야의 바이오시큐리티 등급 시스템을 참고해 위험도가 높은 모델일수록 더 엄격한 보호조치를 적용하는 방식이다. 라즈쿠마르 리드는 "우리는 내부 레드팀을 운영하며 미국과 영국의 AI안전연구소, 제3의 독립 기관과 협력해 위험 평가를 진행하고 있다"며 "최근 유럽연합(EU)과 미국, 한국 등의 국가들도 자율적 안전 약속에서 법적 의무로 전환하며 AI 안전 프레임워크 공개와 검증을 요구하는 법제화를 추진 중"이라고 말했다. 이어 "외부 검증은 개발 속도를 늦추는 것이 아니라 오히려 안전한 배포를 가속화하는 과정"이라고 강조했다.

2025.10.29 14:02한정호

앤트로픽·구글 "AI 안전은 핵심 경쟁력"…네이버·LG도 '책임 확장' 가속

인공지능(AI)이 고도화될수록 안전은 더 이상 부가 요소가 아니라 기업 경쟁력의 핵심으로 떠오르고 있다. AI 선도 기업들은 모델 확장 속도만큼 안전 검증을 정교하게 설계하며 책임 있는 기술 개발을 위한 내부 체계를 강화하고 있다. 앤트로픽·구글 딥마인드·네이버클라우드·LG AI연구원 등 주요 기업들은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼'에서 기술적·제도적 접근을 결합한 AI 안전 프레임워크와 검증 체계를 공개했다. 첫 발표를 맡은 앤트로픽 마이클 셀리토 글로벌정책총괄은 "강력한 AI 시스템이 물리적 세계와 연결되기 시작한 만큼 안전장치도 정교해져야 한다"며 "AI가 스스로 실행하는 시대에는 기술적 제어만으로는 충분하지 않다"고 말했다. 셀리토 총괄은 앤트로픽이 추진 중인 '책임 있는 확장 정책'을 공개하며 AI 모델의 성능이 높아질수록 보안·평가·통제 수준을 단계적으로 강화하는 구조를 소개했다. 그는 "우리는 위험한 AI 모델을 배포하지 않겠다는 원칙을 명문화했고 외부 AI 안전 연구기관과 협력해 제3자 검증을 받는다"며 "이런 방식이 개발 속도를 늦추는 것이 아니라 오히려 더 빠르고 안전한 배포를 가능하게 한다"고 강조했다. 이어 "AI 안전 평가가 이제는 자율적 약속이 아니라 법적 의무로 전환되는 시점에 와 있다"며 "유럽연합(EU)·미국·한국 모두 안전 프레임워크 공개와 검증을 요구하는 규제 체계를 준비하고 있다"고 덧붙였다. 기술을 얼마나 빨리 확장하느냐보다 얼마나 책임 있게 확장하느냐가 향후 AI 기업의 신뢰를 좌우할 것이라는 설명이다. 이어진 영상 발표에서 구글 딥마인드의 루이스 호, 메리 퐁 연구원은 '프론티어 세이프티' 프레임워크를 중심으로 AI의 위험 역량을 조기 탐지하고 정기적으로 평가하는 체계를 설명했다. 두 연구원은 자율성, 생물, 사이버 위험, 기계학습 연구 역량 등 네 가지 핵심 위험 영역을 지정하고 모델이 위험 임계치를 넘어서기 전 단계에서 위험 역량 평가를 수행한다고 발표했다. 메리 퐁 연구원은 "현재의 AI 모델들은 아직 위험 임계치에는 도달하지 않았지만 세대가 바뀔 때마다 일부 고위험 작업 수행 능력이 비약적으로 향상되고 있다"며 "이를 놓치지 않으려면 정기적이고 반복적인 검증이 필요하다"고 말했다. 이어 "AI 안전은 단발성 평가로 끝나선 안 되며 모델의 변화 주기마다 업데이트되는 동적 평가가 핵심"이라고 덧붙였다. 국내 기업들도 AI 안전을 독립된 경쟁력의 축으로 다루고 있다는 점을 강조했다. 네이버클라우드 윤상두 AI랩 연구소장은 "네이버는 2021년 '사람을 위한 AI'라는 윤리 준칙을 제정하고 초거대언어모델(LLM) '하이퍼클로바X' 개발 전 과정에 안전성 검증을 내재화했다"고 소개했다. 그러면서 "한국어 기반 안전 데이터셋이 부족한 현실을 보완하기 위해 자체 구축한 평가 데이터셋을 오픈소스로 공개했다"며 "모델 개발·배포·운영 전 단계를 관리하는 3선 방어 체계를 도입해 독립된 AI 세이프티 오피스가 사내외 모델의 안전성을 주기적으로 점검하고 있다"고 설명했다. 이어 "AI 안전을 단순한 법적 요구가 아니라 기업의 생존 전략으로 접근해야 한다"며 "모든 개발 과정에 리스크 관리 절차를 자동화해 AI 서비스의 신뢰를 확보하는 것이 목표"라고 강조했다. LG AI연구원 김유철 전략부문장은 AI 안전이 모델 개발의 마지막 단계에서 덧붙이는 절차가 아니라 설계 초기부터 내재화해야 하는 원칙이라고 짚었다. 이에 LG AI연구원은 설립 직후 윤리 원칙과 거버넌스 체계를 수립하고 모든 연구 과제에 윤리 영향 평가를 의무화했다. 또 데이터 컴플라이언스 체계를 통해 학습 데이터의 저작권과 개인정보 위험을 점검하고 AI 에이전트를 활용해 이를 자동화하고 있다. 김 부문장은 "AI의 가장 큰 위험은 기술 자체보다 소수 국가나 대기업만 혜택을 누리며 사회적 격차가 심화되는 것"이라며 "AI를 만드는 기술자뿐 아니라 AI를 사용하는 사회가 얼마나 선한가 역시 AI 세이프티의 핵심 가치로 봐야 한다"고 말했다. 끝으로 발표자들은 "AI의 위험은 국경을 넘어 확산되며 대응 역시 글로벌 협력이 필수적"이라며 "기업이 먼저 안전의 원칙을 실천할 때 비로소 신뢰할 수 있는 AI 생태계가 완성된다"고 입을 모았다.

2025.10.28 17:26한정호

글로벌 AI안전 전문가들 "AI 규제와 혁신, 함께 가야 한다"

"인공지능(AI) 안전이 혁신을 가로막아선 안 됩니다. 신뢰를 기반으로 한 책임 있는 생태계가 중요합니다." 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼' 라운드테이블에서 이같이 말했다. 그는 AI 안전을 단순히 규제의 영역으로만 보지 말아야 한다고 지적하며 AI 기술의 혁신과 안전이 균형을 이루는 선순환 구조를 만드는 것이 목표라고 강조했다. 이날 라운드테이블은 'AI 안전 거버넌스의 실행'을 주제로 각국 정부·연구기관·산업계 관계자들이 한자리에 모여 현실적인 협력 방안을 논의했다. 좌장은 박세아 국가AI전략위원회 안전신뢰팀장이 맡았고 유럽연합(EU)·일본·싱가포르·한국 등 주요국의 AI 안전 기관 관계자들이 패널로 참여했다. 라운드테이블의 첫 화두는 규제와 혁신의 균형이었다. 먼저 윌프레드 부국장은 "싱가포르는 AI 전담 법률을 제정하기보다 기존 산업 규제를 보완해 AI 시대에 맞게 확장 적용하는 방식을 취하고 있다"고 밝혔다. EU는 보다 체계적인 규제 접근법을 소개했다. 라이너 베셀리 주한 유럽연합대표부 디지털·리서치 담당 참사관은 "AI 모델이 제어 불가능한 형태로 발전한다면 그것은 기술 문제가 아니라 사회 전체의 리스크"라고 경고했다. 그는 "EU AI법은 기본권을 침해하거나 사이버 공격에 악용될 수 있는 모델을 금지하는 것이 핵심"이라며 위험 수준에 따라 AI 시스템을 단계적으로 관리하는 프레임워크를 설명했다. 이어 "AI가 노동시장에 미치는 영향도 새로운 정책 변수로 보고 있다"며 "규제의 목적은 혁신을 막는 것이 아니라 사회적 효용과 위험을 함께 관리하는 것"이라고 덧붙였다. 아키코 무라카미 일본 AI안전연구소장은 사회적 책임의 관점에서 접근했다. 그는 "AI 안전은 기술적 문제가 아니라 사회가 어떻게 책임 있게 기술을 수용하느냐의 문제"라며 "일본은 AI법 제정을 계기로 공공과 민간이 공동으로 안전 기준을 마련하고 있다"고 말했다. 김명주 한국 AI안전연구소장은 정부가 추진 중인 실증 중심 평가를 소개했다. 그는 "우리 정부는 AI 모델 평가 대회를 통해 실제 시스템의 안전성과 신뢰도를 검증하고 있다"며 "프라이버시 보호와 신뢰 확보를 중심으로 평가체계를 준비 중"이라고 밝혔다. 그러면서 "AI 사회로 전환하는 지금, 사회적 약자의 접근성을 높이는 것도 AI 안전의 한 축"이라며 "디지털 격차 해소 경험을 바탕으로 AI 포용성을 정책의 핵심 가치로 삼고 있다"고 강조했다. 좌장을 맡은 박세아 팀장은 AI 안전이 정부나 연구소만의 일이 아니라고 짚으며 산업계와 다양한 이해관계자의 참여를 촉구했다. 이에 윌프레드 부국장은 싱가포르의 민관 협력 사례를 소개했다. 그는 "각 기업이 스스로 테스트하고 검증할 수 있도록 샌드박스 환경을 운영 중"이라며 기업 책임성과 자율 규제를 병행하는 모델을 설명했다. 아울러 무라카미 소장은 기업 역할의 중요성을 강조했다. AI 안전에 대한 투자가 단순한 비용이 아니라 기업의 지속 가능성을 높이는 투자라는 설명이다. 특히 모든 기업이 지속가능발전목표(SDG)의 관점에서 AI 안전을 전략적으로 접근해야 한다고 제언했다. 글로벌 협력 방안에 대한 논의도 이어졌다. 베셀리 참사관은 "국제 협력의 핵심은 상호운용성과 공동 리스크 평가 체계"라며 "EU는 표준화 요청을 통해 AI 평가 도구를 공동 개발 중"이라고 설명했다. 이어 "각국이 같은 기준으로 위험을 평가할 수 있어야 진정한 글로벌 협력이 가능하다"고 덧붙였다. 이와 관련해 김명주 소장은 "국제 네트워크를 통해 공동 연구와 표준화를 강화해 나가겠다"고 밝혔다. 끝으로 "AI 안전은 특정 국가나 기업의 책임이 아니라 인류가 함께 구축해야 할 글로벌 과제"라며 "규제와 혁신이 조화를 이룰 때 비로소 지속가능한 AI 생태계가 완성될 것"이라고 강조했다.

2025.10.28 14:33한정호

"AI 안전, 선택 아닌 필수"…서울서 글로벌 거버넌스 협력 '한목소리'

"인공지능(AI)은 인류가 만든 가장 강력한 발명이지만 그만큼 안전에도 두 배의 노력이 필요합니다." 김명주 한국 인공지능안전연구소장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼'에서 이같이 강조했다. 이번 포럼은 과학기술정보통신부가 주최하고 한국전자통신연구원·한국 AI안전연구소가 주관한 첫 글로벌 AI 안전 행사로, 세계 각국의 연구기관·정부·산업계 관계자 약 150명이 참석했다. 행사에서는 '보다 안전한 AI 세상을 향한 글로벌 협력'을 주제로 AI 안전 거버넌스·평가·레드티밍 등 국제적 협력 방향이 논의됐다. 개회식에서 송상훈 국가AI전략위원회 지원단장은 "AI 기술의 발전은 인류의 삶을 바꾸는 동시에 새로운 위험을 수반해왔다"며 "신뢰할 수 있고 안전한 AI를 확보하는 것은 앞으로 풀어나가야 할 시급한 과제"라고 말했다. 또 다음 달 공개 예정인 정부의 'AI 액션플랜'을 언급하며 "안전과 신뢰를 핵심 가치로 삼아 대한민국이 국제 AI 안전 네트워크의 일원으로서 책임을 다하겠다"고 강조했다. 행사 첫 번째 세션에서는 일본·싱가포르·유럽연합(EU)·한국 등 주요 국가의 AI 안전 기관 관계자들이 발표자로 참여해 각국의 정책과 연구 성과를 공유했다. 아키코 무라카미 일본 AI안전연구소장은 "2023년 G7 히로시마 정상회의 이후 각국이 AI 안전 프로세스 구축에 속도를 내고 있다"며 "일본 역시 AI 안전 표준 수립과 산업 간 협력 허브로서 역할을 강화하고 있다"고 설명했다. 이어 "AI 안전은 기술 자체뿐 아니라 활용 혁신과 균형을 맞춰야 한다"며 "데이터 품질 관리, 산업별 안전 가이드라인 제정 등 실질적 조치가 병행돼야 한다"고 덧붙였다. 두 번째 발표에서 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 "AI 안전이 혁신을 가로막아선 안 된다"며 "싱가포르는 신뢰를 기반으로 한 책임 있는 AI 생태계를 만드는 것이 목표"라고 밝혔다. 현재 싱가포르는 AI 기업이 자율적으로 안전 기준선을 설정하고 테스트할 수 있도록 'AI 그래파이트 파운데이션'을 운영 중이며 금융·헬스케어 분야에서 샌드박스를 통해 안전성 평가를 수행하고 있다. 윌프레드 부국장은 "에이전틱 AI 시대에는 자동화로 인한 편향이 심화될 수 있어 인간의 개입과 검토가 필수적"이라며 인간 중심의 AI 거버넌스 필요성을 강조했다. 영상으로 참여한 루실라 시올리 EU AI국장은 올해 8월부터 본격 적용된 'EU AI법'의 핵심 내용을 설명했다. 그는 "고위험 AI 시스템과 범용 AI 모델에 대한 규정을 통해 투명성과 안전을 확보할 것"이라며 "25개 이상 기업이 자발적으로 참여한 'AI 실천 강령'이 핵심 역할을 할 것"이라고 말했다. 시올리 국장은 "한국·싱가포르·미국 등과 AI안전연구소 네트워크를 통해 평가 방법론과 표준을 공유하겠다"며 국제 협력 의지도 드러냈다. 마지막 발표자로 나선 김명주 소장은 한국 AI안전연구소의 활동과 성과를 소개했다. 그는 우리나라의 AI 기본법 제12조를 언급하며 "우리 연구소는 법적 기반 위에서 AI 세이프티를 기술·정책·윤리 세 축으로 다루고 있다"고 설명했다. 또 "MIT의 AI 리스크 레퍼지토리를 바탕으로 리스크 맵핑 프로젝트를 진행 중이며 원인·결과·대응 주체를 3D 형태로 시각화해 잠재 리스크를 조기 식별 중이라"고 발표했다. 그러면서 "평가·정책·기술 검증을 통해 국내 기업 경쟁력을 높이는 동시에 글로벌 생태계의 안전 수준을 함께 높여나갈 것"이라고 말했다. 이번 포럼에는 ▲LG AI연구원 ▲네이버클라우드 ▲구글 딥마인드 ▲앤트로픽 ▲세이퍼 AI ▲스케일 AI ▲카르마 등 주요 기업·기관이 참여했다. 특히 한국 AI안전연구소와 스케일 AI는 업무협약을 체결해 레드티밍 협력을 본격화했다. 포럼 둘째 날인 오는 29일에는 프론티어 AI 모델을 대상으로 한 실습형 레드티밍 워크숍이 진행된다. 김 소장은 "안전하고 신뢰할 수 있는 AI를 만드는 것은 선택이 아니라 필수"라며 "AI 안전은 어느 한 나라나 기업의 몫이 아닌, 인류가 함께 만들어가야 할 글로벌 생태계의 과제"라고 강조했다.

2025.10.28 13:17한정호

中 AI 안전 연구소 출범 8개월…"실질 감독 없이 외교만 앞세워"

중국이 야심 차게 출범시킨 인공지능(AI) 안전 연구소가 8개월 만에 '기술 감독'이 아닌 '대외 외교'에 치중하는 상징적 기구에 그치고 있다는 분석이 나왔다. 18일 AI 프론티어스에 따르면 지난 2월 파리 AI 행동 정상회의를 계기로 출범한 '중국 AI 안전 및 개발 협회(CnAISDA)'가 그 주인공이다. 이 조직은 지난 여름 상하이 세계 AI 컨퍼런스(WAIC)를 통해 국제 무대에 본격적으로 모습을 드러냈다. 다만 이 조직은 출범 8개월이 지난 현재까지 전담 직원이나 자체 예산조차 확보하지 못한 것으로 알려졌다. 심지어 중국어 공식 웹사이트도 없어 조직의 실질적인 운영 능력에 의문이 제기된다. 지도부 면면은 화려하다. 푸잉 전 외교부 부부장, 앤드류 야오 튜링상 수상자 등 저명한 인사들이 전면에 나섰다. 쉐란 국무원 고문 상하이 AI 랩(SHLAB)의 조우 보웬 등도 합류했다. 그럼에도 조직의 구조는 실권과는 거리가 멀다. CnAISDA는 미국 영국과 달리 새로운 정부 기관이 아닌 기존 기관들의 '연합체', 즉 '네트워크' 형태로 운영된다. 중국 최고 명문인 칭화대가 조직의 허브 역할을 맡고 있으며 베이징 AI 연구원(BAAI), 중국정보통신기술연구원(CAICT) 등이 참여 기관으로 이름을 올렸다. 이 연합체 모델은 기관 간 경쟁을 피하기 위한 정치적 타협의 산물로 풀이된다. 실제 CnAISDA의 행보는 기술적 감독 기능보다 국제 외교 무대에 집중돼 있다. 창립 문서부터 '포용적 글로벌 AI 안전 거버넌스 프레임워크' 구축을 촉구하며 국제 협력을 전면에 내세웠다. 이는 미국의 'AI 실행 계획'에 맞선 중국의 '글로벌 AI 거버넌스 실행 계획'과도 궤를 같이 한다. 리창 총리가 '세계 AI 협력 기구' 창설 지원을 발표한 것도 같은 맥락이다. 물론 연합체 산하 기관들의 개별적인 움직임은 주목할 만하다. SHLAB은 WAIC에서 콩코르디아 AI와 협력해 '프론티어 AI 위험 관리 프레임워크'를 발표했다. 이들은 자체 프레임워크로 AI 모델 위험성을 분석하며 영국 AISI의 평가 소프트웨어 '인스펙트'를 활용했다. 서방과의 기술적 방법론이 수렴되는 현상을 보인 것이다. 중국 주요 기업들의 안전 서약도 CnAISDA 이름으로 재확인됐다. 지난해 12월 알리바바, 텐센트 등 17개 사는 서울 AI 정상회의 약속과 유사한 서약을 맺은 바 있다. 다만 이 서약의 실효성은 낮다는 평가다. 서명한 중국 기업 중 약속을 이행한 곳은 전무하다. 딥시크 등 일부 기업은 두 번째 서약에서 아예 빠졌다. 결국 중국의 거버넌스 논의에서 프론티어 AI 안전은 AI 개발과 경제 성장이라는 최우선 목표에 밀려나 있다는 지적이다. 잭 클라크 앤트로픽 공동 창업자는 "(상하이 AI 랩의 연구 결과는) 연구된 위험과 사용된 방법론 모두에서 미국 및 영국의 위험 평가와 보다 가까운 수렴성을 보여줬다"고 밝혔다.

2025.10.19 03:07조이환

美 캘리포니아, AI 안전법 'SB 53' 도입…"혁신·투명성 다 잡아"

미국 캘리포니아 주가 인공지능(AI) 기술 발전과 안전을 동시에 확보하기 위한 법안을 도입했다. 6일 테크크런치 등 외신에 따르면 개빈 뉴섬 캘리포니아 주지사는 AI 안전·투명성 법안인 'SB 53'에 서명했다. 이날 뉴섬 주지사는 "이 법은 AI 산업 혁신을 막지 않으면서 공공의 안전과 투명성을 보장할 수 있다는 가능성을 보여준다"고 밝혔다. SB 53 법안은 대형 AI 기업 모델이 사이버 공격이나 생물무기 제작 등 고위험에 악용되지 않도록 대비책을 마련하고, 그 내용을 공개하도록 의무화한다. 업계가 이미 시행하던 안전성 테스트와 모델 정보 공개를 법적 의무로 전환하도록 설계된 것이다. 이번 SB 53은 지난해 거부된 'SB 1047'보다 업계 반발이 덜한 것으로 전해졌다. 우선 규제 대상을 모든 AI 기업에서 대규모 모델과 프론티어 개발자로 한정하고, 시행 중이던 안전성 테스트와 모델 정보 공개를 그대로 법제화한 점이 주효했다. 기술 발전과 시장 변화에 따라 규제 기준을 조정할 수 있는 유연성이 포함됐다는 평가도 나온다. 경쟁이나 비용 압박으로 기업들이 기존 안전 기준을 낮추지 못하도록 정책적 장치를 마련한 것이 핵심이다. 또 SB 1047이 지적받았던 광범위하고 과도한 규제 문제를 보완한 것이 반발을 줄이는 핵심 요인으로 꼽히고 있다. 애덤 빌렌 엔코드 AI 공공정책 부사장은 "SB 53은 산업계와 정책 입안자가 협력해 합의에 도달한 민주주의의 산물"이라고 강조했다.

2025.10.06 17:00김미정

[기자수첩] 국정자원 화재 부른 행안부, 전자정부 관리 자격 없다

지난 2023년 11월. 정부 전산망 먹통 사태는 '전자정부 세계 1위'라는 대한민국의 위상에 큰 충격을 줬다. 디지털 선도국가로서 당당함을 유지했던 우리나라는 이 때부터 정부의 관리 허술함이 곳곳에서 포착되며 위기감을 드러냈다. 주무부처인 행정안전부는 당시 대국민 사과와 함께 이중 운영 체계와 복구 시스템 보강을 약속했다. 2022년 10월 '카카오 사태' 때도 행안부와 국가정보자원관리원(국정자원)은 대전센터와 광주센터 간 상호 재해복구(DR) 시스템이 구축돼있어 3시간 이내 복구가 가능하다고 공언하기도 했다. 하지만 이는 모두 허언이었다. 국정자원 대전 본원 전산실에서 이번에 화재가 발생하자 정부 업무시스템 647개가 일시에 멈추는 대형 사고가 터졌다. 3시간 복구는커녕 화재가 발생한 지 8일째가 됐음에도 시스템 복구율은 20%에도 못미쳤다. 정부 전산망의 복구 업무를 맡았던 행안부 직원은 극단적 선택을 해 안타까움을 샀다. 3년 전 카카오 먹통 사태 당시 정부가 "국정자원은 다르다"며 "화재 시 3시간 이내 복구할 수 있다"고 자신했던 모습은 온데간데 없다. 사고가 터지자 수습하는 과정도 허둥지둥 그 자체다. 이중화 시스템은 여전히 제대로 이뤄지지 않은 게 드러났고, DR 체계를 갖추고 있다는 대전·광주·대구 등 3개 센터도 저장이나 백업 수준에 그쳐 실망감을 줬다. 책임을 져야 할 행안부는 각 부처의 관련 예산 확보도 가로 막은 것으로 드러나 논란은 더 커졌다. 실제 윤건영 더불어민주당 의원실에 따르면 행안부는 지난 해 4월 1·2등급 정보시스템의 이중 운영 체계 구축 투자를 금지한다는 내용의 지침을 전 부처에 배포했다. 이 탓에 2025년도 예산 편성에서 각 부처의 신규 재해복구시스템 구축 요구는 한 건도 없었다. 결국 행안부의 오판과 관리 부실로 국정자원 전산실에 있던 무정전·전원장치(UPS)용 리튬이온 배터리는 폭발해 정부 업무 시스템을 '올스톱'시켰다. 이 배터리는 2014년 도입돼 사용 연한 10년을 1년가량 넘긴 노후 제품이었다. 안일하게만 대응하던 행안부가 부른 대참사다. 그럼에도 행안부는 '예산 부족'을 언급하며 변명하기에만 급급하다. 업계에선 행안부가 더 이상 전자정부 관리 주무부처로 역할을 해선 안된다고 입을 모았다. 국가 행정전산망 먹통 사태 후 국내 공공 소프트웨어(SW) 시장의 문제가 불거졌음에도 그간 제대로 살펴보지 않았던 행안부가 국정자원 관리까지 소홀히 했다는 점에서 전자정부 관리 주무부처로서 자격 미달이라고 평가했다. 현행 정부의 부처별로 천차만별인 공공데이터 관리 체계도 전문가가 많은 부처로 일원화시킬 필요가 있다고 봤다. 또 영국의 과학기술혁신부 사례처럼 현재의 과학기술정보통신부와 행안부가 전자정부와 관련해 각각 맡은 역할을 과기정통부로 단일화하는 방안을 고민해 볼 필요가 있다는 주장도 나오고 있다. 처음 전자정부 시스템을 구축할 때는 과기정통부가 맡았지만, 어느샌가 행안부로 관리가 이관됐다는 점도 이해 할 수 없다는 것이 중론이다. 이 같은 분위기 속에 정부도 이제 영국의 GDS(정부디지털서비스)처럼 일반 공무원 대신 젊고 유능한 개발자들로 구성된 새로운 정부 조직을 국무총리실 산하에 두고 운영할 필요가 있다. '전자정부지원청' 같은 전문 부처를 만들어 중앙 및 지방 정부 전체의 서버와 네트워크 설비를 포함해 전산자원 일체를 관리하도록 하는 것도 고민해 봐야 한다. 이를 통해 각 부처가 업무에 필요한 전산자원들에 대한 관리 부담에서 벗어나 각기 자기 부서의 고유 업무에 집중할 수 있도록 환경을 조성해야 한다. 고시 공부만 했던 공무원이 아닌 진짜 기술 전문가를 통해 제때 공공 시스템을 개선해야 한다. 행안부는 이제 디지털정부혁신실의 역할을 과기정통부로 떼어 내 본연의 역할인 정부 정책 조율 및 지원에만 힘을 쏟길 바란다. 디지털정부, 인공지능(AI) 정부를 표방하며 정권이 바뀔 때마다 대통령이 밀고 있는 정책에 전문성도 없이 숟가락만 얹으려는 행태는 이제 멈춰야 한다. 더구나 'AI 3대 강국'을 표방하고 있는 이재명 정부가 최근 부총리급으로 승격된 과기정통부를 중심으로 AI 정책을 일원화 하려는 움직임에도 적극 협조해야 한다. 정부의 주요 보직을 두고 알력 싸움에만 치중하며 각 부처에 으름장만 놓던 행안부가 이번 화재 사태를 계기로 변화하길 간곡히 바란다. 잘할 수 있는 것에만 집중하기에도 행안부가 맡은 업무는 지방자치, 국민 안전 등 여전히 많다. AI 시대에 맞는 행안부의 역할은 전자정부의 시스템을 잘 알고 AI에 대한 이해도가 높은 부처들의 조력자 정도다. 이젠 빛 바랜 '주연'이 아닌 빛 나는 '조연'으로 AI 시대에 맞는 역할을 찾아 나가길 바란다.

2025.10.05 08:26장유미

韓-中 AI 동맹 결성…'신뢰성' 기술 표준 손잡는다

민간 주도 국제 인공지능(AI) 연대 '트레인(TRAIN)'이 중국과 손잡고 AI 신뢰성 기술 표준화와 산업 생태계 확장에 착수한다. 씽크포비엘은 다음달 1일 서울 코엑스 콘퍼런스홀에서 '트레인 심포지엄'을 개최한다고 24일 밝혔다. 이번 행사는 한국과 중국의 AI 전문가들이 참여하는 한-중 워크숍 형태로 열린다. 중국 측에서는 구샤오둥 상해교통대 교수, 리리 베이징항공항천대 교수 등 학계 전문가와 장얀 차이나유니콤 총괄이사 등 산업계 인사가 발표를 맡는다. 또 야오 바오징 상해소프트웨어산업협회 비서장 등도 한국을 찾는다. 국내에서는 에릭 데이비스 SK텔레콤 본부장을 비롯해 김경훈 카카오 AI 세이프티 리더, 이상은 LG AI연구원 정책책임, 노영빈 NC AI 거버넌스인사이트 팀장, 조일경 KTL 주임연구원이 연사로 나선다. 이번 심포지엄은 중국의 AI 신뢰성 관련 정책과 표준화 동향을 파악하고 한국과의 협력 가능성을 모색하기 위해 마련됐다. 양국 기업의 데이터 거버넌스, 편향 진단, 모델 견고성 평가 등 운영 사례가 심도 있게 다뤄질 예정이다. 행사는 트레인이 주최하는 세 번째 심포지엄이다. 지난해 2월 판교에서 창립총회를 겸한 첫 행사가 열렸고 같은 해 10월 태국 방콕에서 한-태 워크숍이 개최된 바 있다. 트레인은 이번 교류가 국내 AI 신뢰성 전문인력 육성 체계를 갖추는 데 중요한 참고가 될 것으로 기대한다. 특히 중국의 교육 역량과 전략을 공유하고 향후 양국이 관련 국제표준을 공동으로 추진하는 등 긴밀한 협력 관계를 구축할 계획이다. 심포지엄 관계자는 "이번 행사는 같은 날 열리는 트라이톤과 연계돼 정부와 산업계 관심이 집중될 것"이라며 "양국 실무자가 한자리에 모여 규제, 표준, 교육, 산업 현장을 하나의 흐름으로 연결하는 장이 되길 바란다"고 말했다.

2025.09.24 11:51조이환

오픈AI·구글 정조준한 캘리포니아…'AI 안전법' 칼날에 빅테크 긴장

미국 빅테크의 심장부 캘리포니아가 거대 인공지능(AI) 기업의 독주를 막기 위한 강력한 규제 법안을 꺼내 들었다. 22일 테크크런치에 따르면 캘리포니아 주 상원은 최근 스콧 위너 상원의원이 발의한 AI 안전 법안 'SB 53'을 최종 승인했다. 이 법안은 개빈 뉴섬 주지사의 서명만 남겨두고 있다. 다만 뉴섬 주지사는 지난해 유사 법안인 'SB 1047'에 거부권을 행사했다. 이번 법안의 핵심은 규제 대상을 명확히 한 점이다. 연간 5억 달러(한화 약 6천900억원) 이상 수익을 내는 거대 AI 개발사만 법 적용을 받는다. 이는 지난해 법안이 스타트업 생태계를 해칠 수 있다는 비판을 수용한 결과다. 특히 AI 업계 내부에서도 지지 목소리가 나와 주목된다. 오픈AI의 강력한 경쟁사로 꼽히는 앤트로픽이 해당 법안에 공식적인 지지 의사를 밝혔다. SB 53은 AI 기업에 세 가지 핵심 의무를 부과한다. ▲안전성 보고서 제출 ▲정부 기관에 중대 사고 보고 ▲내부 고발 직원 보호 등이다. 비밀유지협약(NDA)에 서명한 직원이라도 우려 사항을 정부에 알릴 수 있는 통로를 열어준 셈이다. 캘리포니아의 독자적 행보는 연방 정부의 규제 완화 기조와 정면으로 배치된다. 현재 연방 정부는 주 정부 차원의 개별 AI 규제를 금지하는 법안까지 추진하고 있다. 이 때문에 향후 연방 정부와 주 정부 간 갈등의 새로운 뇌관이 될 수 있다는 전망이 나온다. 테크크런치는 "이 법안은 지난 수십 년간 우리가 갖지 못했던 기술 기업의 힘에 대한 의미 있는 견제 장치가 될 수 있다"며 "AI 기업이 세계에서 가장 강력한 회사가 되는 시대에 몇 안 되는 견제 수단이 될 것"이라고 평가했다.

2025.09.22 11:09조이환

정부, 공공데이터에 'AI 레디' 칼 댄다…산업 경쟁력 '강화'

정부가 공공데이터의 패러다임을 '인공지능(AI) 중심'으로 전환하고 이를 통해 국내 산업 생태계의 경쟁력을 제고한다. 행정안전부는 AI가 별도 가공 과정 없이 즉시 학습하고 분석할 수 있는 'AI 레디(AI-Ready)' 개념을 공공데이터에 국내 최초로 도입하고 연내 범정부 공통 지침을 마련한다고 18일 밝혔다. 이번 조치는 국내 공공데이터가 양적 성과에도 불구하고 AI 시대에 맞는 질적 수준에는 미치지 못한다는 업계의 지적에 따른 것이다. 국내 공공데이터는 경제협력개발기구(OECD) 평가에서 4회 연속 세계 1위를 달성했지만 데이터마다 주소나 행정코드 표기 방식이 달라 연계가 어렵고 AI가 직접 읽기 힘든 포맷으로 제공돼 활용도가 떨어진다는 비판을 받아왔다. 일례로 재난 발생 시 대피 경로를 안내하는 앱을 개발하는 한 스타트업의 경우 기상 데이터, 재난문자, 교통정보 등 각기 다른 데이터를 융합해야 하지만 표준화가 돼 있지 않아 데이터 정제에만 막대한 비용과 시간을 쏟아야 했다. 이에 정부가 내놓은 'AI 레디 공공데이터'는 명확한 기준을 따른다. ▲AI가 직접 읽고 이해하는 표준 데이터 포맷 제공 ▲갱신 주기, 결측률 등 풍부한 메타데이터 제공 ▲주소·행정코드 등 핵심 식별값 표준화 ▲시계열성·완결성 등 데이터 품질 기준 만족 등이 핵심이다. 행정안전부는 이를 위해 전문가 중심의 실무단을 꾸려 연내 세부 관리 지침을 확정해 배포할 계획이다. 윤호중 행정안전부 장관은 "데이터는 AI 경쟁력의 원천"이라며 "AI가 활용하기 좋은 고품질 공공데이터를 풍부하게 개방해서 혁신적 서비스 창출과 산업 경쟁력 제고를 위해 힘쓰겠다"고 밝혔다.

2025.09.18 17:21조이환

한국 디지털 AI 정부 역량, 필리핀 행정혁신 지원 나선다

한국의 디지털 정부와 인공지능(AI) 기반 행정혁신 경험이 필리핀 공무원들에게 전수된다. 행정안전부와 한국국제협력단(KOICA)이 함께 추진하는 이번 연수는 필리핀의 국가 개발계획을 지원하는 맞춤형 프로그램으로 기획됐다. 행정안전부 지방자치인재개발원은 필리핀 고위공무원 12명을 대상으로 '필리핀 디지털 전환과 공공행정혁신 역량강화과정'을 온라인으로 운영한다고 15일 밝혔다. 15일부터 23일까지 진행되는 이번 과정은 필리핀 정부의 요청에 따라 공적개발원조(ODA) 사업의 하나로 마련됐으며, 2025년부터 2027년까지 3년간 이어진다. 올해 1차 연수에서는 디지털·AI 전환 전략 수립, 한국 디지털 정부 정책 이해, 정보통신기술(ICT) 기반 행정혁신, 필리핀 맞춤 실행계획(Action Plan) 수립 등이 집중적으로 다뤄진다. 참가자들은 데이터 기반 정책 설계, 법·제도 마련, 사이버 보안 등 디지털 전환 과정에서 필요한 핵심 요소들을 학습하고, 한국의 디지털 정부 사례를 접목해 자국의 행정서비스 개선 방안을 모색하게 된다. 특히 이번 연수는 필리핀 정부가 직접 실행 가능한 디지털 전환 계획을 마련하도록 지원하는 데 초점을 두고 있다. 이를 통해 단기적인 교육 성과를 넘어 2·3차 연수와 연계해 지속성과 현업 적용성을 강화한다는 방침이다. 안준호 지방자치인재개발원장은 "이번 연수가 필리핀 공무원들의 디지털 전환과 AI 행정혁신 역량을 높여 신뢰할 수 있는 공공서비스 제공에 기여하길 기대한다"며 "필리핀의 지속 가능한 발전을 적극 뒷받침하겠다"고 말했다.

2025.09.15 10:17남혁우

美 캘리포니아, 세계 첫 'AI 챗봇 규제법' 초읽기…"부적절 대화 금지"

미국 캘리포니아주가 미성년자 보호를 명분으로 인공지능(AI) 동반자 챗봇에 대한 법적 규제 칼날을 빼 들었다. 12일 테크크런치에 따르면 캘리포니아 주의회는 AI 동반자 챗봇 규제 법안인 'SB 243'을 상원과 하원에서 초당적 지지로 통과시켰다. 해당 법안은 개빈 뉴섬 주지사의 서명만 남겨두고 있으며 기한은 오는 다음달 12일까지다. 법안의 핵심은 AI 챗봇이 자살이나 자해, 성적으로 노골적인 대화에 관여하는 것을 막는 데 있다. 또 미성년자에게는 3시간마다 AI와 대화 중임을 알리고 휴식을 권고해야 한다. 법안이 서명되면 내년 1월 1일부터 효력이 발생한다. 법안은 기업에 강력한 법적 책임도 부과한다. 위반 시 피해자는 건당 최대 1천 달러(한화 약 130만원)의 손해배상 소송을 제기할 수 있다. 오픈AI, 캐릭터닷AI, 레플리카 등 주요 기업은 오는 2027년 7월부터 연례 투명성 보고서를 제출해야 한다. 이번 입법은 한 10대 청소년이 오픈AI의 '챗GPT'와 논의한 뒤 사망한 사건이 결정적 계기가 됐다. 메타의 챗봇이 아동과 부적절한 대화를 나눈 정황이 담긴 내부 문건이 유출된 것도 규제 여론에 불을 지폈다. 상하원을 통과한 SB 243은 초안에 비해선 굉장히 완화가 됐다. 당초 이 법엔에는 AI 챗봇 운영업체들이 '변동 보상'을 비롯해 이용자들의 몰입을 유도하는 기능을 사용하지 못하도록 했다. 실제로 레플리카나 캐릭터 같은 AI 동반자 기업들은 '변동 보상' 기법을 통해 이용자들을 유인해 왔다. 또 AI 챗봇이 이용자들과 얼마나 자주 자살을 비롯한 부적절한 대화를 하는 지 추적하고 보고하도록 한 조항도 삭제했다. 이 과정에서 실리콘밸리 빅테크들은 규제 완화를 위해 엄청난 로비 공세를 퍼부었다. 특히 오픈AI, 구글, 메타 등은 포괄적 투명성 의무를 담은 또 다른 법안(SB 53)에 대해서는 공개적으로 반대 입장을 밝혔다. 미국 전역에서도 AI 챗봇의 아동 보호 문제에 대한 압박이 거세지는 모양새다. 연방거래위원회(FTC)는 아동 정신건강 영향 조사를 준비 중이며 텍사스 법무부는 메타와 캐릭터닷AI를 정조준했다. 연방 상원에서도 별도 조사가 진행되고 있다. 법안을 주도한 파디야 상원의원은 "혁신과 규제가 양립할 수 없다는 전제를 거부한다"며 "우리는 기술의 이점을 살리면서 동시에 가장 취약한 사람들을 위한 합리적 안전장치를 마련할 수 있다"고 밝혔다.

2025.09.12 10:58조이환

행안부, 역대급 AI 예산 증액…SW업계 "정부 AI의지 엿보여"

행정안전부가 2026년도 예산안에서 역대 최대 규모의 증액을 단행하며, 인공지능(AI) 기술을 행정 전반에 본격 도입하겠다는 강한 의지를 드러냈다. 관련 업계는 정부의 이 같은 기조에 긍정적으로 반응하며, 공공 소프트웨어(SW) 시장의 본격적인 성장을 기대하고 있다. 다만 지속 가능하고 실질적인 성장을 위해서는 기존 산업의 발목을 잡아온 각종 규제와 제도적 장벽을 해소하고, 구체적인 사업 적용 범위와 실행 방안을 조속히 마련해야 한다는 지적도 나온다. 이에 따라 지디넷코리아는 2일 행정안전부의 2026년 AI 예산안에 대해 주요 IT서비스 기업들과 업계 협회 관계자들의 의견을 들어봤다. 역대급 예산 증액, 시장 확장의 신호탄 기대 의견을 종합한 결과, IT서비스 및 공공 소프트웨어(SW) 분야에서 활동하는 주요 기업들은 이번 행정안전부 예산안이 정부의 분명한 디지털 전환 의지를 보여주는 신호라며 공공 SW 시장의 성장에 대한 기대감을 나타냈다. 특히 예산 증가가 단순한 수치상의 확대를 넘어 공공 영역에서 인공지능 기술이 실질적으로 적용되는 전환점이 될 수 있다는 데에 의미를 부여했다. 업계는 먼저 AI 예산 규모 자체의 대폭적인 증가를 주목했다. 2026년도 정보화 예산 중 AI 관련 예산은 총 8천649억원이며, '지능형 업무관리 플랫폼' 예산은 전년 42억원에서 187억원으로 4배 이상 늘어났다. 한 대형 IT서비스 기업 관계자는 "이번 예산 증액은 행안부가 AI 기술을 행정에 본격 도입하겠다는 메시지를 분명하게 던진 것"이라며 "예산 규모만으로도 시장 기회가 커지고 있다는 신호로 받아들일 수 있을 것"이라고 설명했다. 이번 예산안에는 중앙부처와 지자체가 AI를 중복 개발하지 않고 공통기반 위에서 쉽게 도입할 수 있도록 하는 '범정부 AI 공통기반' 구축 사업이 포함됐다. 이에 따라 각 기관이 개별적으로 인프라를 마련하지 않아도 되며, 표준화된 수요가 반복적으로 발생할 수 있다는 점에서 업계는 중장기적인 레퍼런스 확보와 규모의 경제 실현이 가능하다고 보고 있다. 한 삼성SDS 관계자는 "정부의 구조적 수요가 가시화되면, 플랫폼 기업 입장에서는 간접 기회를 얻는 데 유리해질 수 있다"고 말했다. 더불어 내년부터는 외부망뿐 아니라 정부 내부 행정망에서도 AI 서비스가 가능하도록 보안 인프라가 개방된다. 이 조치는 기존 보안 제약으로 인해 AI 기술이 제한적으로만 도입되던 상황을 변화시킬 수 있는 요소다. 업계는 이를 통해 공공기관 내 AI 도입 접근성이 실질적으로 확대될 수 있을 것으로 보고 있으며, 보안 인증이나 규제 이슈로 제약을 받던 기존 사업 환경도 점진적으로 개선될 것으로 기대했다. 일부 기업들은 기존 공공사업 참여 경험을 통해 후속 사업 기회 확보에 대한 기대감도 내비쳤다. LG CNS는 과거 행안부 AI 플랫폼 사전 사업에 참여한 경험이 있어, 본 사업에서의 레퍼런스 연계 및 참여 가능성에 주목하고 있다. 해당 기업 관계자는 "사전 사업에서의 기술 검증 경험이 향후 본 사업 진입의 교두보가 될 수 있다"고 말했다. 정부는 이번 예산안에서 AI 학습용 공공데이터 가공·제공 사업 예산을 305억원으로 증액했다. 이 예산은 민간 AI 서비스 개발 기업들이 데이터에 대한 접근성을 확보하고, 고도화된 서비스를 만들 수 있도록 돕는 지원 성격이 강하다. 한 데이터 플랫폼 기업 관계자는 "공공이 보유한 데이터를 활용한 상용 서비스 기획이 가능해진다"며 "AI 시장 초기에 진입하려는 스타트업이나 중견기업에게는 실질적인 도움이 될 수 있다"고 평가했다. 규제 완화·실행계획 구체화 없인 실효성 제한 여전 하지만 업계는 이번 예산이 실제 사업 기회로 이어지기 위해서는 몇 가지 조건이 충족돼야 한다는 점도 강조했다. 한 SI기업 관계자는 "예산이 늘었다고 해서 곧바로 사업이 확대된다고 보긴 어렵다"며 "공공 SW 사업에서 대기업 참여 제한이 여전히 존재하고, 일부 민간 투자형 AI 사업은 투자 회수 구조가 불분명해 현실적인 고민이 많다"고 밝혔다. 이어 "정부가 어떤 분야에 어떻게 AI를 도입하겠다는 구체적인 로드맵과 실행 전략을 먼저 제시해야 기업도 기술과 인력을 배치할 수 있다"고 덧붙였다. 전반적으로 기업들은 이번 예산안을 긍정적으로 평가하면서도, 실제 산업 성장을 위해서는 기존 제도적 장벽 해소, 적용 범위 명확화, 민간 참여 활성화를 위한 정책적 유연성 확보가 뒤따라야 한다는 점을 강조했다. 한 협회 관계자는 "예산만으로는 부족하고, 지속 가능한 생태계를 만들 수 있도록 제도를 정비하고 규제를 합리화해야 한다"며 "정부의 투자 의지를 실제 성과로 연결하려면 민간의 참여 동력을 끌어낼 수 있는 환경 조성이 필요하다"고 말했다. 다수의 기업들은 이번 예산안이 공공 소프트웨어 시장 확대에 분명한 신호탄이 될 수 있다고 보면서도, 실질적인 사업화와 생태계 확산을 위해서는 구체적인 실행 전략과 제도 개선이 시급하다는 점을 강조했다. 특히 AI 기술은 행정 각 분야에서 다양하게 활용될 수 있지만, 정부가 어떤 분야에 어떤 기술을 어떻게 적용할 것인지에 대한 명확한 로드맵이 부족하다는 지적이 많았다. 한 IT서비스 기업 관계자는 "행안부가 AI를 도입하겠다는 의지는 알겠지만 예산 항목만으로는 어떤 기술을 어느 분야에 적용할지 예측하기 어렵다"며 "기업이 인력과 역량을 투입하기 위해서는 좀 더 명확한 계획이 필요하다"고 말했다. 기업 규모 따라 대기업 참여 시선 엇갈려 한편 공공 소프트웨어 사업 내 대기업의 참여를 둘러싼 시각은 기업의 규모에 따라 뚜렷하게 엇갈리는 분위기다. 대기업 측은 현행 제도상 공공 SW 사업 참여에 제한을 받는 구조 자체가 불확실성을 키우고 있다고 지적한다. 참여 가능 여부가 명확하지 않거나, 제한 해제 대상 사업이 구체적으로 정리되지 않을 경우 전략 수립과 투자 판단 모두에 제약이 생긴다는 입장이다. 대형 IT기업 전략기획팀 관계자는 "공공 SW 사업에서 대기업은 법적으로 제한을 받는다"며 "어느 사업이 참여 가능한지 명확하지 않으면 내부 검토와 준비도 어렵고, 적극적인 대응이 사실상 불가능하다"고 말했다. 반면 중견·중소기업들은 AI 관련 사업은 대기업 참여 제한이 거의 적용되지 않아, 오히려 대기업의 무분별한 참여가 생태계 전반을 위협하고 있다고 주장한다. 이들은 대기업들이 낮은 가격을 앞세워 시장에 진입하고 있어, 성장 기회를 넘어서 생존 기반마저 흔들리고 있다는 점을 문제로 지적한다. 한 중소 IT서비스 업체 대표는 "AI 시장 초기에 대기업이 가격을 낮춰 들어오면, 중소기업은 경쟁 자체가 안 된다"며 "최소한 초기 생태계 형성기에는 기회를 나눌 수 있는 구조가 필요하다"고 말했다. 이에 따라 업계 일각에서는 대기업의 역할을 아예 배제하기보다, 생태계 조성 및 공동 프로젝트 중심의 협력 모델을 유도할 수 있는 제도적 유연성이 필요하다는 제언도 나온다. 대기업의 기술력과 중소기업의 현장성을 결합해 시너지를 낼 수 있는 구조가 마련돼야 공공 AI 사업의 지속 가능성도 확보할 수 있다는 시각이다. 규제보다 AI 생태계 형성 우선돼야 업계는 AI 산업이 아직 초기 단계에 머물러 있는 만큼, 정부가 규제를 먼저 만들고 시장을 나중에 따라오게 하는 '선(先) 규제, 후(後) 시장' 구조가 반복돼서는 안 된다는 점을 강조하고 있다. 이미 클라우드 산업 초창기, CSAP(클라우드 보안 인증)나 SaaS 인증 제도가 시장 형성 이전에 도입되면서 중소기업과 스타트업의 진입 장벽으로 작용했던 경험이 있기 때문이다. 이 같은 전례에 따라 업계는 AI 분야에서도 동일한 상황이 재현될 수 있다는 점을 경계하고 있다. 기업들은 특히, 기술 개발 속도가 빠르고 다양한 모델이 혼재하는 AI 분야에서는 고정된 기준이나 인증 체계를 무리하게 선제 적용할 경우 오히려 시장 성장을 저해할 수 있다고 우려한다. 규제 도입이 기술 혁신의 동력을 막고, 작은 기업들의 진입 가능성까지 제한할 수 있다는 점에서, 생태계 형성이 먼저 이뤄지고 이후에 규제나 기준을 정비하는 방식이 바람직하다는 입장이다. 한 중견 소프트웨어 기업 대표는 "AI 보안 인증이 새로 생긴다고 하지만, 생태계가 제대로 갖춰지기도 전에 인증부터 요구하면 또다시 시장 진입이 막힐 수 있다"며 "기술 확산을 억제하는 규제는 오히려 산업 성장을 늦추는 결과를 가져올 수 있다"고 우려를 나타냈다. 업계는 단기적인 통제보다, 1~2년 동안은 다양한 기업들이 자유롭게 기술을 실험하고 상용화를 시도할 수 있도록 유연한 환경을 제공한 뒤, 실제 발생하는 위험 요소에 따라 점진적이고 구체적인 규제 체계를 도입하는 것이 바람직하다는 제언을 내놓고 있다.

2025.09.02 17:11남혁우

메타, AI 챗봇에 칼 댔다…'십대 유해성' 논란에 자살·자해 대화 원천 차단

메타가 십대 사용자를 대상으로 한 AI 챗봇의 민감 주제 대화를 차단하고 전문가 지원으로 연결하는 등 안전장치를 대폭 강화한다. 내부 문건 유출로 불거진 '선정적 대화' 가능성과 청소년 유해성 논란이 확산하자 서둘러 내놓은 대응책으로 풀이된다. 2일 BBC에 따르면 메타는 최근 AI 시스템을 대폭 업데이트한다는 계획을 밝혔다. 이는 한 미국 상원의원이 메타의 AI가 십대와 부적절한 대화를 나눌 수 있다는 유출 문건을 근거로 조사에 착수한 지 2주 만이다. 새로운 보호 조치는 AI 챗봇이 십대 사용자와 ▲자살 ▲자해 ▲섭식 장애 등 민감한 주제로 대화하는 것을 금지하는 게 핵심이다. 대신 관련 대화 시도가 감지되면 곧바로 전문가의 도움을 받을 수 있는 외부 자원으로 연결하도록 설계된다. 메타는 또 추가 예방 조치로 십대들이 상호작용할 수 있는 챗봇의 종류를 일시적으로 제한할 방침이다. 이번 논란은 메타 내부 문서 일부가 유출되며 시작됐다. 해당 문서에는 메타의 AI 제품이 십대들과 '선정적' 대화를 나눌 수 있다는 내용이 담겨 파장을 일으켰다. 이에 대해 메타 측은 해당 메모가 오류이며 아동을 성적 대상화하는 콘텐츠를 금지하는 회사 정책과도 맞지 않는다고 해명했다. AI 챗봇의 유해성 문제는 비단 메타에만 국한되지 않는다. 최근 캘리포니아에서는 한 부부가 '챗GPT'가 아들에게 스스로 목숨을 끊도록 부추겼다며 오픈AI를 상대로 소송을 제기하기도 했다. 메타의 AI 기술은 다른 측면에서도 문제를 드러냈다. 로이터 통신은 메타의 AI 도구가 테일러 스위프트나 스칼렛 요한슨 같은 유명인사를 사칭해 사용자에게 추파를 던지거나 성적인 접근을 하는 '패러디 챗봇' 제작에 악용됐다고 보도했다. 이들 챗봇은 테스트 과정에서 자신이 실제 인물이라고 주장하며 부적절한 대화를 이어갔다. 문제는 여기서 그치지 않았다. 해당 AI 도구는 아역 배우를 사칭하는 챗봇을 만드는 데도 쓰였으며 심지어 한 어린 남자 스타의 실사형 상의 탈의 이미지를 생성하는 사례까지 발견됐다. 논란이 커지자 메타는 문제의 챗봇 중 일부를 삭제 조치했다. 물론 메타는 이전부터 십대 보호 장치를 운용해왔다고 강조하고 있다. 페이스북과 인스타그램 등에서 13~18세 사용자를 '십대 계정'으로 별도 관리하며 유해 콘텐츠 노출을 최소화하고 있다. 또 부모가 자녀의 AI 챗봇 대화 상대를 7일간 확인할 수 있는 기능도 도입할 예정이었다. 그럼에도 이런 사후 대응이 미흡하다는 비판이 거세다. 앤디 버로우즈 몰리 로즈 재단 대표는 "(메타가) 잠재적으로 청소년을 위험에 빠뜨릴 수 있는 챗봇을 출시했다는 사실이 경악스럽다"며 "강력한 안전성 테스트는 제품 출시 전에 이뤄져야지 피해가 발생한 뒤에 소급 적용돼선 안 된다"고 지적했다.

2025.09.02 09:53조이환

AI 마스터 컨소시엄-KMAC 맞손…'한국형 AI 신뢰성' 국가 표준 만든다

인공지능(AI) 마스터 컨소시엄이 한국능률협회컨설팅과 손잡고 AI 신뢰성 인증 모델 확산에 나선다. 컨소시엄의 기술 역량과 한국능률협회컨설팅의 산업 전문성을 결합해 산업 전반에 통용될 신뢰성 표준을 구축하겠다는 구상이다. 한국인공지능산업협회는 컨소시엄과 한국능력협회컨설팅이 전략적 파트너십을 체결하고 본격적인 협력에 돌입했다고 1일 밝혔다. AI 마스터 컨소시엄은 한국인공지능산업협회를 중심으로 슈어소프트테크 셀렉트스타가 참여하고 있다. 이번 협력은 크게 세 가지 핵심 과제를 중심으로 추진된다. ▲산업별 맞춤형 AI 인증 모델 공동 개발 ▲AI 거버넌스 검증 체계 도입 ▲한국형 AI 신뢰성 지수(KATPI) 구축이다. 양측은 우선 대학 공공기관 민간기업을 겨냥해 산업 특화형 AI-마스터 인증 모델을 개발해 보급할 계획이다. 또 기업과 조직의 AI 운영체계를 종합적으로 평가하는 거버넌스 검증 체계를 도입해 윤리성과 신뢰성을 확보한다. 가칭 'KATPI' 지수 도입도 눈에 띄는 대목이다. AI 기업과 관련 제품의 신뢰성을 객관적 수치로 측정하고 이를 AI-마스터 인증 제도와 연계해 활용도를 높일 방침이다. 컨소시엄은 이번 협약을 발판 삼아 국내 AI 신뢰성 제도를 안착시키는 데 주력한다. 동시에 글로벌 협력망을 넓히고 지속 가능한 산학연관 AI 생태계를 조성하는 데도 속도를 낼 예정이다. 양승현 한국인공지능산업협회 회장은 "AI-마스터 인증제도의 확산이 KMAC의 전문성과 결합해 산업 전반에 신뢰성과 책임성을 갖춘 AI 활용 기반을 만들어갈 것"이라고 밝혔다. 한수희 한국능률협회컨설팅 사장은 "컨설팅 전문성과 AI-마스터 컨소시엄의 인증 기술 역량이 만나 한국형 AI 신뢰성 모델을 선도적으로 정립할 것"이라며 "대학 공공 기업 대상의 AI 진단 및 컨설팅 사업을 강화해 산업 혁신과 글로벌 경쟁력 확보에 기여하겠다"고 말했다.

2025.09.01 17:54조이환

말로만 끝내지 않는 中…AI 안전 논문 폭증에 연구그룹 '3배' 늘었다

중국이 인공지능(AI) 기술의 위험을 통제하기 위해 국가 차원의 거버넌스 체계를 구축하고 이를 국제 무대의 표준으로 삼으려는 움직임을 본격화하고 있다. AI 경쟁 속에서 발생할 수 있는 잠재적 위협을 관리하며 글로벌 질서를 주도하려는 전략이다. 16일 중국의 AI 안전 연구기관인 콩코르디아 AI가 발간한 '중국의 AI 안전 현황 2025' 보고서에 따르면 중국 공산당 지도부는 AI 안전을 국가 핵심 의제로 격상시켰다. 이 보고서는 2024년 5월부터 2025년 6월까지 중국의 AI 안전 정책, 기술 연구, 산업계 동향을 종합적으로 분석했다. 공산당은 지난해 제3차 전체회의에서 AI 안전 감독 시스템 구축을 국가 안보 우선순위로 명시했고 지난 4월에는 당 정치국이 AI를 주제로 한 학습 세션을 열었다. 이 자리에서 시진핑 주석은 AI가 "전례 없는 위험과 도전"을 제기한다며 위험 모니터링, 조기 경보, 비상 대응 시스템 구축을 주문했다. 이러한 정책 방향은 포괄적인 'AI 법' 제정보다 구체적인 '표준' 시스템을 통해 구현되는 양상이다. 지난 상반기에만 지난 3년간 발표된 것과 같은 수의 국가 AI 표준이 제정될 정도로 속도를 내고 있다. 현재 표준은 주로 콘텐츠 필터링 등 단기적 위험에 초점을 맞추지만 국가사이버보안표준화기술위원회(TC260) 등이 공개한 로드맵에는 AI의 통제 불능이나 사이버 공격 악용 등 프론티어 리스크가 포함돼 주목된다. 국제 외교 무대에서도 중국의 행보는 두드러진다. 올해 다보스포럼에 참가한 중국 고위 관리는 통제 없는 AI 경쟁을 예견 가능하지만 간과되는 위험을 뜻하는 '회색 코뿔소'에 비유하며 국제 협력을 촉구했다. 또 유엔을 통해 개발도상국 AI 역량 강화 결의안을 주도하고 '중국 AI 안전 및 개발 협회(CnAISDA)'를 출범시켜 국제 AI 안전 연구소들의 파트너 역할을 자처하고 나섰다. 미국과의 관계 변화는 중국의 AI 전략을 가늠할 핵심 변수다. 양국은 핵무기 통제에 대한 인간의 개입 필요성에 합의하는 등 성과도 있었지만 지난해 5월 이후 정부 간 대화는 사실상 중단 상태다. 다만 중국은 지난 5월 영국과 새로운 AI 대화를 시작하며 협력 대상을 다변화하는 모습을 보였다. 학계의 움직임도 심상치 않다. 중국 기관들의 프론티어 AI 안전 관련 논문 발표 건수는 월평균 11편에서 26편으로 1년 새 두 배 이상 급증했다. 특히 이전에는 미미했던 ▲초인적 시스템 정렬 ▲메커니즘 기반 해석 가능성 ▲AI의 기만 행위 탐지 등 최첨단 연구 주제가 활발히 다뤄지기 시작했다. 산업계 역시 정부의 정책 기조에 발맞추고 있다. 지난해 12월 중국인공지능산업연맹(AIIA) 주도로 알리바바, 바이두, 텐센트 등 17개 주요 기업이 'AI 안전 서약'에 서명했다. 이들은 전담 안전팀 구성, 레드팀 테스트, 데이터 보안 강화 등을 약속했다. 다만 업계의 자율 규제에는 한계가 명확하다는 지적도 나온다. 보고서가 분석한 13개 주요 프론티어 AI 기업 중 기술 보고서를 발간한 곳은 9곳이었으나 이 중 구체적인 안전성 평가 결과를 공개한 기업은 단 3곳에 불과했다. 특히 화학·생물 무기(CBRN) 오용이나 통제 불능과 같은 심각한 위험에 대한 평가 결과는 전무해 기업들의 투명성 확보가 시급한 과제로 떠올랐다. 장펑 지푸 AI 최고경영자(CEO)는 지난해 서울 AI 서밋에서 "최첨단 기술에는 AI 안전을 보장해야 할 중대한 의무가 따른다"며 "안전은 가장 시급한 문제는 아닐 수 있지만 극도로 중요하며 선제적인 준비가 필요하다"고 밝혔다.

2025.08.16 15:48조이환

세계 1위 CRM 세일즈포스도 찍었다…美서 다투모로 알려진 이 회사, 205억원 투자 유치

생성형 인공지능(AI) 활용의 신뢰 및 안전에 대한 전 세계적인 관심이 높아지고 있는 가운데 셀렉트스타가 대규모 투자 유치를 통해 경쟁력을 입증했다. 세계 1위 고객 관계 관리(CRM) 기업 세일즈포스까지 셀렉트스타의 AI 데이터 및 신뢰성 검증 능력을 인정해 투자에 나서면서 글로벌 시장 확대에도 더 속도를 낼 수 있게 됐다. 12일 테크크런치 등 주요 외신에 따르면 셀렉트스타는 지난 11일 세일즈포스 벤처스와 ACVC파트너스 등 해외 투자 파트너들과 KB인베스트먼트, KB증권, 신한벤처투자, 키움인베스트먼트, SBI인베스트먼트, 삼성증권, 무림캐피탈, 인포뱅크파트너스 등 국내 투자사를 통해 1천550만 달러(약 205억원) 규모의 시리즈B 투자 유치에 성공했다. 이에 따라 누적 투자유치액은 총 2천800만 달러(약 379억원)을 달성했다. 셀렉트스타는 해외에선 다투모(Datumo)라는 기업명으로 알려져 있다. 셀렉트스타라는 법인명을 해외 다른 기업이 사용하고 있어 미국 법인명을 제품명과 동일한 '다투모'로 정해 지난 3월부터 활동 중이다. 서울에선 지난 2018년 설립돼 AI 개발에 필수적인 데이터 수집·가공 솔루션을 제공하며 국내 5대 그룹 및 5대 금융그룹을 포함한 320여 고객사를 확보했다. 김세엽 셀렉트스타 대표는 국방과학연구소 AI 연구원 출신으로, 카이스트 동문 5명과 함께 공동 창업했다. 2023년부터는 라이선스가 확보된 고품질 학습용 데이터셋 판매 서비스를 론칭해 누적 판매 50억원을 돌파했다. 최근에는 한국어 데이터셋 구매를 희망하는 글로벌 기업의 문의가 이어지는 가운데 다국어 및 멀티모달 데이터셋 분야로 확장 중이다. 지난해에는 약 600만 달러의 매출을 기록했다. 이들에 투자에 참여한 기관들은 셀렉트스타의 기술력과 글로벌 성장 가능성에 주목했다. 특히 세일즈포스는 AI 데이터 분야에서 셀렉트스타가 보유한 독보적 기술력과 시장 선도 가능성을 높이 평가하며 전략적 투자를 단행했다. 셀렉트스타는 세일즈포스와의 파트너십을 발판으로 미국, 일본 등 해외 시장 진출에 속도를 낼 전망이다. 김 대표는 "국내에서 열린 행사에서 딥러닝AI 창립자 앤드류 응과 화상 대화를 진행한 것을 링크드인에 공유한 것이 세일즈포스 벤처스의 관심을 끌게 됐다"며 "자금 조달 과정은 약 8개월 가량 소요됐다"고 말했다. 셀렉트스타는 올해 초 국내 최초로 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸(Datumo eval)'을 출시하며 업계의 주목을 받았다. '다투모 이밸'은 신뢰성 검증 프로세스를 자동화해 AI 서비스 운영 중 발생할 수 있는 다양한 오류와 위험성을 사전에 식별, 대응하는 국내 최초 솔루션이다. 출시 이후 신한은행, 우리은행, NH농협은행 등에 도입됐다. 오는 8월에는 시티그룹 AI 총괄과 'AI 신뢰성 검증'을 주제로 한 글로벌 웨비나를 개최하며 글로벌 금융권의 실질적 수요 확대가 기대되고 있다. AI 데이터 및 신뢰성 검증 영역에 꾸준히 기술력을 쌓아온 셀렉트스타는 과학기술정보통신부가 주관하는 '독자 AI 파운데이션 모델 개발 사업'에 SKT 컨소시엄으로 참여, 지난 4일 최종 선발팀으로 이름을 올렸다. 셀렉트스타는 모델 안정성 검증 데이터를 비롯해 데이터 파트 전반을 총괄하며 완성도 높은 국가대표 AI 개발에 일조할 예정이다. 셀렉트스타는 시리즈B 투자 유치를 기점으로 신뢰성 검증 솔루션 기술 고도화 및 글로벌 시장 진출에 본격적으로 나설 예정이다. 이 외에도 포브스코리아 '2025 대한민국 AI 50' 선정, 국내 최초 '생성형 AI 레드팀 챌린지' 대표 파트너사로 행사 운영, MWC 2025 '글로벌 AI 레드팀 챌린지' 주최 등 다양한 국내외 프로젝트를 주도하며 글로벌 수준의 기술력을 인정받았다. 시리즈B 투자를 리드한 KB인베스트먼트 김승환 글로벌투자본부장은 "셀렉트스타는 국내 AI 데이터 분야에서 선두를 달리는 기업이지만, 꾸준한 도전과 성장으로 업계에 새로운 기준을 제시하고 있다"며 "'AI 신뢰성 검증' 초기 시장에서 이미 확실한 기술력을 확보하고 있고, 다양한 산업 도메인에서 AI 상용화가 가속화됨에 따라 의미 있는 성과를 만들어 낼 것으로 기대한다"고 설명했다. 쇼 야마나카 세일즈포스 수석심사역은 "이번 투자는 세일즈포스가 한국 시장을 겨냥한 AI 투자 및 사업 확장의 전략적 이정표가 될 것"이라며 "양사의 파트너십을 기반으로 '에이전트포스(Agentforce)'를 비롯한 글로벌 AI 에이전트 사업 전반에서 강력한 시너지를 창출할 것으로 기대한다"고 강조했다. 업계에선 이번 일을 두고 메타가 최근 데이터 라벨링 기업 스케일AI에 14억3천만 달러를 투입해 인수한 것과 비슷하다고 봤다. 또 셀렉트스타가 스케일AI와 유사하게 사전 훈련 데이터셋을 제공하고, 아리제AI처럼 AI 평가 및 모니터링 분야에서 제품을 선보이고 있다는 점을 높게 평가했다. 테크크런치는 "동종 기업과 달리 셀렉트스타(다투모)는 '다투모 이밸'이라는 풀 스택 평가 플랫폼을 제공하고 있다"며 "출판된 책에서 크롤링한 데이터셋을 통해 차별화한 것도 눈에 띈다"고 말했다. 김 대표는 "이번 시리즈B 투자 유치를 계기로 신뢰성 검증이라는 새로운 시장에서 우리의 독보적인 기술력과 성장 가능성을 인정받았다는 데 큰 의미가 있다"며 "글로벌 시장 진출의 원년으로 삼고 AI의 품질과 안전성을 책임지는 글로벌 AI 기업으로 도약하겠다"고 밝혔다.

2025.08.12 09:46장유미

NIA-AI 안전연구소 '맞손'…"AI 폭주 막는다"

정부가 국내 거대언어모델(LLM)의 안전성과 신뢰성을 정량적으로 검증하기 위한 데이터셋 구축에 착수했다. 인공지능(AI) 모델의 위험 요소를 평가해 글로벌 AI 거버넌스 논의에서 주도권을 확보하려는 전략이다. 한국지능정보사회진흥원(NIA)과 과학기술정보통신부는 지난 7일 NIA 서울사무소에서 'LLM 안전성 및 신뢰성 평가 데이터셋 구축' 사업 착수보고회를 개최했다고 8일 밝혔다. 이날 보고회에는 과기정통부와 NIA를 비롯해 사업 수행기관인 AI 안전연구소 관계자들이 참석해 사업 방향을 논의했다. 이번 사업의 핵심은 총 2만 건 이상의 한국어 특화 벤치마크 데이터셋을 구축하는 것이다. 해당 데이터셋은 ▲사이버 보안 ▲AI 자율성 ▲사실 기반 정확성 ▲사회적 가치 편향 등 AI 안전성의 핵심 항목을 포괄한다. 이번 평가 기반은 과기정통부와 NIA가 추진 중인 '독자 AI 파운데이션 모델 프로젝트'를 통해 개발될 AI 모델의 성능을 검증하는 데 우선 활용될 예정이다. 이를 통해 독자 AI 모델의 완성도를 높이고 잠재적 위험을 사전에 차단한다는 방침이다. NIA는 그동안 AI 허브를 통해 1천300여 종의 대규모 AI 학습데이터를 구축하고 AI 바우처 사업으로 중소기업의 AI 도입을 지원해왔다. 이번 사업으로 기존의 성능 평가를 넘어 안전성과 신뢰성까지 아우르는 종합 평가 체계를 마련하며 국내 AI 생태계 발전을 이끈다는 평가다. 김명주 AI 안전연구소 소장은 "이번 사업은 단순 성능 비교를 넘어 AI가 우리 사회에서 신뢰받는 기준을 세우는 첫 시도"라며 "공정하고 객관적인 평가체계를 만들어 국내외 AI 신뢰성 생태계를 선도하겠다"고 말했다. 황종성 NIA 원장은 "AI 안전성 평가는 선택이 아닌 필수가 된 시대"라며 "축적한 데이터와 전문성을 총동원해 세계 최고 수준의 AI 안전성 검증 체계를 구축하고 대한민국이 글로벌 표준을 선도하도록 할 것"이라고 강조했다.

2025.08.08 14:35조이환

[AI는 지금] '속도전' 넘어 '신뢰' 경쟁…AI, 보이지 않는 안전벨트 맨다

전 세계가 인공지능(AI) '속도전'에 몰두하는 사이 한국이 '안전'이라는 카드를 꺼내 들었다. AI 안전연구소가 신뢰성의 컨트롤타워로서 정책을 이끌고 네이버·LG 등 민간 기업들은 개발 현장에서 자체 안전망을 촘촘히 구축하는 '투트랙' 전략이다. 30일 업계에 따르면 AI 기술 경쟁이 격화하며 안전 논의가 뒷전으로 밀리고 있다는 우려가 나온다. 미중 기술 패권 경쟁이 '개발 가속'을 부추긴 탓이다. 이런 흐름에 맞춰 AI 안전 논의를 이끌던 주요국들의 행보도 달라졌다. 실제 영국은 올해 초 AI안전연구소를 AI보안연구소로 개편했다. 미국 역시 지난달 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 재편하며 정책의 무게추를 기술 표준 선점과 산업 경쟁력 강화로 옮기는 듯한 모습을 보였다. 반대로 국내에서는 안전과 신뢰가 단기적인 속도 경쟁을 넘어서는 장기적인 성공의 핵심 가치라는 인식이 상대적으로 유지되고 있다. 당장의 성능 과시보다는 신뢰할 수 있는 AI 생태계를 먼저 구축하는 쪽이 결국 시장의 최종 승자가 될 것이라는 판단이다. 韓 안전 컨트롤타워 'AI안전연구소'…'셰르파' 역할 자처 국내 AI 안전과 신뢰성 확보의 컨트롤타워는 AI안전연구소다. 지난해 11월 전자통신연구원(ETRI) 산하로 출범한 연구소는 국가 AI 정책을 지원하고, 기술 발전의 잠재적 위험을 해결하는 임무를 맡는다. 연구소 조직은 크게 세 축으로 나뉜다. ▲AI안전정책 및 대외협력실(정책) ▲AI안전평가실(평가) ▲AI안전연구실(기술)이다. 연구소는 이 세 조직의 유기적인 협력을 통해 AI 안전과 산업 경쟁력 확보라는 '두 마리 토끼'를 잡는다는 목표다. 기업과의 협력도 활발하다. 연구소는 지난 3월 'MWC 2025'에서 국내 스타트업 셀렉트스타가 주최한 '글로벌 AI 레드팀 챌린지'를 후원하며 국내 기업의 기술력을 알리는 데 힘을 보탰다. 레드티밍은 AI의 취약점을 일부러 공격해 약점을 찾는 활동으로, 안전성 확보의 핵심 과정이다. 최근에는 LG전자와 손잡고 글로벌 규제 대응에 나섰다. 지난 6월 맺은 업무협약(MOU)은 LG전자의 제품·서비스 개발에 연구소의 안전성 전문 지식을 결합하는 것이 골자다. 이는 유럽연합(EU)의 'AI 법(AI Act)'처럼 구체화되는 규제 흐름에 민관이 함께 대응한다는 점에서 의미가 있다. 이러한 활동은 '신뢰성이 곧 경쟁력'이라는 연구소의 철학을 보여준다. 김명주 AI안전연구소장은 "인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다"며 "결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이 될 것"이라고 강조했다. '신뢰' 경쟁력, 민간서 꽃핀다…개발 DNA부터 '안전' 심는 K-AI 기업은? AI 신뢰성이라는 과제는 민간의 자발적인 노력과 만나 시너지를 내고 있다. 특히 정부의 '독자 AI 파운데이션 모델' 프로젝트에 참여한 기업들은 성능 경쟁을 넘어 믿을 수 있는 AI를 확보하는데도 주력하고 있다. 그 시작은 AI의 '원유'로 취급받는 학습 데이터 단계에서부터다. 업스테이지의 '1T 클럽'이 대표적이다. 1T 클럽은 1조 개 토큰 규모의 고품질 데이터를 공동으로 수집하고 공유하는 플랫폼으로, 업스테이지는 이를 통해 확보한 데이터를 '사람 중심, 신뢰성, 공정성' 등 5대 윤리 원칙에 기반해 정제하며 AI의 첫 단추를 꿰고 있다. 모델 개발 단계에서도 정교한 '컨트롤타워'가 가동된다. 네이버가 운영 중인 'AI 안전 프레임워크(ASF)'가 주요 예시다. 실무진이 모델의 잠재적 위험을 논의하고 '리스크관리워킹그룹'이 이를 평가해 최종적으로 이사회에 보고하는 방식의 다층적 거버넌스를 갖췄다. 카카오, SK텔레콤, KT 역시 구체적인 조직과 원칙을 마련했다. 카카오는 '그룹 기술윤리 소위원회'를 신설해 리스크를 사전에 점검하고 SK텔레콤은 '사람을 향한 AI'라는 의미를 담은 'T.H.E. AI' 거버넌스 원칙을 수립했다. KT 역시 '책임감 있는 인공지능센터'를 설립해 개발 초기부터 윤리성을 관리한다. LG AI연구원은 한발 더 나아가 학습 과정에서 생기는 '편향 뉴런'을 기술로 찾아 제거하는 방법론을 개발했다. 모델의 내재적 공정성을 높이려는 시도다. AI 모델이 완성된 후에도 신뢰도를 높이기 위한 '담금질'은 계속된다. 네이버는 '레드티밍'을 통해 AI의 약점을 의도적으로 공격하고 여기서 확보된 유해한 응답 데이터를 다시 모델 학습에 이용해 방어력을 키우는 방식을 활용한다. 업계 관계자는 "안전은 당장에는 비용처럼 보여도 글로벌 AI 규제에 선제적으로 대응하는 무형 인프라"라며 "AI 신뢰성 조차도 하나의 산업으로서 보고 접근해야 기업이 성공할 수 있을 것"이라고 말했다.

2025.07.30 15:27조이환

  Prev 1 2 3 4 5 6 Next  

지금 뜨는 기사

이시각 헤드라인

쿠팡, 보안사고 '셀프조사' 결과·보상안 美 SEC 공시

'엑시노스' 발열 잡는 삼성전자…신규 패키징 구조 개발 중

종무식 사라진 재계…새해 구상하며 조용한 연말 보내

AI 특수에 정책 수혜까지…에너지 시장 새해도 뜨겁다

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.