• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
국감2026
인공지능
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'인공지능 안전'통합검색 결과 입니다. (156건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

글로벌 AI안전 전문가들 "AI 규제와 혁신, 함께 가야 한다"

"인공지능(AI) 안전이 혁신을 가로막아선 안 됩니다. 신뢰를 기반으로 한 책임 있는 생태계가 중요합니다." 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼' 라운드테이블에서 이같이 말했다. 그는 AI 안전을 단순히 규제의 영역으로만 보지 말아야 한다고 지적하며 AI 기술의 혁신과 안전이 균형을 이루는 선순환 구조를 만드는 것이 목표라고 강조했다. 이날 라운드테이블은 'AI 안전 거버넌스의 실행'을 주제로 각국 정부·연구기관·산업계 관계자들이 한자리에 모여 현실적인 협력 방안을 논의했다. 좌장은 박세아 국가AI전략위원회 안전신뢰팀장이 맡았고 유럽연합(EU)·일본·싱가포르·한국 등 주요국의 AI 안전 기관 관계자들이 패널로 참여했다. 라운드테이블의 첫 화두는 규제와 혁신의 균형이었다. 먼저 윌프레드 부국장은 "싱가포르는 AI 전담 법률을 제정하기보다 기존 산업 규제를 보완해 AI 시대에 맞게 확장 적용하는 방식을 취하고 있다"고 밝혔다. EU는 보다 체계적인 규제 접근법을 소개했다. 라이너 베셀리 주한 유럽연합대표부 디지털·리서치 담당 참사관은 "AI 모델이 제어 불가능한 형태로 발전한다면 그것은 기술 문제가 아니라 사회 전체의 리스크"라고 경고했다. 그는 "EU AI법은 기본권을 침해하거나 사이버 공격에 악용될 수 있는 모델을 금지하는 것이 핵심"이라며 위험 수준에 따라 AI 시스템을 단계적으로 관리하는 프레임워크를 설명했다. 이어 "AI가 노동시장에 미치는 영향도 새로운 정책 변수로 보고 있다"며 "규제의 목적은 혁신을 막는 것이 아니라 사회적 효용과 위험을 함께 관리하는 것"이라고 덧붙였다. 아키코 무라카미 일본 AI안전연구소장은 사회적 책임의 관점에서 접근했다. 그는 "AI 안전은 기술적 문제가 아니라 사회가 어떻게 책임 있게 기술을 수용하느냐의 문제"라며 "일본은 AI법 제정을 계기로 공공과 민간이 공동으로 안전 기준을 마련하고 있다"고 말했다. 김명주 한국 AI안전연구소장은 정부가 추진 중인 실증 중심 평가를 소개했다. 그는 "우리 정부는 AI 모델 평가 대회를 통해 실제 시스템의 안전성과 신뢰도를 검증하고 있다"며 "프라이버시 보호와 신뢰 확보를 중심으로 평가체계를 준비 중"이라고 밝혔다. 그러면서 "AI 사회로 전환하는 지금, 사회적 약자의 접근성을 높이는 것도 AI 안전의 한 축"이라며 "디지털 격차 해소 경험을 바탕으로 AI 포용성을 정책의 핵심 가치로 삼고 있다"고 강조했다. 좌장을 맡은 박세아 팀장은 AI 안전이 정부나 연구소만의 일이 아니라고 짚으며 산업계와 다양한 이해관계자의 참여를 촉구했다. 이에 윌프레드 부국장은 싱가포르의 민관 협력 사례를 소개했다. 그는 "각 기업이 스스로 테스트하고 검증할 수 있도록 샌드박스 환경을 운영 중"이라며 기업 책임성과 자율 규제를 병행하는 모델을 설명했다. 아울러 무라카미 소장은 기업 역할의 중요성을 강조했다. AI 안전에 대한 투자가 단순한 비용이 아니라 기업의 지속 가능성을 높이는 투자라는 설명이다. 특히 모든 기업이 지속가능발전목표(SDG)의 관점에서 AI 안전을 전략적으로 접근해야 한다고 제언했다. 글로벌 협력 방안에 대한 논의도 이어졌다. 베셀리 참사관은 "국제 협력의 핵심은 상호운용성과 공동 리스크 평가 체계"라며 "EU는 표준화 요청을 통해 AI 평가 도구를 공동 개발 중"이라고 설명했다. 이어 "각국이 같은 기준으로 위험을 평가할 수 있어야 진정한 글로벌 협력이 가능하다"고 덧붙였다. 이와 관련해 김명주 소장은 "국제 네트워크를 통해 공동 연구와 표준화를 강화해 나가겠다"고 밝혔다. 끝으로 "AI 안전은 특정 국가나 기업의 책임이 아니라 인류가 함께 구축해야 할 글로벌 과제"라며 "규제와 혁신이 조화를 이룰 때 비로소 지속가능한 AI 생태계가 완성될 것"이라고 강조했다.

2025.10.28 14:33한정호 기자

"AI 안전, 선택 아닌 필수"…서울서 글로벌 거버넌스 협력 '한목소리'

"인공지능(AI)은 인류가 만든 가장 강력한 발명이지만 그만큼 안전에도 두 배의 노력이 필요합니다." 김명주 한국 인공지능안전연구소장은 28일 호텔 나루 서울 엠갤러리 앰배서더에서 열린 '2025 인공지능 안전 서울 포럼'에서 이같이 강조했다. 이번 포럼은 과학기술정보통신부가 주최하고 한국전자통신연구원·한국 AI안전연구소가 주관한 첫 글로벌 AI 안전 행사로, 세계 각국의 연구기관·정부·산업계 관계자 약 150명이 참석했다. 행사에서는 '보다 안전한 AI 세상을 향한 글로벌 협력'을 주제로 AI 안전 거버넌스·평가·레드티밍 등 국제적 협력 방향이 논의됐다. 개회식에서 송상훈 국가AI전략위원회 지원단장은 "AI 기술의 발전은 인류의 삶을 바꾸는 동시에 새로운 위험을 수반해왔다"며 "신뢰할 수 있고 안전한 AI를 확보하는 것은 앞으로 풀어나가야 할 시급한 과제"라고 말했다. 또 다음 달 공개 예정인 정부의 'AI 액션플랜'을 언급하며 "안전과 신뢰를 핵심 가치로 삼아 대한민국이 국제 AI 안전 네트워크의 일원으로서 책임을 다하겠다"고 강조했다. 행사 첫 번째 세션에서는 일본·싱가포르·유럽연합(EU)·한국 등 주요 국가의 AI 안전 기관 관계자들이 발표자로 참여해 각국의 정책과 연구 성과를 공유했다. 아키코 무라카미 일본 AI안전연구소장은 "2023년 G7 히로시마 정상회의 이후 각국이 AI 안전 프로세스 구축에 속도를 내고 있다"며 "일본 역시 AI 안전 표준 수립과 산업 간 협력 허브로서 역할을 강화하고 있다"고 설명했다. 이어 "AI 안전은 기술 자체뿐 아니라 활용 혁신과 균형을 맞춰야 한다"며 "데이터 품질 관리, 산업별 안전 가이드라인 제정 등 실질적 조치가 병행돼야 한다"고 덧붙였다. 두 번째 발표에서 바네사 윌프레드 싱가포르 정보통신미디어개발청(IMDA) 부국장은 "AI 안전이 혁신을 가로막아선 안 된다"며 "싱가포르는 신뢰를 기반으로 한 책임 있는 AI 생태계를 만드는 것이 목표"라고 밝혔다. 현재 싱가포르는 AI 기업이 자율적으로 안전 기준선을 설정하고 테스트할 수 있도록 'AI 그래파이트 파운데이션'을 운영 중이며 금융·헬스케어 분야에서 샌드박스를 통해 안전성 평가를 수행하고 있다. 윌프레드 부국장은 "에이전틱 AI 시대에는 자동화로 인한 편향이 심화될 수 있어 인간의 개입과 검토가 필수적"이라며 인간 중심의 AI 거버넌스 필요성을 강조했다. 영상으로 참여한 루실라 시올리 EU AI국장은 올해 8월부터 본격 적용된 'EU AI법'의 핵심 내용을 설명했다. 그는 "고위험 AI 시스템과 범용 AI 모델에 대한 규정을 통해 투명성과 안전을 확보할 것"이라며 "25개 이상 기업이 자발적으로 참여한 'AI 실천 강령'이 핵심 역할을 할 것"이라고 말했다. 시올리 국장은 "한국·싱가포르·미국 등과 AI안전연구소 네트워크를 통해 평가 방법론과 표준을 공유하겠다"며 국제 협력 의지도 드러냈다. 마지막 발표자로 나선 김명주 소장은 한국 AI안전연구소의 활동과 성과를 소개했다. 그는 우리나라의 AI 기본법 제12조를 언급하며 "우리 연구소는 법적 기반 위에서 AI 세이프티를 기술·정책·윤리 세 축으로 다루고 있다"고 설명했다. 또 "MIT의 AI 리스크 레퍼지토리를 바탕으로 리스크 맵핑 프로젝트를 진행 중이며 원인·결과·대응 주체를 3D 형태로 시각화해 잠재 리스크를 조기 식별 중이라"고 발표했다. 그러면서 "평가·정책·기술 검증을 통해 국내 기업 경쟁력을 높이는 동시에 글로벌 생태계의 안전 수준을 함께 높여나갈 것"이라고 말했다. 이번 포럼에는 ▲LG AI연구원 ▲네이버클라우드 ▲구글 딥마인드 ▲앤트로픽 ▲세이퍼 AI ▲스케일 AI ▲카르마 등 주요 기업·기관이 참여했다. 특히 한국 AI안전연구소와 스케일 AI는 업무협약을 체결해 레드티밍 협력을 본격화했다. 포럼 둘째 날인 오는 29일에는 프론티어 AI 모델을 대상으로 한 실습형 레드티밍 워크숍이 진행된다. 김 소장은 "안전하고 신뢰할 수 있는 AI를 만드는 것은 선택이 아니라 필수"라며 "AI 안전은 어느 한 나라나 기업의 몫이 아닌, 인류가 함께 만들어가야 할 글로벌 생태계의 과제"라고 강조했다.

2025.10.28 13:17한정호 기자

中 AI 안전 연구소 출범 8개월…"실질 감독 없이 외교만 앞세워"

중국이 야심 차게 출범시킨 인공지능(AI) 안전 연구소가 8개월 만에 '기술 감독'이 아닌 '대외 외교'에 치중하는 상징적 기구에 그치고 있다는 분석이 나왔다. 18일 AI 프론티어스에 따르면 지난 2월 파리 AI 행동 정상회의를 계기로 출범한 '중국 AI 안전 및 개발 협회(CnAISDA)'가 그 주인공이다. 이 조직은 지난 여름 상하이 세계 AI 컨퍼런스(WAIC)를 통해 국제 무대에 본격적으로 모습을 드러냈다. 다만 이 조직은 출범 8개월이 지난 현재까지 전담 직원이나 자체 예산조차 확보하지 못한 것으로 알려졌다. 심지어 중국어 공식 웹사이트도 없어 조직의 실질적인 운영 능력에 의문이 제기된다. 지도부 면면은 화려하다. 푸잉 전 외교부 부부장, 앤드류 야오 튜링상 수상자 등 저명한 인사들이 전면에 나섰다. 쉐란 국무원 고문 상하이 AI 랩(SHLAB)의 조우 보웬 등도 합류했다. 그럼에도 조직의 구조는 실권과는 거리가 멀다. CnAISDA는 미국 영국과 달리 새로운 정부 기관이 아닌 기존 기관들의 '연합체', 즉 '네트워크' 형태로 운영된다. 중국 최고 명문인 칭화대가 조직의 허브 역할을 맡고 있으며 베이징 AI 연구원(BAAI), 중국정보통신기술연구원(CAICT) 등이 참여 기관으로 이름을 올렸다. 이 연합체 모델은 기관 간 경쟁을 피하기 위한 정치적 타협의 산물로 풀이된다. 실제 CnAISDA의 행보는 기술적 감독 기능보다 국제 외교 무대에 집중돼 있다. 창립 문서부터 '포용적 글로벌 AI 안전 거버넌스 프레임워크' 구축을 촉구하며 국제 협력을 전면에 내세웠다. 이는 미국의 'AI 실행 계획'에 맞선 중국의 '글로벌 AI 거버넌스 실행 계획'과도 궤를 같이 한다. 리창 총리가 '세계 AI 협력 기구' 창설 지원을 발표한 것도 같은 맥락이다. 물론 연합체 산하 기관들의 개별적인 움직임은 주목할 만하다. SHLAB은 WAIC에서 콩코르디아 AI와 협력해 '프론티어 AI 위험 관리 프레임워크'를 발표했다. 이들은 자체 프레임워크로 AI 모델 위험성을 분석하며 영국 AISI의 평가 소프트웨어 '인스펙트'를 활용했다. 서방과의 기술적 방법론이 수렴되는 현상을 보인 것이다. 중국 주요 기업들의 안전 서약도 CnAISDA 이름으로 재확인됐다. 지난해 12월 알리바바, 텐센트 등 17개 사는 서울 AI 정상회의 약속과 유사한 서약을 맺은 바 있다. 다만 이 서약의 실효성은 낮다는 평가다. 서명한 중국 기업 중 약속을 이행한 곳은 전무하다. 딥시크 등 일부 기업은 두 번째 서약에서 아예 빠졌다. 결국 중국의 거버넌스 논의에서 프론티어 AI 안전은 AI 개발과 경제 성장이라는 최우선 목표에 밀려나 있다는 지적이다. 잭 클라크 앤트로픽 공동 창업자는 "(상하이 AI 랩의 연구 결과는) 연구된 위험과 사용된 방법론 모두에서 미국 및 영국의 위험 평가와 보다 가까운 수렴성을 보여줬다"고 밝혔다.

2025.10.19 03:07조이환 기자

美 캘리포니아, AI 안전법 'SB 53' 도입…"혁신·투명성 다 잡아"

미국 캘리포니아 주가 인공지능(AI) 기술 발전과 안전을 동시에 확보하기 위한 법안을 도입했다. 6일 테크크런치 등 외신에 따르면 개빈 뉴섬 캘리포니아 주지사는 AI 안전·투명성 법안인 'SB 53'에 서명했다. 이날 뉴섬 주지사는 "이 법은 AI 산업 혁신을 막지 않으면서 공공의 안전과 투명성을 보장할 수 있다는 가능성을 보여준다"고 밝혔다. SB 53 법안은 대형 AI 기업 모델이 사이버 공격이나 생물무기 제작 등 고위험에 악용되지 않도록 대비책을 마련하고, 그 내용을 공개하도록 의무화한다. 업계가 이미 시행하던 안전성 테스트와 모델 정보 공개를 법적 의무로 전환하도록 설계된 것이다. 이번 SB 53은 지난해 거부된 'SB 1047'보다 업계 반발이 덜한 것으로 전해졌다. 우선 규제 대상을 모든 AI 기업에서 대규모 모델과 프론티어 개발자로 한정하고, 시행 중이던 안전성 테스트와 모델 정보 공개를 그대로 법제화한 점이 주효했다. 기술 발전과 시장 변화에 따라 규제 기준을 조정할 수 있는 유연성이 포함됐다는 평가도 나온다. 경쟁이나 비용 압박으로 기업들이 기존 안전 기준을 낮추지 못하도록 정책적 장치를 마련한 것이 핵심이다. 또 SB 1047이 지적받았던 광범위하고 과도한 규제 문제를 보완한 것이 반발을 줄이는 핵심 요인으로 꼽히고 있다. 애덤 빌렌 엔코드 AI 공공정책 부사장은 "SB 53은 산업계와 정책 입안자가 협력해 합의에 도달한 민주주의의 산물"이라고 강조했다.

2025.10.06 17:00김미정 기자

[기자수첩] 국정자원 화재 부른 행안부, 전자정부 관리 자격 없다

지난 2023년 11월. 정부 전산망 먹통 사태는 '전자정부 세계 1위'라는 대한민국의 위상에 큰 충격을 줬다. 디지털 선도국가로서 당당함을 유지했던 우리나라는 이 때부터 정부의 관리 허술함이 곳곳에서 포착되며 위기감을 드러냈다. 주무부처인 행정안전부는 당시 대국민 사과와 함께 이중 운영 체계와 복구 시스템 보강을 약속했다. 2022년 10월 '카카오 사태' 때도 행안부와 국가정보자원관리원(국정자원)은 대전센터와 광주센터 간 상호 재해복구(DR) 시스템이 구축돼있어 3시간 이내 복구가 가능하다고 공언하기도 했다. 하지만 이는 모두 허언이었다. 국정자원 대전 본원 전산실에서 이번에 화재가 발생하자 정부 업무시스템 647개가 일시에 멈추는 대형 사고가 터졌다. 3시간 복구는커녕 화재가 발생한 지 8일째가 됐음에도 시스템 복구율은 20%에도 못미쳤다. 정부 전산망의 복구 업무를 맡았던 행안부 직원은 극단적 선택을 해 안타까움을 샀다. 3년 전 카카오 먹통 사태 당시 정부가 "국정자원은 다르다"며 "화재 시 3시간 이내 복구할 수 있다"고 자신했던 모습은 온데간데 없다. 사고가 터지자 수습하는 과정도 허둥지둥 그 자체다. 이중화 시스템은 여전히 제대로 이뤄지지 않은 게 드러났고, DR 체계를 갖추고 있다는 대전·광주·대구 등 3개 센터도 저장이나 백업 수준에 그쳐 실망감을 줬다. 책임을 져야 할 행안부는 각 부처의 관련 예산 확보도 가로 막은 것으로 드러나 논란은 더 커졌다. 실제 윤건영 더불어민주당 의원실에 따르면 행안부는 지난 해 4월 1·2등급 정보시스템의 이중 운영 체계 구축 투자를 금지한다는 내용의 지침을 전 부처에 배포했다. 이 탓에 2025년도 예산 편성에서 각 부처의 신규 재해복구시스템 구축 요구는 한 건도 없었다. 결국 행안부의 오판과 관리 부실로 국정자원 전산실에 있던 무정전·전원장치(UPS)용 리튬이온 배터리는 폭발해 정부 업무 시스템을 '올스톱'시켰다. 이 배터리는 2014년 도입돼 사용 연한 10년을 1년가량 넘긴 노후 제품이었다. 안일하게만 대응하던 행안부가 부른 대참사다. 그럼에도 행안부는 '예산 부족'을 언급하며 변명하기에만 급급하다. 업계에선 행안부가 더 이상 전자정부 관리 주무부처로 역할을 해선 안된다고 입을 모았다. 국가 행정전산망 먹통 사태 후 국내 공공 소프트웨어(SW) 시장의 문제가 불거졌음에도 그간 제대로 살펴보지 않았던 행안부가 국정자원 관리까지 소홀히 했다는 점에서 전자정부 관리 주무부처로서 자격 미달이라고 평가했다. 현행 정부의 부처별로 천차만별인 공공데이터 관리 체계도 전문가가 많은 부처로 일원화시킬 필요가 있다고 봤다. 또 영국의 과학기술혁신부 사례처럼 현재의 과학기술정보통신부와 행안부가 전자정부와 관련해 각각 맡은 역할을 과기정통부로 단일화하는 방안을 고민해 볼 필요가 있다는 주장도 나오고 있다. 처음 전자정부 시스템을 구축할 때는 과기정통부가 맡았지만, 어느샌가 행안부로 관리가 이관됐다는 점도 이해 할 수 없다는 것이 중론이다. 이 같은 분위기 속에 정부도 이제 영국의 GDS(정부디지털서비스)처럼 일반 공무원 대신 젊고 유능한 개발자들로 구성된 새로운 정부 조직을 국무총리실 산하에 두고 운영할 필요가 있다. '전자정부지원청' 같은 전문 부처를 만들어 중앙 및 지방 정부 전체의 서버와 네트워크 설비를 포함해 전산자원 일체를 관리하도록 하는 것도 고민해 봐야 한다. 이를 통해 각 부처가 업무에 필요한 전산자원들에 대한 관리 부담에서 벗어나 각기 자기 부서의 고유 업무에 집중할 수 있도록 환경을 조성해야 한다. 고시 공부만 했던 공무원이 아닌 진짜 기술 전문가를 통해 제때 공공 시스템을 개선해야 한다. 행안부는 이제 디지털정부혁신실의 역할을 과기정통부로 떼어 내 본연의 역할인 정부 정책 조율 및 지원에만 힘을 쏟길 바란다. 디지털정부, 인공지능(AI) 정부를 표방하며 정권이 바뀔 때마다 대통령이 밀고 있는 정책에 전문성도 없이 숟가락만 얹으려는 행태는 이제 멈춰야 한다. 더구나 'AI 3대 강국'을 표방하고 있는 이재명 정부가 최근 부총리급으로 승격된 과기정통부를 중심으로 AI 정책을 일원화 하려는 움직임에도 적극 협조해야 한다. 정부의 주요 보직을 두고 알력 싸움에만 치중하며 각 부처에 으름장만 놓던 행안부가 이번 화재 사태를 계기로 변화하길 간곡히 바란다. 잘할 수 있는 것에만 집중하기에도 행안부가 맡은 업무는 지방자치, 국민 안전 등 여전히 많다. AI 시대에 맞는 행안부의 역할은 전자정부의 시스템을 잘 알고 AI에 대한 이해도가 높은 부처들의 조력자 정도다. 이젠 빛 바랜 '주연'이 아닌 빛 나는 '조연'으로 AI 시대에 맞는 역할을 찾아 나가길 바란다.

2025.10.05 08:26장유미 기자

韓-中 AI 동맹 결성…'신뢰성' 기술 표준 손잡는다

민간 주도 국제 인공지능(AI) 연대 '트레인(TRAIN)'이 중국과 손잡고 AI 신뢰성 기술 표준화와 산업 생태계 확장에 착수한다. 씽크포비엘은 다음달 1일 서울 코엑스 콘퍼런스홀에서 '트레인 심포지엄'을 개최한다고 24일 밝혔다. 이번 행사는 한국과 중국의 AI 전문가들이 참여하는 한-중 워크숍 형태로 열린다. 중국 측에서는 구샤오둥 상해교통대 교수, 리리 베이징항공항천대 교수 등 학계 전문가와 장얀 차이나유니콤 총괄이사 등 산업계 인사가 발표를 맡는다. 또 야오 바오징 상해소프트웨어산업협회 비서장 등도 한국을 찾는다. 국내에서는 에릭 데이비스 SK텔레콤 본부장을 비롯해 김경훈 카카오 AI 세이프티 리더, 이상은 LG AI연구원 정책책임, 노영빈 NC AI 거버넌스인사이트 팀장, 조일경 KTL 주임연구원이 연사로 나선다. 이번 심포지엄은 중국의 AI 신뢰성 관련 정책과 표준화 동향을 파악하고 한국과의 협력 가능성을 모색하기 위해 마련됐다. 양국 기업의 데이터 거버넌스, 편향 진단, 모델 견고성 평가 등 운영 사례가 심도 있게 다뤄질 예정이다. 행사는 트레인이 주최하는 세 번째 심포지엄이다. 지난해 2월 판교에서 창립총회를 겸한 첫 행사가 열렸고 같은 해 10월 태국 방콕에서 한-태 워크숍이 개최된 바 있다. 트레인은 이번 교류가 국내 AI 신뢰성 전문인력 육성 체계를 갖추는 데 중요한 참고가 될 것으로 기대한다. 특히 중국의 교육 역량과 전략을 공유하고 향후 양국이 관련 국제표준을 공동으로 추진하는 등 긴밀한 협력 관계를 구축할 계획이다. 심포지엄 관계자는 "이번 행사는 같은 날 열리는 트라이톤과 연계돼 정부와 산업계 관심이 집중될 것"이라며 "양국 실무자가 한자리에 모여 규제, 표준, 교육, 산업 현장을 하나의 흐름으로 연결하는 장이 되길 바란다"고 말했다.

2025.09.24 11:51조이환 기자

오픈AI·구글 정조준한 캘리포니아…'AI 안전법' 칼날에 빅테크 긴장

미국 빅테크의 심장부 캘리포니아가 거대 인공지능(AI) 기업의 독주를 막기 위한 강력한 규제 법안을 꺼내 들었다. 22일 테크크런치에 따르면 캘리포니아 주 상원은 최근 스콧 위너 상원의원이 발의한 AI 안전 법안 'SB 53'을 최종 승인했다. 이 법안은 개빈 뉴섬 주지사의 서명만 남겨두고 있다. 다만 뉴섬 주지사는 지난해 유사 법안인 'SB 1047'에 거부권을 행사했다. 이번 법안의 핵심은 규제 대상을 명확히 한 점이다. 연간 5억 달러(한화 약 6천900억원) 이상 수익을 내는 거대 AI 개발사만 법 적용을 받는다. 이는 지난해 법안이 스타트업 생태계를 해칠 수 있다는 비판을 수용한 결과다. 특히 AI 업계 내부에서도 지지 목소리가 나와 주목된다. 오픈AI의 강력한 경쟁사로 꼽히는 앤트로픽이 해당 법안에 공식적인 지지 의사를 밝혔다. SB 53은 AI 기업에 세 가지 핵심 의무를 부과한다. ▲안전성 보고서 제출 ▲정부 기관에 중대 사고 보고 ▲내부 고발 직원 보호 등이다. 비밀유지협약(NDA)에 서명한 직원이라도 우려 사항을 정부에 알릴 수 있는 통로를 열어준 셈이다. 캘리포니아의 독자적 행보는 연방 정부의 규제 완화 기조와 정면으로 배치된다. 현재 연방 정부는 주 정부 차원의 개별 AI 규제를 금지하는 법안까지 추진하고 있다. 이 때문에 향후 연방 정부와 주 정부 간 갈등의 새로운 뇌관이 될 수 있다는 전망이 나온다. 테크크런치는 "이 법안은 지난 수십 년간 우리가 갖지 못했던 기술 기업의 힘에 대한 의미 있는 견제 장치가 될 수 있다"며 "AI 기업이 세계에서 가장 강력한 회사가 되는 시대에 몇 안 되는 견제 수단이 될 것"이라고 평가했다.

2025.09.22 11:09조이환 기자

정부, 공공데이터에 'AI 레디' 칼 댄다…산업 경쟁력 '강화'

정부가 공공데이터의 패러다임을 '인공지능(AI) 중심'으로 전환하고 이를 통해 국내 산업 생태계의 경쟁력을 제고한다. 행정안전부는 AI가 별도 가공 과정 없이 즉시 학습하고 분석할 수 있는 'AI 레디(AI-Ready)' 개념을 공공데이터에 국내 최초로 도입하고 연내 범정부 공통 지침을 마련한다고 18일 밝혔다. 이번 조치는 국내 공공데이터가 양적 성과에도 불구하고 AI 시대에 맞는 질적 수준에는 미치지 못한다는 업계의 지적에 따른 것이다. 국내 공공데이터는 경제협력개발기구(OECD) 평가에서 4회 연속 세계 1위를 달성했지만 데이터마다 주소나 행정코드 표기 방식이 달라 연계가 어렵고 AI가 직접 읽기 힘든 포맷으로 제공돼 활용도가 떨어진다는 비판을 받아왔다. 일례로 재난 발생 시 대피 경로를 안내하는 앱을 개발하는 한 스타트업의 경우 기상 데이터, 재난문자, 교통정보 등 각기 다른 데이터를 융합해야 하지만 표준화가 돼 있지 않아 데이터 정제에만 막대한 비용과 시간을 쏟아야 했다. 이에 정부가 내놓은 'AI 레디 공공데이터'는 명확한 기준을 따른다. ▲AI가 직접 읽고 이해하는 표준 데이터 포맷 제공 ▲갱신 주기, 결측률 등 풍부한 메타데이터 제공 ▲주소·행정코드 등 핵심 식별값 표준화 ▲시계열성·완결성 등 데이터 품질 기준 만족 등이 핵심이다. 행정안전부는 이를 위해 전문가 중심의 실무단을 꾸려 연내 세부 관리 지침을 확정해 배포할 계획이다. 윤호중 행정안전부 장관은 "데이터는 AI 경쟁력의 원천"이라며 "AI가 활용하기 좋은 고품질 공공데이터를 풍부하게 개방해서 혁신적 서비스 창출과 산업 경쟁력 제고를 위해 힘쓰겠다"고 밝혔다.

2025.09.18 17:21조이환 기자

한국 디지털 AI 정부 역량, 필리핀 행정혁신 지원 나선다

한국의 디지털 정부와 인공지능(AI) 기반 행정혁신 경험이 필리핀 공무원들에게 전수된다. 행정안전부와 한국국제협력단(KOICA)이 함께 추진하는 이번 연수는 필리핀의 국가 개발계획을 지원하는 맞춤형 프로그램으로 기획됐다. 행정안전부 지방자치인재개발원은 필리핀 고위공무원 12명을 대상으로 '필리핀 디지털 전환과 공공행정혁신 역량강화과정'을 온라인으로 운영한다고 15일 밝혔다. 15일부터 23일까지 진행되는 이번 과정은 필리핀 정부의 요청에 따라 공적개발원조(ODA) 사업의 하나로 마련됐으며, 2025년부터 2027년까지 3년간 이어진다. 올해 1차 연수에서는 디지털·AI 전환 전략 수립, 한국 디지털 정부 정책 이해, 정보통신기술(ICT) 기반 행정혁신, 필리핀 맞춤 실행계획(Action Plan) 수립 등이 집중적으로 다뤄진다. 참가자들은 데이터 기반 정책 설계, 법·제도 마련, 사이버 보안 등 디지털 전환 과정에서 필요한 핵심 요소들을 학습하고, 한국의 디지털 정부 사례를 접목해 자국의 행정서비스 개선 방안을 모색하게 된다. 특히 이번 연수는 필리핀 정부가 직접 실행 가능한 디지털 전환 계획을 마련하도록 지원하는 데 초점을 두고 있다. 이를 통해 단기적인 교육 성과를 넘어 2·3차 연수와 연계해 지속성과 현업 적용성을 강화한다는 방침이다. 안준호 지방자치인재개발원장은 "이번 연수가 필리핀 공무원들의 디지털 전환과 AI 행정혁신 역량을 높여 신뢰할 수 있는 공공서비스 제공에 기여하길 기대한다"며 "필리핀의 지속 가능한 발전을 적극 뒷받침하겠다"고 말했다.

2025.09.15 10:17남혁우 기자

美 캘리포니아, 세계 첫 'AI 챗봇 규제법' 초읽기…"부적절 대화 금지"

미국 캘리포니아주가 미성년자 보호를 명분으로 인공지능(AI) 동반자 챗봇에 대한 법적 규제 칼날을 빼 들었다. 12일 테크크런치에 따르면 캘리포니아 주의회는 AI 동반자 챗봇 규제 법안인 'SB 243'을 상원과 하원에서 초당적 지지로 통과시켰다. 해당 법안은 개빈 뉴섬 주지사의 서명만 남겨두고 있으며 기한은 오는 다음달 12일까지다. 법안의 핵심은 AI 챗봇이 자살이나 자해, 성적으로 노골적인 대화에 관여하는 것을 막는 데 있다. 또 미성년자에게는 3시간마다 AI와 대화 중임을 알리고 휴식을 권고해야 한다. 법안이 서명되면 내년 1월 1일부터 효력이 발생한다. 법안은 기업에 강력한 법적 책임도 부과한다. 위반 시 피해자는 건당 최대 1천 달러(한화 약 130만원)의 손해배상 소송을 제기할 수 있다. 오픈AI, 캐릭터닷AI, 레플리카 등 주요 기업은 오는 2027년 7월부터 연례 투명성 보고서를 제출해야 한다. 이번 입법은 한 10대 청소년이 오픈AI의 '챗GPT'와 논의한 뒤 사망한 사건이 결정적 계기가 됐다. 메타의 챗봇이 아동과 부적절한 대화를 나눈 정황이 담긴 내부 문건이 유출된 것도 규제 여론에 불을 지폈다. 상하원을 통과한 SB 243은 초안에 비해선 굉장히 완화가 됐다. 당초 이 법엔에는 AI 챗봇 운영업체들이 '변동 보상'을 비롯해 이용자들의 몰입을 유도하는 기능을 사용하지 못하도록 했다. 실제로 레플리카나 캐릭터 같은 AI 동반자 기업들은 '변동 보상' 기법을 통해 이용자들을 유인해 왔다. 또 AI 챗봇이 이용자들과 얼마나 자주 자살을 비롯한 부적절한 대화를 하는 지 추적하고 보고하도록 한 조항도 삭제했다. 이 과정에서 실리콘밸리 빅테크들은 규제 완화를 위해 엄청난 로비 공세를 퍼부었다. 특히 오픈AI, 구글, 메타 등은 포괄적 투명성 의무를 담은 또 다른 법안(SB 53)에 대해서는 공개적으로 반대 입장을 밝혔다. 미국 전역에서도 AI 챗봇의 아동 보호 문제에 대한 압박이 거세지는 모양새다. 연방거래위원회(FTC)는 아동 정신건강 영향 조사를 준비 중이며 텍사스 법무부는 메타와 캐릭터닷AI를 정조준했다. 연방 상원에서도 별도 조사가 진행되고 있다. 법안을 주도한 파디야 상원의원은 "혁신과 규제가 양립할 수 없다는 전제를 거부한다"며 "우리는 기술의 이점을 살리면서 동시에 가장 취약한 사람들을 위한 합리적 안전장치를 마련할 수 있다"고 밝혔다.

2025.09.12 10:58조이환 기자

행안부, 역대급 AI 예산 증액…SW업계 "정부 AI의지 엿보여"

행정안전부가 2026년도 예산안에서 역대 최대 규모의 증액을 단행하며, 인공지능(AI) 기술을 행정 전반에 본격 도입하겠다는 강한 의지를 드러냈다. 관련 업계는 정부의 이 같은 기조에 긍정적으로 반응하며, 공공 소프트웨어(SW) 시장의 본격적인 성장을 기대하고 있다. 다만 지속 가능하고 실질적인 성장을 위해서는 기존 산업의 발목을 잡아온 각종 규제와 제도적 장벽을 해소하고, 구체적인 사업 적용 범위와 실행 방안을 조속히 마련해야 한다는 지적도 나온다. 이에 따라 지디넷코리아는 2일 행정안전부의 2026년 AI 예산안에 대해 주요 IT서비스 기업들과 업계 협회 관계자들의 의견을 들어봤다. 역대급 예산 증액, 시장 확장의 신호탄 기대 의견을 종합한 결과, IT서비스 및 공공 소프트웨어(SW) 분야에서 활동하는 주요 기업들은 이번 행정안전부 예산안이 정부의 분명한 디지털 전환 의지를 보여주는 신호라며 공공 SW 시장의 성장에 대한 기대감을 나타냈다. 특히 예산 증가가 단순한 수치상의 확대를 넘어 공공 영역에서 인공지능 기술이 실질적으로 적용되는 전환점이 될 수 있다는 데에 의미를 부여했다. 업계는 먼저 AI 예산 규모 자체의 대폭적인 증가를 주목했다. 2026년도 정보화 예산 중 AI 관련 예산은 총 8천649억원이며, '지능형 업무관리 플랫폼' 예산은 전년 42억원에서 187억원으로 4배 이상 늘어났다. 한 대형 IT서비스 기업 관계자는 "이번 예산 증액은 행안부가 AI 기술을 행정에 본격 도입하겠다는 메시지를 분명하게 던진 것"이라며 "예산 규모만으로도 시장 기회가 커지고 있다는 신호로 받아들일 수 있을 것"이라고 설명했다. 이번 예산안에는 중앙부처와 지자체가 AI를 중복 개발하지 않고 공통기반 위에서 쉽게 도입할 수 있도록 하는 '범정부 AI 공통기반' 구축 사업이 포함됐다. 이에 따라 각 기관이 개별적으로 인프라를 마련하지 않아도 되며, 표준화된 수요가 반복적으로 발생할 수 있다는 점에서 업계는 중장기적인 레퍼런스 확보와 규모의 경제 실현이 가능하다고 보고 있다. 한 삼성SDS 관계자는 "정부의 구조적 수요가 가시화되면, 플랫폼 기업 입장에서는 간접 기회를 얻는 데 유리해질 수 있다"고 말했다. 더불어 내년부터는 외부망뿐 아니라 정부 내부 행정망에서도 AI 서비스가 가능하도록 보안 인프라가 개방된다. 이 조치는 기존 보안 제약으로 인해 AI 기술이 제한적으로만 도입되던 상황을 변화시킬 수 있는 요소다. 업계는 이를 통해 공공기관 내 AI 도입 접근성이 실질적으로 확대될 수 있을 것으로 보고 있으며, 보안 인증이나 규제 이슈로 제약을 받던 기존 사업 환경도 점진적으로 개선될 것으로 기대했다. 일부 기업들은 기존 공공사업 참여 경험을 통해 후속 사업 기회 확보에 대한 기대감도 내비쳤다. LG CNS는 과거 행안부 AI 플랫폼 사전 사업에 참여한 경험이 있어, 본 사업에서의 레퍼런스 연계 및 참여 가능성에 주목하고 있다. 해당 기업 관계자는 "사전 사업에서의 기술 검증 경험이 향후 본 사업 진입의 교두보가 될 수 있다"고 말했다. 정부는 이번 예산안에서 AI 학습용 공공데이터 가공·제공 사업 예산을 305억원으로 증액했다. 이 예산은 민간 AI 서비스 개발 기업들이 데이터에 대한 접근성을 확보하고, 고도화된 서비스를 만들 수 있도록 돕는 지원 성격이 강하다. 한 데이터 플랫폼 기업 관계자는 "공공이 보유한 데이터를 활용한 상용 서비스 기획이 가능해진다"며 "AI 시장 초기에 진입하려는 스타트업이나 중견기업에게는 실질적인 도움이 될 수 있다"고 평가했다. 규제 완화·실행계획 구체화 없인 실효성 제한 여전 하지만 업계는 이번 예산이 실제 사업 기회로 이어지기 위해서는 몇 가지 조건이 충족돼야 한다는 점도 강조했다. 한 SI기업 관계자는 "예산이 늘었다고 해서 곧바로 사업이 확대된다고 보긴 어렵다"며 "공공 SW 사업에서 대기업 참여 제한이 여전히 존재하고, 일부 민간 투자형 AI 사업은 투자 회수 구조가 불분명해 현실적인 고민이 많다"고 밝혔다. 이어 "정부가 어떤 분야에 어떻게 AI를 도입하겠다는 구체적인 로드맵과 실행 전략을 먼저 제시해야 기업도 기술과 인력을 배치할 수 있다"고 덧붙였다. 전반적으로 기업들은 이번 예산안을 긍정적으로 평가하면서도, 실제 산업 성장을 위해서는 기존 제도적 장벽 해소, 적용 범위 명확화, 민간 참여 활성화를 위한 정책적 유연성 확보가 뒤따라야 한다는 점을 강조했다. 한 협회 관계자는 "예산만으로는 부족하고, 지속 가능한 생태계를 만들 수 있도록 제도를 정비하고 규제를 합리화해야 한다"며 "정부의 투자 의지를 실제 성과로 연결하려면 민간의 참여 동력을 끌어낼 수 있는 환경 조성이 필요하다"고 말했다. 다수의 기업들은 이번 예산안이 공공 소프트웨어 시장 확대에 분명한 신호탄이 될 수 있다고 보면서도, 실질적인 사업화와 생태계 확산을 위해서는 구체적인 실행 전략과 제도 개선이 시급하다는 점을 강조했다. 특히 AI 기술은 행정 각 분야에서 다양하게 활용될 수 있지만, 정부가 어떤 분야에 어떤 기술을 어떻게 적용할 것인지에 대한 명확한 로드맵이 부족하다는 지적이 많았다. 한 IT서비스 기업 관계자는 "행안부가 AI를 도입하겠다는 의지는 알겠지만 예산 항목만으로는 어떤 기술을 어느 분야에 적용할지 예측하기 어렵다"며 "기업이 인력과 역량을 투입하기 위해서는 좀 더 명확한 계획이 필요하다"고 말했다. 기업 규모 따라 대기업 참여 시선 엇갈려 한편 공공 소프트웨어 사업 내 대기업의 참여를 둘러싼 시각은 기업의 규모에 따라 뚜렷하게 엇갈리는 분위기다. 대기업 측은 현행 제도상 공공 SW 사업 참여에 제한을 받는 구조 자체가 불확실성을 키우고 있다고 지적한다. 참여 가능 여부가 명확하지 않거나, 제한 해제 대상 사업이 구체적으로 정리되지 않을 경우 전략 수립과 투자 판단 모두에 제약이 생긴다는 입장이다. 대형 IT기업 전략기획팀 관계자는 "공공 SW 사업에서 대기업은 법적으로 제한을 받는다"며 "어느 사업이 참여 가능한지 명확하지 않으면 내부 검토와 준비도 어렵고, 적극적인 대응이 사실상 불가능하다"고 말했다. 반면 중견·중소기업들은 AI 관련 사업은 대기업 참여 제한이 거의 적용되지 않아, 오히려 대기업의 무분별한 참여가 생태계 전반을 위협하고 있다고 주장한다. 이들은 대기업들이 낮은 가격을 앞세워 시장에 진입하고 있어, 성장 기회를 넘어서 생존 기반마저 흔들리고 있다는 점을 문제로 지적한다. 한 중소 IT서비스 업체 대표는 "AI 시장 초기에 대기업이 가격을 낮춰 들어오면, 중소기업은 경쟁 자체가 안 된다"며 "최소한 초기 생태계 형성기에는 기회를 나눌 수 있는 구조가 필요하다"고 말했다. 이에 따라 업계 일각에서는 대기업의 역할을 아예 배제하기보다, 생태계 조성 및 공동 프로젝트 중심의 협력 모델을 유도할 수 있는 제도적 유연성이 필요하다는 제언도 나온다. 대기업의 기술력과 중소기업의 현장성을 결합해 시너지를 낼 수 있는 구조가 마련돼야 공공 AI 사업의 지속 가능성도 확보할 수 있다는 시각이다. 규제보다 AI 생태계 형성 우선돼야 업계는 AI 산업이 아직 초기 단계에 머물러 있는 만큼, 정부가 규제를 먼저 만들고 시장을 나중에 따라오게 하는 '선(先) 규제, 후(後) 시장' 구조가 반복돼서는 안 된다는 점을 강조하고 있다. 이미 클라우드 산업 초창기, CSAP(클라우드 보안 인증)나 SaaS 인증 제도가 시장 형성 이전에 도입되면서 중소기업과 스타트업의 진입 장벽으로 작용했던 경험이 있기 때문이다. 이 같은 전례에 따라 업계는 AI 분야에서도 동일한 상황이 재현될 수 있다는 점을 경계하고 있다. 기업들은 특히, 기술 개발 속도가 빠르고 다양한 모델이 혼재하는 AI 분야에서는 고정된 기준이나 인증 체계를 무리하게 선제 적용할 경우 오히려 시장 성장을 저해할 수 있다고 우려한다. 규제 도입이 기술 혁신의 동력을 막고, 작은 기업들의 진입 가능성까지 제한할 수 있다는 점에서, 생태계 형성이 먼저 이뤄지고 이후에 규제나 기준을 정비하는 방식이 바람직하다는 입장이다. 한 중견 소프트웨어 기업 대표는 "AI 보안 인증이 새로 생긴다고 하지만, 생태계가 제대로 갖춰지기도 전에 인증부터 요구하면 또다시 시장 진입이 막힐 수 있다"며 "기술 확산을 억제하는 규제는 오히려 산업 성장을 늦추는 결과를 가져올 수 있다"고 우려를 나타냈다. 업계는 단기적인 통제보다, 1~2년 동안은 다양한 기업들이 자유롭게 기술을 실험하고 상용화를 시도할 수 있도록 유연한 환경을 제공한 뒤, 실제 발생하는 위험 요소에 따라 점진적이고 구체적인 규제 체계를 도입하는 것이 바람직하다는 제언을 내놓고 있다.

2025.09.02 17:11남혁우 기자

메타, AI 챗봇에 칼 댔다…'십대 유해성' 논란에 자살·자해 대화 원천 차단

메타가 십대 사용자를 대상으로 한 AI 챗봇의 민감 주제 대화를 차단하고 전문가 지원으로 연결하는 등 안전장치를 대폭 강화한다. 내부 문건 유출로 불거진 '선정적 대화' 가능성과 청소년 유해성 논란이 확산하자 서둘러 내놓은 대응책으로 풀이된다. 2일 BBC에 따르면 메타는 최근 AI 시스템을 대폭 업데이트한다는 계획을 밝혔다. 이는 한 미국 상원의원이 메타의 AI가 십대와 부적절한 대화를 나눌 수 있다는 유출 문건을 근거로 조사에 착수한 지 2주 만이다. 새로운 보호 조치는 AI 챗봇이 십대 사용자와 ▲자살 ▲자해 ▲섭식 장애 등 민감한 주제로 대화하는 것을 금지하는 게 핵심이다. 대신 관련 대화 시도가 감지되면 곧바로 전문가의 도움을 받을 수 있는 외부 자원으로 연결하도록 설계된다. 메타는 또 추가 예방 조치로 십대들이 상호작용할 수 있는 챗봇의 종류를 일시적으로 제한할 방침이다. 이번 논란은 메타 내부 문서 일부가 유출되며 시작됐다. 해당 문서에는 메타의 AI 제품이 십대들과 '선정적' 대화를 나눌 수 있다는 내용이 담겨 파장을 일으켰다. 이에 대해 메타 측은 해당 메모가 오류이며 아동을 성적 대상화하는 콘텐츠를 금지하는 회사 정책과도 맞지 않는다고 해명했다. AI 챗봇의 유해성 문제는 비단 메타에만 국한되지 않는다. 최근 캘리포니아에서는 한 부부가 '챗GPT'가 아들에게 스스로 목숨을 끊도록 부추겼다며 오픈AI를 상대로 소송을 제기하기도 했다. 메타의 AI 기술은 다른 측면에서도 문제를 드러냈다. 로이터 통신은 메타의 AI 도구가 테일러 스위프트나 스칼렛 요한슨 같은 유명인사를 사칭해 사용자에게 추파를 던지거나 성적인 접근을 하는 '패러디 챗봇' 제작에 악용됐다고 보도했다. 이들 챗봇은 테스트 과정에서 자신이 실제 인물이라고 주장하며 부적절한 대화를 이어갔다. 문제는 여기서 그치지 않았다. 해당 AI 도구는 아역 배우를 사칭하는 챗봇을 만드는 데도 쓰였으며 심지어 한 어린 남자 스타의 실사형 상의 탈의 이미지를 생성하는 사례까지 발견됐다. 논란이 커지자 메타는 문제의 챗봇 중 일부를 삭제 조치했다. 물론 메타는 이전부터 십대 보호 장치를 운용해왔다고 강조하고 있다. 페이스북과 인스타그램 등에서 13~18세 사용자를 '십대 계정'으로 별도 관리하며 유해 콘텐츠 노출을 최소화하고 있다. 또 부모가 자녀의 AI 챗봇 대화 상대를 7일간 확인할 수 있는 기능도 도입할 예정이었다. 그럼에도 이런 사후 대응이 미흡하다는 비판이 거세다. 앤디 버로우즈 몰리 로즈 재단 대표는 "(메타가) 잠재적으로 청소년을 위험에 빠뜨릴 수 있는 챗봇을 출시했다는 사실이 경악스럽다"며 "강력한 안전성 테스트는 제품 출시 전에 이뤄져야지 피해가 발생한 뒤에 소급 적용돼선 안 된다"고 지적했다.

2025.09.02 09:53조이환 기자

AI 마스터 컨소시엄-KMAC 맞손…'한국형 AI 신뢰성' 국가 표준 만든다

인공지능(AI) 마스터 컨소시엄이 한국능률협회컨설팅과 손잡고 AI 신뢰성 인증 모델 확산에 나선다. 컨소시엄의 기술 역량과 한국능률협회컨설팅의 산업 전문성을 결합해 산업 전반에 통용될 신뢰성 표준을 구축하겠다는 구상이다. 한국인공지능산업협회는 컨소시엄과 한국능력협회컨설팅이 전략적 파트너십을 체결하고 본격적인 협력에 돌입했다고 1일 밝혔다. AI 마스터 컨소시엄은 한국인공지능산업협회를 중심으로 슈어소프트테크 셀렉트스타가 참여하고 있다. 이번 협력은 크게 세 가지 핵심 과제를 중심으로 추진된다. ▲산업별 맞춤형 AI 인증 모델 공동 개발 ▲AI 거버넌스 검증 체계 도입 ▲한국형 AI 신뢰성 지수(KATPI) 구축이다. 양측은 우선 대학 공공기관 민간기업을 겨냥해 산업 특화형 AI-마스터 인증 모델을 개발해 보급할 계획이다. 또 기업과 조직의 AI 운영체계를 종합적으로 평가하는 거버넌스 검증 체계를 도입해 윤리성과 신뢰성을 확보한다. 가칭 'KATPI' 지수 도입도 눈에 띄는 대목이다. AI 기업과 관련 제품의 신뢰성을 객관적 수치로 측정하고 이를 AI-마스터 인증 제도와 연계해 활용도를 높일 방침이다. 컨소시엄은 이번 협약을 발판 삼아 국내 AI 신뢰성 제도를 안착시키는 데 주력한다. 동시에 글로벌 협력망을 넓히고 지속 가능한 산학연관 AI 생태계를 조성하는 데도 속도를 낼 예정이다. 양승현 한국인공지능산업협회 회장은 "AI-마스터 인증제도의 확산이 KMAC의 전문성과 결합해 산업 전반에 신뢰성과 책임성을 갖춘 AI 활용 기반을 만들어갈 것"이라고 밝혔다. 한수희 한국능률협회컨설팅 사장은 "컨설팅 전문성과 AI-마스터 컨소시엄의 인증 기술 역량이 만나 한국형 AI 신뢰성 모델을 선도적으로 정립할 것"이라며 "대학 공공 기업 대상의 AI 진단 및 컨설팅 사업을 강화해 산업 혁신과 글로벌 경쟁력 확보에 기여하겠다"고 말했다.

2025.09.01 17:54조이환 기자

말로만 끝내지 않는 中…AI 안전 논문 폭증에 연구그룹 '3배' 늘었다

중국이 인공지능(AI) 기술의 위험을 통제하기 위해 국가 차원의 거버넌스 체계를 구축하고 이를 국제 무대의 표준으로 삼으려는 움직임을 본격화하고 있다. AI 경쟁 속에서 발생할 수 있는 잠재적 위협을 관리하며 글로벌 질서를 주도하려는 전략이다. 16일 중국의 AI 안전 연구기관인 콩코르디아 AI가 발간한 '중국의 AI 안전 현황 2025' 보고서에 따르면 중국 공산당 지도부는 AI 안전을 국가 핵심 의제로 격상시켰다. 이 보고서는 2024년 5월부터 2025년 6월까지 중국의 AI 안전 정책, 기술 연구, 산업계 동향을 종합적으로 분석했다. 공산당은 지난해 제3차 전체회의에서 AI 안전 감독 시스템 구축을 국가 안보 우선순위로 명시했고 지난 4월에는 당 정치국이 AI를 주제로 한 학습 세션을 열었다. 이 자리에서 시진핑 주석은 AI가 "전례 없는 위험과 도전"을 제기한다며 위험 모니터링, 조기 경보, 비상 대응 시스템 구축을 주문했다. 이러한 정책 방향은 포괄적인 'AI 법' 제정보다 구체적인 '표준' 시스템을 통해 구현되는 양상이다. 지난 상반기에만 지난 3년간 발표된 것과 같은 수의 국가 AI 표준이 제정될 정도로 속도를 내고 있다. 현재 표준은 주로 콘텐츠 필터링 등 단기적 위험에 초점을 맞추지만 국가사이버보안표준화기술위원회(TC260) 등이 공개한 로드맵에는 AI의 통제 불능이나 사이버 공격 악용 등 프론티어 리스크가 포함돼 주목된다. 국제 외교 무대에서도 중국의 행보는 두드러진다. 올해 다보스포럼에 참가한 중국 고위 관리는 통제 없는 AI 경쟁을 예견 가능하지만 간과되는 위험을 뜻하는 '회색 코뿔소'에 비유하며 국제 협력을 촉구했다. 또 유엔을 통해 개발도상국 AI 역량 강화 결의안을 주도하고 '중국 AI 안전 및 개발 협회(CnAISDA)'를 출범시켜 국제 AI 안전 연구소들의 파트너 역할을 자처하고 나섰다. 미국과의 관계 변화는 중국의 AI 전략을 가늠할 핵심 변수다. 양국은 핵무기 통제에 대한 인간의 개입 필요성에 합의하는 등 성과도 있었지만 지난해 5월 이후 정부 간 대화는 사실상 중단 상태다. 다만 중국은 지난 5월 영국과 새로운 AI 대화를 시작하며 협력 대상을 다변화하는 모습을 보였다. 학계의 움직임도 심상치 않다. 중국 기관들의 프론티어 AI 안전 관련 논문 발표 건수는 월평균 11편에서 26편으로 1년 새 두 배 이상 급증했다. 특히 이전에는 미미했던 ▲초인적 시스템 정렬 ▲메커니즘 기반 해석 가능성 ▲AI의 기만 행위 탐지 등 최첨단 연구 주제가 활발히 다뤄지기 시작했다. 산업계 역시 정부의 정책 기조에 발맞추고 있다. 지난해 12월 중국인공지능산업연맹(AIIA) 주도로 알리바바, 바이두, 텐센트 등 17개 주요 기업이 'AI 안전 서약'에 서명했다. 이들은 전담 안전팀 구성, 레드팀 테스트, 데이터 보안 강화 등을 약속했다. 다만 업계의 자율 규제에는 한계가 명확하다는 지적도 나온다. 보고서가 분석한 13개 주요 프론티어 AI 기업 중 기술 보고서를 발간한 곳은 9곳이었으나 이 중 구체적인 안전성 평가 결과를 공개한 기업은 단 3곳에 불과했다. 특히 화학·생물 무기(CBRN) 오용이나 통제 불능과 같은 심각한 위험에 대한 평가 결과는 전무해 기업들의 투명성 확보가 시급한 과제로 떠올랐다. 장펑 지푸 AI 최고경영자(CEO)는 지난해 서울 AI 서밋에서 "최첨단 기술에는 AI 안전을 보장해야 할 중대한 의무가 따른다"며 "안전은 가장 시급한 문제는 아닐 수 있지만 극도로 중요하며 선제적인 준비가 필요하다"고 밝혔다.

2025.08.16 15:48조이환 기자

세계 1위 CRM 세일즈포스도 찍었다…美서 다투모로 알려진 이 회사, 205억원 투자 유치

생성형 인공지능(AI) 활용의 신뢰 및 안전에 대한 전 세계적인 관심이 높아지고 있는 가운데 셀렉트스타가 대규모 투자 유치를 통해 경쟁력을 입증했다. 세계 1위 고객 관계 관리(CRM) 기업 세일즈포스까지 셀렉트스타의 AI 데이터 및 신뢰성 검증 능력을 인정해 투자에 나서면서 글로벌 시장 확대에도 더 속도를 낼 수 있게 됐다. 12일 테크크런치 등 주요 외신에 따르면 셀렉트스타는 지난 11일 세일즈포스 벤처스와 ACVC파트너스 등 해외 투자 파트너들과 KB인베스트먼트, KB증권, 신한벤처투자, 키움인베스트먼트, SBI인베스트먼트, 삼성증권, 무림캐피탈, 인포뱅크파트너스 등 국내 투자사를 통해 1천550만 달러(약 205억원) 규모의 시리즈B 투자 유치에 성공했다. 이에 따라 누적 투자유치액은 총 2천800만 달러(약 379억원)을 달성했다. 셀렉트스타는 해외에선 다투모(Datumo)라는 기업명으로 알려져 있다. 셀렉트스타라는 법인명을 해외 다른 기업이 사용하고 있어 미국 법인명을 제품명과 동일한 '다투모'로 정해 지난 3월부터 활동 중이다. 서울에선 지난 2018년 설립돼 AI 개발에 필수적인 데이터 수집·가공 솔루션을 제공하며 국내 5대 그룹 및 5대 금융그룹을 포함한 320여 고객사를 확보했다. 김세엽 셀렉트스타 대표는 국방과학연구소 AI 연구원 출신으로, 카이스트 동문 5명과 함께 공동 창업했다. 2023년부터는 라이선스가 확보된 고품질 학습용 데이터셋 판매 서비스를 론칭해 누적 판매 50억원을 돌파했다. 최근에는 한국어 데이터셋 구매를 희망하는 글로벌 기업의 문의가 이어지는 가운데 다국어 및 멀티모달 데이터셋 분야로 확장 중이다. 지난해에는 약 600만 달러의 매출을 기록했다. 이들에 투자에 참여한 기관들은 셀렉트스타의 기술력과 글로벌 성장 가능성에 주목했다. 특히 세일즈포스는 AI 데이터 분야에서 셀렉트스타가 보유한 독보적 기술력과 시장 선도 가능성을 높이 평가하며 전략적 투자를 단행했다. 셀렉트스타는 세일즈포스와의 파트너십을 발판으로 미국, 일본 등 해외 시장 진출에 속도를 낼 전망이다. 김 대표는 "국내에서 열린 행사에서 딥러닝AI 창립자 앤드류 응과 화상 대화를 진행한 것을 링크드인에 공유한 것이 세일즈포스 벤처스의 관심을 끌게 됐다"며 "자금 조달 과정은 약 8개월 가량 소요됐다"고 말했다. 셀렉트스타는 올해 초 국내 최초로 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸(Datumo eval)'을 출시하며 업계의 주목을 받았다. '다투모 이밸'은 신뢰성 검증 프로세스를 자동화해 AI 서비스 운영 중 발생할 수 있는 다양한 오류와 위험성을 사전에 식별, 대응하는 국내 최초 솔루션이다. 출시 이후 신한은행, 우리은행, NH농협은행 등에 도입됐다. 오는 8월에는 시티그룹 AI 총괄과 'AI 신뢰성 검증'을 주제로 한 글로벌 웨비나를 개최하며 글로벌 금융권의 실질적 수요 확대가 기대되고 있다. AI 데이터 및 신뢰성 검증 영역에 꾸준히 기술력을 쌓아온 셀렉트스타는 과학기술정보통신부가 주관하는 '독자 AI 파운데이션 모델 개발 사업'에 SKT 컨소시엄으로 참여, 지난 4일 최종 선발팀으로 이름을 올렸다. 셀렉트스타는 모델 안정성 검증 데이터를 비롯해 데이터 파트 전반을 총괄하며 완성도 높은 국가대표 AI 개발에 일조할 예정이다. 셀렉트스타는 시리즈B 투자 유치를 기점으로 신뢰성 검증 솔루션 기술 고도화 및 글로벌 시장 진출에 본격적으로 나설 예정이다. 이 외에도 포브스코리아 '2025 대한민국 AI 50' 선정, 국내 최초 '생성형 AI 레드팀 챌린지' 대표 파트너사로 행사 운영, MWC 2025 '글로벌 AI 레드팀 챌린지' 주최 등 다양한 국내외 프로젝트를 주도하며 글로벌 수준의 기술력을 인정받았다. 시리즈B 투자를 리드한 KB인베스트먼트 김승환 글로벌투자본부장은 "셀렉트스타는 국내 AI 데이터 분야에서 선두를 달리는 기업이지만, 꾸준한 도전과 성장으로 업계에 새로운 기준을 제시하고 있다"며 "'AI 신뢰성 검증' 초기 시장에서 이미 확실한 기술력을 확보하고 있고, 다양한 산업 도메인에서 AI 상용화가 가속화됨에 따라 의미 있는 성과를 만들어 낼 것으로 기대한다"고 설명했다. 쇼 야마나카 세일즈포스 수석심사역은 "이번 투자는 세일즈포스가 한국 시장을 겨냥한 AI 투자 및 사업 확장의 전략적 이정표가 될 것"이라며 "양사의 파트너십을 기반으로 '에이전트포스(Agentforce)'를 비롯한 글로벌 AI 에이전트 사업 전반에서 강력한 시너지를 창출할 것으로 기대한다"고 강조했다. 업계에선 이번 일을 두고 메타가 최근 데이터 라벨링 기업 스케일AI에 14억3천만 달러를 투입해 인수한 것과 비슷하다고 봤다. 또 셀렉트스타가 스케일AI와 유사하게 사전 훈련 데이터셋을 제공하고, 아리제AI처럼 AI 평가 및 모니터링 분야에서 제품을 선보이고 있다는 점을 높게 평가했다. 테크크런치는 "동종 기업과 달리 셀렉트스타(다투모)는 '다투모 이밸'이라는 풀 스택 평가 플랫폼을 제공하고 있다"며 "출판된 책에서 크롤링한 데이터셋을 통해 차별화한 것도 눈에 띈다"고 말했다. 김 대표는 "이번 시리즈B 투자 유치를 계기로 신뢰성 검증이라는 새로운 시장에서 우리의 독보적인 기술력과 성장 가능성을 인정받았다는 데 큰 의미가 있다"며 "글로벌 시장 진출의 원년으로 삼고 AI의 품질과 안전성을 책임지는 글로벌 AI 기업으로 도약하겠다"고 밝혔다.

2025.08.12 09:46장유미 기자

NIA-AI 안전연구소 '맞손'…"AI 폭주 막는다"

정부가 국내 거대언어모델(LLM)의 안전성과 신뢰성을 정량적으로 검증하기 위한 데이터셋 구축에 착수했다. 인공지능(AI) 모델의 위험 요소를 평가해 글로벌 AI 거버넌스 논의에서 주도권을 확보하려는 전략이다. 한국지능정보사회진흥원(NIA)과 과학기술정보통신부는 지난 7일 NIA 서울사무소에서 'LLM 안전성 및 신뢰성 평가 데이터셋 구축' 사업 착수보고회를 개최했다고 8일 밝혔다. 이날 보고회에는 과기정통부와 NIA를 비롯해 사업 수행기관인 AI 안전연구소 관계자들이 참석해 사업 방향을 논의했다. 이번 사업의 핵심은 총 2만 건 이상의 한국어 특화 벤치마크 데이터셋을 구축하는 것이다. 해당 데이터셋은 ▲사이버 보안 ▲AI 자율성 ▲사실 기반 정확성 ▲사회적 가치 편향 등 AI 안전성의 핵심 항목을 포괄한다. 이번 평가 기반은 과기정통부와 NIA가 추진 중인 '독자 AI 파운데이션 모델 프로젝트'를 통해 개발될 AI 모델의 성능을 검증하는 데 우선 활용될 예정이다. 이를 통해 독자 AI 모델의 완성도를 높이고 잠재적 위험을 사전에 차단한다는 방침이다. NIA는 그동안 AI 허브를 통해 1천300여 종의 대규모 AI 학습데이터를 구축하고 AI 바우처 사업으로 중소기업의 AI 도입을 지원해왔다. 이번 사업으로 기존의 성능 평가를 넘어 안전성과 신뢰성까지 아우르는 종합 평가 체계를 마련하며 국내 AI 생태계 발전을 이끈다는 평가다. 김명주 AI 안전연구소 소장은 "이번 사업은 단순 성능 비교를 넘어 AI가 우리 사회에서 신뢰받는 기준을 세우는 첫 시도"라며 "공정하고 객관적인 평가체계를 만들어 국내외 AI 신뢰성 생태계를 선도하겠다"고 말했다. 황종성 NIA 원장은 "AI 안전성 평가는 선택이 아닌 필수가 된 시대"라며 "축적한 데이터와 전문성을 총동원해 세계 최고 수준의 AI 안전성 검증 체계를 구축하고 대한민국이 글로벌 표준을 선도하도록 할 것"이라고 강조했다.

2025.08.08 14:35조이환 기자

[AI는 지금] '속도전' 넘어 '신뢰' 경쟁…AI, 보이지 않는 안전벨트 맨다

전 세계가 인공지능(AI) '속도전'에 몰두하는 사이 한국이 '안전'이라는 카드를 꺼내 들었다. AI 안전연구소가 신뢰성의 컨트롤타워로서 정책을 이끌고 네이버·LG 등 민간 기업들은 개발 현장에서 자체 안전망을 촘촘히 구축하는 '투트랙' 전략이다. 30일 업계에 따르면 AI 기술 경쟁이 격화하며 안전 논의가 뒷전으로 밀리고 있다는 우려가 나온다. 미중 기술 패권 경쟁이 '개발 가속'을 부추긴 탓이다. 이런 흐름에 맞춰 AI 안전 논의를 이끌던 주요국들의 행보도 달라졌다. 실제 영국은 올해 초 AI안전연구소를 AI보안연구소로 개편했다. 미국 역시 지난달 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 재편하며 정책의 무게추를 기술 표준 선점과 산업 경쟁력 강화로 옮기는 듯한 모습을 보였다. 반대로 국내에서는 안전과 신뢰가 단기적인 속도 경쟁을 넘어서는 장기적인 성공의 핵심 가치라는 인식이 상대적으로 유지되고 있다. 당장의 성능 과시보다는 신뢰할 수 있는 AI 생태계를 먼저 구축하는 쪽이 결국 시장의 최종 승자가 될 것이라는 판단이다. 韓 안전 컨트롤타워 'AI안전연구소'…'셰르파' 역할 자처 국내 AI 안전과 신뢰성 확보의 컨트롤타워는 AI안전연구소다. 지난해 11월 전자통신연구원(ETRI) 산하로 출범한 연구소는 국가 AI 정책을 지원하고, 기술 발전의 잠재적 위험을 해결하는 임무를 맡는다. 연구소 조직은 크게 세 축으로 나뉜다. ▲AI안전정책 및 대외협력실(정책) ▲AI안전평가실(평가) ▲AI안전연구실(기술)이다. 연구소는 이 세 조직의 유기적인 협력을 통해 AI 안전과 산업 경쟁력 확보라는 '두 마리 토끼'를 잡는다는 목표다. 기업과의 협력도 활발하다. 연구소는 지난 3월 'MWC 2025'에서 국내 스타트업 셀렉트스타가 주최한 '글로벌 AI 레드팀 챌린지'를 후원하며 국내 기업의 기술력을 알리는 데 힘을 보탰다. 레드티밍은 AI의 취약점을 일부러 공격해 약점을 찾는 활동으로, 안전성 확보의 핵심 과정이다. 최근에는 LG전자와 손잡고 글로벌 규제 대응에 나섰다. 지난 6월 맺은 업무협약(MOU)은 LG전자의 제품·서비스 개발에 연구소의 안전성 전문 지식을 결합하는 것이 골자다. 이는 유럽연합(EU)의 'AI 법(AI Act)'처럼 구체화되는 규제 흐름에 민관이 함께 대응한다는 점에서 의미가 있다. 이러한 활동은 '신뢰성이 곧 경쟁력'이라는 연구소의 철학을 보여준다. 김명주 AI안전연구소장은 "인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다"며 "결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이 될 것"이라고 강조했다. '신뢰' 경쟁력, 민간서 꽃핀다…개발 DNA부터 '안전' 심는 K-AI 기업은? AI 신뢰성이라는 과제는 민간의 자발적인 노력과 만나 시너지를 내고 있다. 특히 정부의 '독자 AI 파운데이션 모델' 프로젝트에 참여한 기업들은 성능 경쟁을 넘어 믿을 수 있는 AI를 확보하는데도 주력하고 있다. 그 시작은 AI의 '원유'로 취급받는 학습 데이터 단계에서부터다. 업스테이지의 '1T 클럽'이 대표적이다. 1T 클럽은 1조 개 토큰 규모의 고품질 데이터를 공동으로 수집하고 공유하는 플랫폼으로, 업스테이지는 이를 통해 확보한 데이터를 '사람 중심, 신뢰성, 공정성' 등 5대 윤리 원칙에 기반해 정제하며 AI의 첫 단추를 꿰고 있다. 모델 개발 단계에서도 정교한 '컨트롤타워'가 가동된다. 네이버가 운영 중인 'AI 안전 프레임워크(ASF)'가 주요 예시다. 실무진이 모델의 잠재적 위험을 논의하고 '리스크관리워킹그룹'이 이를 평가해 최종적으로 이사회에 보고하는 방식의 다층적 거버넌스를 갖췄다. 카카오, SK텔레콤, KT 역시 구체적인 조직과 원칙을 마련했다. 카카오는 '그룹 기술윤리 소위원회'를 신설해 리스크를 사전에 점검하고 SK텔레콤은 '사람을 향한 AI'라는 의미를 담은 'T.H.E. AI' 거버넌스 원칙을 수립했다. KT 역시 '책임감 있는 인공지능센터'를 설립해 개발 초기부터 윤리성을 관리한다. LG AI연구원은 한발 더 나아가 학습 과정에서 생기는 '편향 뉴런'을 기술로 찾아 제거하는 방법론을 개발했다. 모델의 내재적 공정성을 높이려는 시도다. AI 모델이 완성된 후에도 신뢰도를 높이기 위한 '담금질'은 계속된다. 네이버는 '레드티밍'을 통해 AI의 약점을 의도적으로 공격하고 여기서 확보된 유해한 응답 데이터를 다시 모델 학습에 이용해 방어력을 키우는 방식을 활용한다. 업계 관계자는 "안전은 당장에는 비용처럼 보여도 글로벌 AI 규제에 선제적으로 대응하는 무형 인프라"라며 "AI 신뢰성 조차도 하나의 산업으로서 보고 접근해야 기업이 성공할 수 있을 것"이라고 말했다.

2025.07.30 15:27조이환 기자

AI가 알려준 대피 경로…정부, '가상융합 재난관리' 실증 착수

과학기술정보통신부(과기정통부)와 행정안전부(행안부)가 지역 맞춤형 인공지능(AI)·가상융합 기반 재난 대응 시스템의 현장 적용 가능성을 검토하고 지자체 간 기술 확산 전략을 논의했다. 과기정통부와 행안부는 대전 유성온천역에서 시스템 실증 현장을 점검하고 충청권 4개 지자체와 함께 재난안전관리 체계 고도화 방향을 논의하는 간담회를 열었다고 22일 밝혔다. 이 사업은 'AI·메타버스 기반 재난안전관리체계 강화' 과제로, 지난 2023년부터 충북, 충남, 대전, 세종 등 4개 지자체에 맞춤형 시스템 개발을 지원해왔다. 각 지역은 산업·교통·도시·시설 등 위험 유형별 특성에 따라 과제를 수행했다. 충북은 산업단지를 중심으로 화재와 폭발 대응 체계를, 충남은 교통사고 다발지와 대규모 행사장에서의 군중 사고 방지를 주제로 시스템을 개발했다. 대전은 노후 건물과 다중이용시설의 위험 예측에 초점을 맞췄고 세종은 교량과 공원 중심의 자연재난 대응에 집중했다. 실증사업에는 센서, CCTV, 시뮬레이션 기술을 결합한 복합 감지·분석 체계가 도입됐다. 대전 유성온천역에서는 열·연기센서와 군중 밀집도 측정 장비를 통해 위험 발생 시 자동으로 데이터를 수집하고 AI 분석을 통해 대피 유도 방안을 실시간 제시하는 기술이 시연됐다. 대전시는 연말까지 역사 내 LED 유도등을 설치해 실사용 가능성을 확보할 예정이다. 기술 개발에는 민간 공급기업이 참여했고 공공 데이터는 행안부가 주도해 수집·제공했다. 지난 2023년 6월 재난안전정보 공동이용협의회를 통해 행안부, 고용부, 소방청 등에서 확보한 62개 데이터셋이 지자체에 공유됐다. 이를 기반으로 각 지역은 자율적으로 재난안전 플랫폼을 설계하고 실증 작업에 착수한 상태다. 간담회에서는 기술 상용화를 위한 지자체간 협력 구조와 예산 연계 필요성도 언급됐다. 참석자들은 실제 사고 현장에서 작동 가능한 시스템 설계가 중요하다고 강조했다. 특히 기초 지자체까지 도입이 확대되려면 국가 차원의 후속 지원과 제도적 뒷받침이 필요하다는 공감대가 형성됐다. 황규철 과기정통부 소프트웨어정책관은 "이번 사업을 통해 AI와 가상융합기술이 재난 대응의 효율성을 실질적으로 높일 수 있음을 확인했다"며 "향후 다양한 현장에서 기술이 작동할 수 있도록 확산 기반을 계속 마련해 나가겠다"고 밝혔다.

2025.07.22 15:24조이환 기자

'AI 투명성법' 다시 꺼낸 美 캘리포니아…오픈소스 살리고 빅테크 겨냥했다

미국 캘리포니아주가 대형 인공지능(AI) 기업에 안전 프로토콜 공개와 사고 보고를 의무화하는 법안을 재차 추진한다. 지난해 'SB 1047' AI 규제 법안이 거부된 이후 두 번째 시도로, 법적 책임은 제외하되 투명성 확보를 통해 신뢰 기반을 만들겠다는 계산이다. 10일 테크크런치에 따르면 스콧 위너 캘리포니아 주 상원의원은 AI 기업에 안전 대응 절차 공개와 사고 발생 시 보고 의무를 부과하는 'SB 53' 개정안을 발의했다. 이는 앞서 폐기된 'SB 1047' 법안의 수정판 성격으로, 기술 산업계와 정치권 간 충돌을 피하면서도 투명성 확보 요구를 유지한 형태다. 'SB 53'은 현재 주 의회 산하 '개인정보 및 소비자 보호 위원회'에 계류 중이다. 향후 여러 입법 절차를 거쳐 최종적으로 개빈 뉴섬 주지사의 서명을 받아야 한다. 개정안에는 ▲대형 AI 기업의 안전·보안 대응체계 공개 ▲위험 상황 발생 시 보고서 제출 ▲내부 고발자 보호 제도 도입이라는 세 가지 핵심 조항이 담겼다. 특히 AI로 인한 '중대한 위험'에 대한 기준을 구체화해 사망 또는 부상자 100명 이상 혹은 10억 달러(한화 약 1조4천억원) 이상 피해가 발생할 경우로 정의했다. 또 하나의 주요 내용은 '캘컴퓨트(CalCompute)'라는 이름의 공공 고성능 클라우드 컴퓨팅 인프라 구축 계획이다. 대형 AI 모델 개발에 필수적인 연산 자원이 빅테크에 집중된 상황에서 자본력이나 인프라가 부족한 스타트업과 학계가 기술 경쟁에서 배제되지 않도록 하기 위한 조치다. 이와 병행해 'SB 53'은 기존 오픈소스 모델을 활용하거나 대형 모델을 파인튜닝만 하는 개발자들에 대해서는 규제 부담을 최소화하도록 설계됐다. 기술 접근권은 넓히되 규제 타깃은 대형 개발사로 한정하는 구조다. 더불어 이번 법안은 전작인 'SB 1047'과 달리 AI 모델이 초래한 피해에 대해 개발사에게 직접적인 법적 책임을 묻지 않는다. 대신 AI 기업이 수행 중인 위험 대응 조치와 내부 절차를 외부에 공개하게 함으로써 간접적 책임 구조를 유도하고 있다. 이번 개정안은 캘리포니아주 AI 정책자문그룹의 권고를 반영한 결과물이다. 해당 그룹은 페이페이 리 스탠퍼드대학교 교수를 중심으로 구성됐으며 최근 발표한 최종 보고서에서 시스템 정보의 의무적 공개가 신뢰 가능한 증거 기반 정책환경을 만드는 핵심 요소라고 명시했다. 위너 의원실은 이 권고가 'SB 53' 조항에 큰 영향을 미쳤다고 밝혔다. 미국 연방 차원에서는 최근 AI 규제의 주정부 권한을 10년간 유예하는 법안이 검토됐으나 이달 초 상원에서 99대 1로 부결되며 무산됐다. 이에 따라 뉴욕주 등 다른 지역에서도 유사한 AI 규제 입법이 본격화되는 흐름이다. 업계 반응은 엇갈린다. 앤트로픽은 일정 수준의 투명성 확보 필요성을 인정하고 긍정적 입장을 보이고 있는데 비해 오픈AI, 구글, 메타 등은 여전히 조심스러운 태도를 유지하고 있다. 특히 최근 몇 달간 일부 대형 기업은 최신 모델 출시 후에도 안전 보고서를 공개하지 않아 책임 회피 논란을 자초한 바 있다. 일례로 구글은 '제미나이 2.5 프로' 모델을 발표한 이후 수개월 동안 안전 보고서를 제출하지 않았고 오픈AI 역시 'GPT-4.1'에 대한 공식 보고서를 생략했다. 이후 제3자 연구에서는 이 모델이 이전 버전보다 안전성 정렬 수준이 떨어진다는 분석도 나왔다. 지금까지 대형 AI 개발사들은 자발적으로 안전 보고서를 발간해왔지만 공개 시점과 내용 구성은 일정하지 않았다. 'SB 53'은 이 같은 임의성과 불일치를 법적 의무로 전환하는 첫 시도라는 점에서 시장의 주목을 받고 있다. 법안이 최종 통과된다면 대형 AI 개발사들은 현재보다 훨씬 더 많은 정보를 외부에 공유해야 할 것으로 예상된다. 지프 랄스턴 전 와이콤비네이터 회장은 "AI가 안전하게 개발되도록 만드는 건 선택이 아니라 전제조건"이라며 "연방 차원에서 아무런 진전이 없는 상황에서 캘리포니아가 모범적인 선례를 만들고 있다"고 평가했다.

2025.07.10 10:38조이환 기자

슈어소프트테크, 'AI 신뢰성' 책임진다…통신사 플랫폼 구축 계약 체결

국내 통신사들이 생성형 인공지능(AI) 상용화를 본격화하는 가운데 슈어소프트테크가 이들 서비스를 위한 기술 검증 체계를 구축하며 신뢰성 확보의 핵심 파트너로 부상하고 있다. 슈어소프트테크는 최근 한 국내 통신사와 AI 서비스 상용화 검증을 위한 플랫폼 구축 계약을 체결했다고 3일 밝혔다. 이번 계약은 통신사들의 AI 서비스의 품질과 안전성을 높이기 위한 일환으로 추진됐으며 슈어소프트테크는 플랫폼 기획·개발·적용 전 과정에 대한 기술적 지원을 맡는다. 이번 프로젝트는 기능 테스트 뿐만 아니라 다양한 사용 환경을 반영한 실제 데이터를 기반으로 AI 반응을 학습·평가하는 구조로 설계된다. 특히 AI가 상황별로 일관되고 정확한 판단을 내릴 수 있도록 자동 검증 로직이 포함되며 데이터 생성·편집·관리까지 가능한 통합형 도구도 함께 개발된다. 이미 SK텔레콤은 '에이닷', KT는 '믿음', LG유플러스는 '익시젠' 등 생성형 AI 기반 서비스를 시장에 출시하며 기술 고도화를 진행 중이다. 이번 플랫폼 도입은 통신사들의 서비스가 예측 불가한 실제 사용 환경에서도 안정적으로 작동하도록 보장하기 위한 목적이다. 슈어소프트테크는 앞서 지난해에도 자체 개발한 AI 검증 솔루션 '베리파이엠(VERIFAI-M)'을 출시한 바 있다. 이 제품은 국제표준에 기반해 머신러닝 기반 AI의 신뢰성과 성능을 평가할 수 있다. 최근에는 한국인정기구(KOLAS)로부터 해당 분야 공인시험기관으로 추가 인증을 획득했다. 현재 '베리파이엠'은 자동차·국방 등 고신뢰성 산업군에서 이미 도입돼 있으며 복잡한 AI 시스템의 안전성과 견고성을 평가하는 핵심 검증 툴로 자리잡고 있다. 슈어소프트테크는 이번 통신사 협업을 통해 그 적용 범위를 상용 서비스 분야까지 넓혀가겠다는 방침이다. 배현섭 슈어소프트테크 대표는 "국내 통신사와의 이번 협업은 지난 20년 동안 미션 크리티컬 분야에서 축적해 온 우리의 소프트웨어 검증 기술력이 상용 AI 서비스에도 효과적으로 적용될 수 있음을 보여준 사례"라며 "향후 다양한 산업의 AI 시스템이 신뢰받는 기술 위에서 작동할 수 있도록 검증 노하우를 계속해서 확장해 나가겠다"고 밝혔다.

2025.07.03 16:20조이환 기자

  Prev 1 2 3 4 5 6 7 8 Next  

지금 뜨는 기사

이시각 헤드라인

신세계, 중앙일보 인수전 합류…다우키움·CJ 컨소시엄 참여

"아내 잔소리가 쏙"...LGU+와 10년 '의리', 화담숲서 꽃피다

하늘 나는 테슬라 로드스터, 현실화될까…전문가 "실용성 없다"

中 지커, 韓도로 달린다…전기차 시장 경쟁 격화

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.