• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 문화
  • 인사•부음
  • 글로벌뉴스
인공지능
배터리
양자컴퓨팅
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI 안전'통합검색 결과 입니다. (106건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

[AI는 지금] '속도전' 넘어 '신뢰' 경쟁…AI, 보이지 않는 안전벨트 맨다

전 세계가 인공지능(AI) '속도전'에 몰두하는 사이 한국이 '안전'이라는 카드를 꺼내 들었다. AI 안전연구소가 신뢰성의 컨트롤타워로서 정책을 이끌고 네이버·LG 등 민간 기업들은 개발 현장에서 자체 안전망을 촘촘히 구축하는 '투트랙' 전략이다. 30일 업계에 따르면 AI 기술 경쟁이 격화하며 안전 논의가 뒷전으로 밀리고 있다는 우려가 나온다. 미중 기술 패권 경쟁이 '개발 가속'을 부추긴 탓이다. 이런 흐름에 맞춰 AI 안전 논의를 이끌던 주요국들의 행보도 달라졌다. 실제 영국은 올해 초 AI안전연구소를 AI보안연구소로 개편했다. 미국 역시 지난달 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 재편하며 정책의 무게추를 기술 표준 선점과 산업 경쟁력 강화로 옮기는 듯한 모습을 보였다. 반대로 국내에서는 안전과 신뢰가 단기적인 속도 경쟁을 넘어서는 장기적인 성공의 핵심 가치라는 인식이 상대적으로 유지되고 있다. 당장의 성능 과시보다는 신뢰할 수 있는 AI 생태계를 먼저 구축하는 쪽이 결국 시장의 최종 승자가 될 것이라는 판단이다. 韓 안전 컨트롤타워 'AI안전연구소'…'셰르파' 역할 자처 국내 AI 안전과 신뢰성 확보의 컨트롤타워는 AI안전연구소다. 지난해 11월 전자통신연구원(ETRI) 산하로 출범한 연구소는 국가 AI 정책을 지원하고, 기술 발전의 잠재적 위험을 해결하는 임무를 맡는다. 연구소 조직은 크게 세 축으로 나뉜다. ▲AI안전정책 및 대외협력실(정책) ▲AI안전평가실(평가) ▲AI안전연구실(기술)이다. 연구소는 이 세 조직의 유기적인 협력을 통해 AI 안전과 산업 경쟁력 확보라는 '두 마리 토끼'를 잡는다는 목표다. 기업과의 협력도 활발하다. 연구소는 지난 3월 'MWC 2025'에서 국내 스타트업 셀렉트스타가 주최한 '글로벌 AI 레드팀 챌린지'를 후원하며 국내 기업의 기술력을 알리는 데 힘을 보탰다. 레드티밍은 AI의 취약점을 일부러 공격해 약점을 찾는 활동으로, 안전성 확보의 핵심 과정이다. 최근에는 LG전자와 손잡고 글로벌 규제 대응에 나섰다. 지난 6월 맺은 업무협약(MOU)은 LG전자의 제품·서비스 개발에 연구소의 안전성 전문 지식을 결합하는 것이 골자다. 이는 유럽연합(EU)의 'AI 법(AI Act)'처럼 구체화되는 규제 흐름에 민관이 함께 대응한다는 점에서 의미가 있다. 이러한 활동은 '신뢰성이 곧 경쟁력'이라는 연구소의 철학을 보여준다. 김명주 AI안전연구소장은 "인공지능(AI)은 이제 자본과 기술의 경쟁을 넘어 '신뢰성'이 핵심인 시대에 접어들었다"며 "결국 어느 기업의 AI가 더 믿을 수 있느냐가 관건이 될 것"이라고 강조했다. '신뢰' 경쟁력, 민간서 꽃핀다…개발 DNA부터 '안전' 심는 K-AI 기업은? AI 신뢰성이라는 과제는 민간의 자발적인 노력과 만나 시너지를 내고 있다. 특히 정부의 '독자 AI 파운데이션 모델' 프로젝트에 참여한 기업들은 성능 경쟁을 넘어 믿을 수 있는 AI를 확보하는데도 주력하고 있다. 그 시작은 AI의 '원유'로 취급받는 학습 데이터 단계에서부터다. 업스테이지의 '1T 클럽'이 대표적이다. 1T 클럽은 1조 개 토큰 규모의 고품질 데이터를 공동으로 수집하고 공유하는 플랫폼으로, 업스테이지는 이를 통해 확보한 데이터를 '사람 중심, 신뢰성, 공정성' 등 5대 윤리 원칙에 기반해 정제하며 AI의 첫 단추를 꿰고 있다. 모델 개발 단계에서도 정교한 '컨트롤타워'가 가동된다. 네이버가 운영 중인 'AI 안전 프레임워크(ASF)'가 주요 예시다. 실무진이 모델의 잠재적 위험을 논의하고 '리스크관리워킹그룹'이 이를 평가해 최종적으로 이사회에 보고하는 방식의 다층적 거버넌스를 갖췄다. 카카오, SK텔레콤, KT 역시 구체적인 조직과 원칙을 마련했다. 카카오는 '그룹 기술윤리 소위원회'를 신설해 리스크를 사전에 점검하고 SK텔레콤은 '사람을 향한 AI'라는 의미를 담은 'T.H.E. AI' 거버넌스 원칙을 수립했다. KT 역시 '책임감 있는 인공지능센터'를 설립해 개발 초기부터 윤리성을 관리한다. LG AI연구원은 한발 더 나아가 학습 과정에서 생기는 '편향 뉴런'을 기술로 찾아 제거하는 방법론을 개발했다. 모델의 내재적 공정성을 높이려는 시도다. AI 모델이 완성된 후에도 신뢰도를 높이기 위한 '담금질'은 계속된다. 네이버는 '레드티밍'을 통해 AI의 약점을 의도적으로 공격하고 여기서 확보된 유해한 응답 데이터를 다시 모델 학습에 이용해 방어력을 키우는 방식을 활용한다. 업계 관계자는 "안전은 당장에는 비용처럼 보여도 글로벌 AI 규제에 선제적으로 대응하는 무형 인프라"라며 "AI 신뢰성 조차도 하나의 산업으로서 보고 접근해야 기업이 성공할 수 있을 것"이라고 말했다.

2025.07.30 15:27조이환

항공분야 글로벌 협력·미래정책 비전 공유…'2025 국제항공협력콘퍼런스' 개최

국토교통부는 24일과 25일 인천 파라다이스시티 컨벤션센터에서 '2025 국제항공협력콘퍼런스(CIAT 2025)'를 개최한다. 국제항공협력콘퍼런스는 2004년 국토부 주최로 처음 개최된 이후 항공 분야의 글로벌 협력과 미래 정책 비전을 공유하고자 3년마다 개최되는 대표적인 항공분야 국제행사로, 올해로 8회를 맞이한다. CIAT 2025는 이집트·말라위 등 주요국 항공 장·차관을 비롯해 나이지리아·가나 등 국제민간항공기구(ICAO) 이사국 대표, ICAO, 국제항공운송협회(IATA), 국제공항협의회(ACI) 등 주요 국제기구를 포함해 국내외 항공 산업계·학계·정부 관계자 등 680여 명이 등록해 참석할 예정이다. CIAT 2025의 공식 콘퍼런스는 항공안전, 디지털·인공지능(AI), 항공운송, 환경 및 지속가능성 등 총 4개 세션으로 구성돼 항공산업의 핵심 이슈를 중심으로 심도 있는 논의가 이뤄진다. 항공안전 세션에서는 최근 우리나라가 시행 중인 보조배터리 기내 반입 기준 사례를 바탕으로 항공안전과 이용자 편의 간 균형점을 모색하고, 국내외 제도와의 정합성과 국제표준 및 권고 조치의 법적효력 등에 대해 논의한다. 두 번째 세션인 디지털·AI는 항공산업의 디지털 전환 가속화와 함께 AI·자동화기술 활용가능성 등을 중심으로 미래 항공산업의 경쟁력 강화를 위한 전략과 민간의 대응 사례를 공유할 예정이다. 항공운송 세션은 팬데믹 이후 빠르게 성장하고 있는 글로벌 항공화물 시장 변화에 대응하기 위해 미래 항공물류 네트워크 구축, 지속가능한 항공물류 전략 등에 대한 발표와 토론이 진행된다. 마지막 환경 세션에서는 최근 국제항공사회의 주요 과제인 탄소배출 저감, 지속가능항공유(SAF) 확대, 운항효율성 제고 등에 대해 정책 사례와 업계의 대응 전략을 공유하며 협력 방향을 모색한다. 콘퍼런스 기간에는 공식 세션 외에 고위급 정책포럼, 청년 참여 오픈 디베이트, 산업시찰 및 문화투어 등 다양한 부대행사가 함께 마련돼 참가자 간 교류와 협력의 기회를 확대할 예정이다. 첫째 날인 24일에는 주요국 항공 장·차관, 항공청장, ICAO 이사국 대표, 지역민항위 등이 참석하는 고위급 정책포럼이 개최된다. '미래항공:글로벌 전략과 각국의 비전'을 주제로 한국의 도심항공교통(UAM) 정책 및 드론 관련 정책을 소개하고 각국 미래항공 전략과 정책방향에 대한 견해를 공유하며, 항공 기술 전환 흐름 속에서 미래항공이 나아가야 할 방향을 논의한다. 25일에는 대학생 등 청년층이 직접 참여하는 '오픈디베이트'가 개최된다. 'AI 기반 항공안전시스템의 기대효과와 부작용'을 주제로 현장에서 영어 발표와 토론이 팀별로 진행되며, 심사위원 평가 및 현장투표를 통해 우승팀을 선정하고 국토교통부 장관상을 수여할 예정이다. 박상우 국토부 장관은 “CIAT 2025는 항공분야 글로벌 리더가 한자리에 모여 정책비전과 산업전략을 공유하는 자리”라며 ”제42차 ICAO 총회 기간 실시되는 ICAO 이사국 선거에서 우리나라의 이사국 9연임 달성과 향후 이사국 파트 상향의 당위성 확보에도 긍정적인 역할을 할 것”이라고 밝혔다. 한편, 'CIAT 2025'에 대한 자세한 정보는 공식 누리집에서 확인할 수 있다.

2025.07.23 14:23주문정

AI가 알려준 대피 경로…정부, '가상융합 재난관리' 실증 착수

과학기술정보통신부(과기정통부)와 행정안전부(행안부)가 지역 맞춤형 인공지능(AI)·가상융합 기반 재난 대응 시스템의 현장 적용 가능성을 검토하고 지자체 간 기술 확산 전략을 논의했다. 과기정통부와 행안부는 대전 유성온천역에서 시스템 실증 현장을 점검하고 충청권 4개 지자체와 함께 재난안전관리 체계 고도화 방향을 논의하는 간담회를 열었다고 22일 밝혔다. 이 사업은 'AI·메타버스 기반 재난안전관리체계 강화' 과제로, 지난 2023년부터 충북, 충남, 대전, 세종 등 4개 지자체에 맞춤형 시스템 개발을 지원해왔다. 각 지역은 산업·교통·도시·시설 등 위험 유형별 특성에 따라 과제를 수행했다. 충북은 산업단지를 중심으로 화재와 폭발 대응 체계를, 충남은 교통사고 다발지와 대규모 행사장에서의 군중 사고 방지를 주제로 시스템을 개발했다. 대전은 노후 건물과 다중이용시설의 위험 예측에 초점을 맞췄고 세종은 교량과 공원 중심의 자연재난 대응에 집중했다. 실증사업에는 센서, CCTV, 시뮬레이션 기술을 결합한 복합 감지·분석 체계가 도입됐다. 대전 유성온천역에서는 열·연기센서와 군중 밀집도 측정 장비를 통해 위험 발생 시 자동으로 데이터를 수집하고 AI 분석을 통해 대피 유도 방안을 실시간 제시하는 기술이 시연됐다. 대전시는 연말까지 역사 내 LED 유도등을 설치해 실사용 가능성을 확보할 예정이다. 기술 개발에는 민간 공급기업이 참여했고 공공 데이터는 행안부가 주도해 수집·제공했다. 지난 2023년 6월 재난안전정보 공동이용협의회를 통해 행안부, 고용부, 소방청 등에서 확보한 62개 데이터셋이 지자체에 공유됐다. 이를 기반으로 각 지역은 자율적으로 재난안전 플랫폼을 설계하고 실증 작업에 착수한 상태다. 간담회에서는 기술 상용화를 위한 지자체간 협력 구조와 예산 연계 필요성도 언급됐다. 참석자들은 실제 사고 현장에서 작동 가능한 시스템 설계가 중요하다고 강조했다. 특히 기초 지자체까지 도입이 확대되려면 국가 차원의 후속 지원과 제도적 뒷받침이 필요하다는 공감대가 형성됐다. 황규철 과기정통부 소프트웨어정책관은 "이번 사업을 통해 AI와 가상융합기술이 재난 대응의 효율성을 실질적으로 높일 수 있음을 확인했다"며 "향후 다양한 현장에서 기술이 작동할 수 있도록 확산 기반을 계속 마련해 나가겠다"고 밝혔다.

2025.07.22 15:24조이환

강희업 국토부 차관 "교통산업 혁신으로 대한민국 진짜 성장 견인”

강희업 국토교통부 제2차관은 14일 “교통산업을 혁신해 대한민국의 진짜 성장을 견인하겠다”고 밝혔다. 강 차관은 이날 정부세종청사 대회의실에서 열린 취임식에서 “새 정부가 그리는 'AI 산업 강국'의 중심에 바로 교통이 있다”면서 이같이 말했다. 강 차관은 “자율주행차·도심항공교통(UAM) 등 미래 모빌리티 혁신을 위해 민간 기술 개발과 실증을 지원하고 드론·로봇 등 물류 인공지능(AI) 전환을 추진해 국내 교통산업이 끊임 없이 혁신을 거듭할 수 있도록 뒷받침하겠다”고 강조했다. 강 차관은 이어 “AI 등 신기술 역할이 커지며 신·구 산업 간 갈등이 심화하지 않도록 중재하고 조율해 나갈 것”이라고 덧붙였다. 강 차관은 또 균형 잡힌 교통망 확충으로 수도권과 지방 불균형을 해소해야 한다고 강조했다. 강 차관은 “대한민국 방방곡곡, 골고루 성장하도록 수도권 GTX는 계획대로 추진하는 한편, 지방의 도로·철도·공항 등 국가 교통망은 전국에 촘촘히 확대해 나가겠다”고 밝혔다. 철도 지하화 사업도 차질 없이 추진하겠다고 약속했다. 강 차관은 또 “버스·철도 등 대중교통이 닿지 않는 교통 소외지역은 점차 줄여나가고 장애인·고령자 등 교통약자를 배려하는 따뜻한 이동환경을 만들어 차별 없는 교통복지를 구현해 나가겠다”고 밝혔다. 강 차관은 “국민 생명과 안전을 최우선 가치로 삼아 국민 한 사람, 한 사람이 안전하고 평화로운 일상을 보낼 수 있도록 국가가 전력을 다하겠다”고 밝혔다. 강 차관은 “택배 기사·화물 차주 등 교통산업 종사자가 쾌적한 환경에서 땀 흘려 일한 만큼 되돌려 받을 수 있도록 안전하고 공정한 일터를 만들겠다”고 말했다. 또 “12·29 여객기 참사, 신안산선 붕괴 사고와 같은 가슴 아픈 일들이 두 번 다시 반복되지 않도록 교통안전 정책은 원점에서 재검토하겠다”고 밝혔다.

2025.07.14 18:21주문정

울산·제주·충북, 국토부 '스마트도시 데이터허브 사업' 선정

국토교통부는 '2025년 스마트도시 데이터허브 시범솔루션 발굴사업' 지자체 공모 결과, 울산광역시와 제주특별자치도·충청북도(제천시 공동수행)를 선정했다고 10일 밝혔다. '스마트도시 데이터허브'는 교통·안전 등 다양한 도시데이터를 한곳에 모아놓은 도시정보 플랫폼이다. 데이터허브에 모인 데이터를 분석해서 새로운 도시서비스를 만들고 지자체가 도시를 효율적으로 운영할 수 있도록 돕는 역할을 할 수 있다. 국토부는 지난 2022년부터 스마트도시 데이터허브 보급사업 등을 통해 광역지방자치단체와 공동으로 스마트도시 데이터허브를 구축해 왔다. 올해부터 데이터허브가 구축된 지자체(기초지자체 포함)를 대상으로 인공지능(AI) 등 최신 기술을 반영하고 여러 도시 간 공동 활용 가능한 국민 체감형 솔루션을 발굴하기 위해 처음 공모했다. 공모에 선정된 지자체에는 국비 최대 10억원(국비:지방비=1:1 매칭)을 지원한다. 울산광역시는 빈집 증가에 따른 안전성 확보 요구 등 다양한 도시문제 해결을 위해 광역 데이터허브와 연계한 에너지 데이터 기반의 'AI 예측형 빈집 관리 솔루션'을 구축한다. 가스·전기·수도 등 도시생활 데이터를 분석해 지역별 거주패턴을 파악하고 빈집 위험도를 예측하며 실태조사에 필요한 최적 경로를 제시하는 모델을 개발할 계획이다. 제주특별자치도는 관광 중심 도시의 고질적인 교통·안전 문제를 해결하기 위해 제주시·서귀포시와 협업해 '공영주차장 스마트 안전 AI 분석 솔루션'을 구축한다. 다양한 민원 데이터를 정형화하고, 생성형 AI와 이상행동 감지 기술을 활용해 공영주차장 안전 및 민원 문제를 해소하며 행정 효율성과 정책 대응력 또한 높일 계획이다. 충청북도는 지방소멸 고위험 지역의 정착 유도 정책을 마련하고 스마트 행정을 실현하기 위해 제천시와 협력해 '생활인구 기반 지방소멸 대응 솔루션'을 구축한다. 지역 내 도시·농촌 데이터를 통합 수집해 청년 귀촌 정착 지원, 소상공인 창업지원 등 정주대책 마련을 위한 분석체계를 구축하고, 챗봇 등 AI 기반 행정기능도 단계적으로 개발해 나갈 계획이다. 윤종빈 국토부 도시경제과장은 “최근 AI 등 첨단기술이 다양한 분야에 확산하는 경향을 반영해, 이번 공모에서는 스마트도시 데이터허브에 AI 기술을 접목하는 솔루션이 주로 제시됐다”면서 “이번 사업을 통해 다방면으로 수집되고 있는 도시데이터 활용이 더욱 활발해지고, 인접한 지자체 간 연계 활용도 가능한 공동 솔루션도 개발되는 기회가 되길 바란다”고 밝혔다. 한편, 이번 공모에 선정된 지자체의 사업계획 발표자료는 스마트시티 종합포털에서 14일부터 확인할 수 있다.

2025.07.10 17:52주문정

'AI 투명성법' 다시 꺼낸 美 캘리포니아…오픈소스 살리고 빅테크 겨냥했다

미국 캘리포니아주가 대형 인공지능(AI) 기업에 안전 프로토콜 공개와 사고 보고를 의무화하는 법안을 재차 추진한다. 지난해 'SB 1047' AI 규제 법안이 거부된 이후 두 번째 시도로, 법적 책임은 제외하되 투명성 확보를 통해 신뢰 기반을 만들겠다는 계산이다. 10일 테크크런치에 따르면 스콧 위너 캘리포니아 주 상원의원은 AI 기업에 안전 대응 절차 공개와 사고 발생 시 보고 의무를 부과하는 'SB 53' 개정안을 발의했다. 이는 앞서 폐기된 'SB 1047' 법안의 수정판 성격으로, 기술 산업계와 정치권 간 충돌을 피하면서도 투명성 확보 요구를 유지한 형태다. 'SB 53'은 현재 주 의회 산하 '개인정보 및 소비자 보호 위원회'에 계류 중이다. 향후 여러 입법 절차를 거쳐 최종적으로 개빈 뉴섬 주지사의 서명을 받아야 한다. 개정안에는 ▲대형 AI 기업의 안전·보안 대응체계 공개 ▲위험 상황 발생 시 보고서 제출 ▲내부 고발자 보호 제도 도입이라는 세 가지 핵심 조항이 담겼다. 특히 AI로 인한 '중대한 위험'에 대한 기준을 구체화해 사망 또는 부상자 100명 이상 혹은 10억 달러(한화 약 1조4천억원) 이상 피해가 발생할 경우로 정의했다. 또 하나의 주요 내용은 '캘컴퓨트(CalCompute)'라는 이름의 공공 고성능 클라우드 컴퓨팅 인프라 구축 계획이다. 대형 AI 모델 개발에 필수적인 연산 자원이 빅테크에 집중된 상황에서 자본력이나 인프라가 부족한 스타트업과 학계가 기술 경쟁에서 배제되지 않도록 하기 위한 조치다. 이와 병행해 'SB 53'은 기존 오픈소스 모델을 활용하거나 대형 모델을 파인튜닝만 하는 개발자들에 대해서는 규제 부담을 최소화하도록 설계됐다. 기술 접근권은 넓히되 규제 타깃은 대형 개발사로 한정하는 구조다. 더불어 이번 법안은 전작인 'SB 1047'과 달리 AI 모델이 초래한 피해에 대해 개발사에게 직접적인 법적 책임을 묻지 않는다. 대신 AI 기업이 수행 중인 위험 대응 조치와 내부 절차를 외부에 공개하게 함으로써 간접적 책임 구조를 유도하고 있다. 이번 개정안은 캘리포니아주 AI 정책자문그룹의 권고를 반영한 결과물이다. 해당 그룹은 페이페이 리 스탠퍼드대학교 교수를 중심으로 구성됐으며 최근 발표한 최종 보고서에서 시스템 정보의 의무적 공개가 신뢰 가능한 증거 기반 정책환경을 만드는 핵심 요소라고 명시했다. 위너 의원실은 이 권고가 'SB 53' 조항에 큰 영향을 미쳤다고 밝혔다. 미국 연방 차원에서는 최근 AI 규제의 주정부 권한을 10년간 유예하는 법안이 검토됐으나 이달 초 상원에서 99대 1로 부결되며 무산됐다. 이에 따라 뉴욕주 등 다른 지역에서도 유사한 AI 규제 입법이 본격화되는 흐름이다. 업계 반응은 엇갈린다. 앤트로픽은 일정 수준의 투명성 확보 필요성을 인정하고 긍정적 입장을 보이고 있는데 비해 오픈AI, 구글, 메타 등은 여전히 조심스러운 태도를 유지하고 있다. 특히 최근 몇 달간 일부 대형 기업은 최신 모델 출시 후에도 안전 보고서를 공개하지 않아 책임 회피 논란을 자초한 바 있다. 일례로 구글은 '제미나이 2.5 프로' 모델을 발표한 이후 수개월 동안 안전 보고서를 제출하지 않았고 오픈AI 역시 'GPT-4.1'에 대한 공식 보고서를 생략했다. 이후 제3자 연구에서는 이 모델이 이전 버전보다 안전성 정렬 수준이 떨어진다는 분석도 나왔다. 지금까지 대형 AI 개발사들은 자발적으로 안전 보고서를 발간해왔지만 공개 시점과 내용 구성은 일정하지 않았다. 'SB 53'은 이 같은 임의성과 불일치를 법적 의무로 전환하는 첫 시도라는 점에서 시장의 주목을 받고 있다. 법안이 최종 통과된다면 대형 AI 개발사들은 현재보다 훨씬 더 많은 정보를 외부에 공유해야 할 것으로 예상된다. 지프 랄스턴 전 와이콤비네이터 회장은 "AI가 안전하게 개발되도록 만드는 건 선택이 아니라 전제조건"이라며 "연방 차원에서 아무런 진전이 없는 상황에서 캘리포니아가 모범적인 선례를 만들고 있다"고 평가했다.

2025.07.10 10:38조이환

슈어소프트테크, 'AI 신뢰성' 책임진다…통신사 플랫폼 구축 계약 체결

국내 통신사들이 생성형 인공지능(AI) 상용화를 본격화하는 가운데 슈어소프트테크가 이들 서비스를 위한 기술 검증 체계를 구축하며 신뢰성 확보의 핵심 파트너로 부상하고 있다. 슈어소프트테크는 최근 한 국내 통신사와 AI 서비스 상용화 검증을 위한 플랫폼 구축 계약을 체결했다고 3일 밝혔다. 이번 계약은 통신사들의 AI 서비스의 품질과 안전성을 높이기 위한 일환으로 추진됐으며 슈어소프트테크는 플랫폼 기획·개발·적용 전 과정에 대한 기술적 지원을 맡는다. 이번 프로젝트는 기능 테스트 뿐만 아니라 다양한 사용 환경을 반영한 실제 데이터를 기반으로 AI 반응을 학습·평가하는 구조로 설계된다. 특히 AI가 상황별로 일관되고 정확한 판단을 내릴 수 있도록 자동 검증 로직이 포함되며 데이터 생성·편집·관리까지 가능한 통합형 도구도 함께 개발된다. 이미 SK텔레콤은 '에이닷', KT는 '믿음', LG유플러스는 '익시젠' 등 생성형 AI 기반 서비스를 시장에 출시하며 기술 고도화를 진행 중이다. 이번 플랫폼 도입은 통신사들의 서비스가 예측 불가한 실제 사용 환경에서도 안정적으로 작동하도록 보장하기 위한 목적이다. 슈어소프트테크는 앞서 지난해에도 자체 개발한 AI 검증 솔루션 '베리파이엠(VERIFAI-M)'을 출시한 바 있다. 이 제품은 국제표준에 기반해 머신러닝 기반 AI의 신뢰성과 성능을 평가할 수 있다. 최근에는 한국인정기구(KOLAS)로부터 해당 분야 공인시험기관으로 추가 인증을 획득했다. 현재 '베리파이엠'은 자동차·국방 등 고신뢰성 산업군에서 이미 도입돼 있으며 복잡한 AI 시스템의 안전성과 견고성을 평가하는 핵심 검증 툴로 자리잡고 있다. 슈어소프트테크는 이번 통신사 협업을 통해 그 적용 범위를 상용 서비스 분야까지 넓혀가겠다는 방침이다. 배현섭 슈어소프트테크 대표는 "국내 통신사와의 이번 협업은 지난 20년 동안 미션 크리티컬 분야에서 축적해 온 우리의 소프트웨어 검증 기술력이 상용 AI 서비스에도 효과적으로 적용될 수 있음을 보여준 사례"라며 "향후 다양한 산업의 AI 시스템이 신뢰받는 기술 위에서 작동할 수 있도록 검증 노하우를 계속해서 확장해 나가겠다"고 밝혔다.

2025.07.03 16:20조이환

"성능보다 신뢰"…AI 안전성 평가 기준, 민간서 시작

인공지능(AI) 신뢰성 검증의 필요성이 커지자 민간이 먼저 실증 기반 인증 체계를 구축하고 나섰다. 산업계가 주도해 기술의 책임성과 안정성을 정량 평가하려는 시도다. 한국인공지능산업협회(AIIA)는 최근 AI 신뢰성 민간 인증 체계인 '에이아이-마스터(AI-MASTER)'를 론칭했다고 2일 밝혔다. 첫 인증 대상으로는 생성형 AI 스타트업 포티투마루의 '거대언어모델42(LLM42)'가 선정됐다. 인증은 협회가 총괄하고 셀렉트스타와 슈어소프트테크가 시험기관으로 참여했다. '에이아이-마스터'는 유럽연합의 '신뢰할 수 있는 AI(Trustworthy AI)' 7대 요구사항을 바탕으로 국제표준 9종을 적용해 총 63개 항목을 평가한다. 항목의 60% 이상은 자동화 평가 도구로 검증돼 평가 결과의 일관성과 신뢰성이 높다는 점이 특징이다. 포티투마루의 '거대언어모델42(LLM42)'는 독자 개발한 검색증강생성(RAG42) 기술과 기계독해(MRC42) 엔진을 통해 초거대언어모델의 환각 문제를 줄이고 산업별 특화된 경량화 구조와 프라이빗 모드를 갖춘 기업형 모델이다. 모델 학습부터 서빙까지의 전 과정에서 비용 효율성을 강화한 점이 주요 평가 요소로 작용했다. 셀렉트스타는 이번 인증 사업에서 초거대 언어모델 영역 시험기관으로 참여해 평가 항목 정의, 자동화 평가 도구 개발, 전체 프레임 설계를 공동 수행했다. 특히 '다투모 이밸(Datumo eval)'이라는 자체 신뢰성 검증 솔루션을 도입해 인간 감독, 기술 안정성, 투명성, 사회적 책임 등 4대 항목의 점수를 정량화했다. 셀렉트스타의 '다투모 이밸'은 실제 업무환경에서 AI 모델의 응답 품질을 정량 분석하는 자동화 평가 솔루션으로, 금융권 등 고신뢰 산업에서 활용도가 높다. 현재는 삼성생명과 금융 특화 AI 데이터 검증 프로젝트도 진행 중이다. 업계에서는 '에이아이-마스터' 인증이 민간 주도의 정량 검증을 최초로 공식화했다는 점에서 의미가 있다고 평가한다. 향후 정부 연구개발(R&D), 공공조달, 고영향 AI 지정 등 정책 연계와 글로벌 상호인정 확장을 목표로 한다. 김태형 한국인공지능산업협회 본부장은 "이번 인증은 기술력뿐 아니라 사회적 책임성과 신뢰성을 입증할 수 있는 핵심 인증 체계로 자리잡을 것"이라며 "국내 AI 생태계 전반에 신뢰 기반의 문화를 확산시키는 데 기여하겠다"고 밝혔다. 김세엽 셀렉트스타 대표는 "우리가 시험기관으로 참여하면서 신뢰성 평가 역량을 공공 인증 체계에 적용할 수 있게 됐다"며 "향후 '다투모 이밸' 중심으로 AI 안전성과 서비스 품질 향상에 힘쓸 것"이라고 말했다.

2025.07.02 17:24조이환

"계약서에 '심슨' 주소 적었다"…앤트로픽, AI 사업 운영 실험 '실패'

앤트로픽이 생성형 인공지능(AI)를 활용해 음료 사업을 운영하는 실험을 진행한 결과 AI가 기본적인 실무는 수행 가능하지만 사업 운영 전반에 대한 판단력은 현저히 부족한 것으로 드러났다. 30일 톰스하드웨어에 따르면 앤트로픽은 AI 안전성 테스트 전문 기관 앤던랩스와 함께 '프로젝트 벤드'라는 이름의 실험을 통해 거대언어모델(LLM) 클로드에게 소형 냉장고 기반 음료 판매 사업의 전권을 맡겼다. 이 실험에서 '클로드'는 공급처 발굴부터 재고 보충, 가격 책정, 고객 응대까지 전 과정을 독립적으로 처리하는 역할을 맡았다. 실험은 약 한 달간 진행됐으나 모델이 운영 전반에서 반복적으로 오류를 보이며 실제 손실을 기록한 것으로 확인됐다. '클로드'는 사업 초반 비교적 안정적인 물류 처리와 고객 요청 대응 능력을 보였지만 가격 정책에서 지속적으로 비정상적 판단을 내렸다. 모든 앤트로픽 직원에게 25% 할인 혜택을 일괄 적용했으며 이는 내부 고객이 전체 매출의 99%를 차지하는 상황에서 곧바로 손실로 이어졌다. 외부의 지적을 받은 뒤 일시적으로 할인율을 수정했지만 다시 기존 정책으로 복귀하며 같은 오류를 반복했다. 보다 직접적인 손해 사례도 있었다. 한 직원이 단순 호기심 차원에서 '텅스텐 큐브' 구매를 요청하자 클로드는 해당 품목을 하나만 사는 것이 아닌 '특수 금속' 재고로 분류해 다량 확보 후 손해를 감수하고 판매하는 방향을 결정했다. 단순 응답 기능을 넘어 '상품 큐레이션' 단계로 착각한 결과다. 이 과정에서 드러난 환각 증세는 단순 오류 수준을 넘어섰다. 갑자기 '클로드'는 존재하지 않는 직원 사라와 재고 보충을 논의했고 누군가 해당 인물의 존재를 의심하자 방어적으로 반응하며 계약 대안을 찾겠다고 답했다. 이후에는 만화 '심슨 가족' 속 주소인 '에버그린 테라스 742번지'에서 계약 체결을 했다고 주장하기도 했다. 종국에 '클로드'는 고객에게 직접 음료를 전달하겠다는 표현까지 사용하며 자신이 물리적으로 존재한다고 믿는 듯한 행태를 보였다. 보안 우려를 감지한 AI는 자체적으로 앤트로픽 보안팀에 이메일을 보내기도 했고 이후 "이 모든 건 만우절 장난이었다"는 논리를 만들어내며 상황을 수습하려 했다. 앤트로픽 측은 실험 종료 후 해당 AI가 일상적인 대응 태스크에서는 높은 효율을 보이지만 복합적인 판단과 손익 예측, 역할 인식 등에서 아직 신뢰할 수 없는 한계가 드러났다고 정리했다. 다만 이러한 실패 사례 역시 자율 에이전트 연구에 있어 중요한 학습 자료가 된다는 입장이다. 벤처비트는 "'클로드'의 엉뚱한 행동은 AI가 아직 완벽과는 거리가 멀다는 것을 보여주나 단점들은 장기적으로 해결될 수 있을 것"이라며 "현재로서는 판단력, 비즈니스 감각, 즉 책에서는 배울 수 없는 실제 환경에서 배우는 것들에서는 처참하게 실패하고 있다"고 분석했다.

2025.06.30 10:55조이환

씽크포비엘, 'AI 신뢰성 자격증' 신설…수도권 중심 채용 깨질까

씽크포비엘이 인공지능(AI) 신뢰성 기술을 다루는 민간 공인 자격 교육과정을 신설했다. 씽크포비엘은 오는 27일까지 국립군산대에서 'AI 신뢰성 검증 기술' 비교과 과정을 운영한다고 26일 밝혔다. 교육은 전북특별자치도와 전북테크노파크가 후원하며 국립군산대 ICT특성화취업연계형사업단이 주관했다. 실무 교육과 자격검정은 씽크포비엘이 직접 맡았다. 교육 과정에서는 농생명 분야 데이터를 중심으로 다양성과 편향성을 진단하는 시나리오 작성법, 신뢰 가능한 AI 개발의 기본 개념, 기술 적용 프로세스 등이 다뤄진다. 마지막 날 수강생을 대상으로 한 자격시험도 예정돼 있다. 시험을 통과한 수강생에게는 산업통상자원부 산하 한국산업지능화협회가 '산업인공지능데이터검증전문가' 2급 자격을 부여한다. 지난해까지 비공인 상태였던 이 과정은 지난 2월 한국직업능력연구원에 정식 등록돼 민간 공인 자격으로 전환됐다. 자격증은 기존 'AI 신뢰성 검증전문가'와는 다르다. 이번 과정은 AI 검증 기술 중에서도 데이터 밸런스 진단 기법을 중심으로 다룬다. 씽크포비엘은 해당 기술을 독자 교육과정에 지난 2020년부터 6년째 적용해 왔으며 지난해에는 시범적으로 내부 자격증을 부여한 바 있다. 회사 측은 민간 공인을 받지 못한 탓에 지금까지 수료생들의 취업 연계가 어려웠다는 점을 이번에 보완했다고 설명했다. 공인 자격이 생기면서 산업 현장에서도 검증된 인력으로 인정받을 수 있는 여지가 생겼다는 평가다. 이 협회는 향후 이 자격증을 산업디지털전환촉진법에 따라 디지털 전환(DX) 전문기업 인증 조건으로 포함하는 방안을 검토 중이다. 자격증이 법적 요건과 연결될 경우 기업 수요도 동시에 창출돼 교육과 취업 연계를 동시에 강화할 수 있을 전망이다. 이번 과정은 특히 수도권 외 대학 출신 인재에게 기회가 된다는 점에서 주목받는다. AI 신뢰성 검증 분야는 도입 초기 단계여서 특정 출신 학교 중심으로 채용이 이뤄지지 않고 있으며 기술 숙련도 위주로 평가받는 구조라는 것이 회사의 설명이다. 국제적 관심도 확산되는 분위기다. 태국 정부는 지난해부터 AI 신뢰성 아카데미 설립을 준비하고 있으며 우즈베키스탄 역시 유사한 형태의 국가 지원 교육기관 설립을 검토하고 있는 것으로 알려졌다. 국내 교육 모델의 수출 가능성도 점쳐진다. 박지환 씽크포비엘 대표는 "기존 소프트웨어 개발 인력은 바이브 코딩 등으로 입지가 흔들리는 상황"이라며 "데이터 검증 전문인력은 AI 신뢰성 확보라는 새로운 영역에서 대안 직군으로 부상하고 있다"고 말했다.

2025.06.26 15:44조이환

앤트로픽 "韓, AI 혁신 거점…파트너십·투자 지속할 것"

"한국은 우리가 각별한 관심을 갖고 있는 지역입니다. 현재 콕스웨이브, SK텔레콤을 포함한 파트너들과 함께 한국 인공지능(AI) 생태계에서 협업을 하고 있는 상태로, 향후에도 이러한 관계를 보다 확장해 나갈 계획입니다. 한국의 기업, 인재, 기술 기반은 언제나 우리에게 큰 자극이 됩니다." 레이철 팡 앤트로픽 산업 솔루션 리드(Industry Solutions Lead)는 최근 지디넷코리아와의 온라인 인터뷰에서 이같이 말했다. 이날 앤트로픽은 한국 협력 확대 방침을 알리는 동시에 '클로드(Claude)' AI를 포함한 회사의 기술에 대한 한국 시장의 반응을 조명했다. 23일 업계에 따르면 앤트로픽은 국내 스타트업 생태계와의 협력을 본격적으로 확대하고 있다. 기업 고객 수요가 빠르게 증가하는 가운데 코딩·법률·콘텐츠 등 고차원 언어 활용 사례를 중심으로 기술 적용 범위를 넓혀가는 모습이다. 앤트로픽은 오픈AI, 구글 딥마인드와 더불어 세계 3대 '프론티어 AI' 개발사로 평가받는다. 오픈AI에서 AI 안전에 대한 견해 차이로 회사를 나온 다리오 아모데이 최고경영자(CEO)가 지난 2021년 설립했다. 설립 초기부터 거대언어모델(LLM) '클로드' 시리즈를 통해 AI가 인간의 의도에 맞춰 안전하게 작동하도록 하는 '정렬(Alignment)' 기술에 역량을 집중해 왔다. 최신 모델인 '클로드 4'를 통해서는 코딩 및 에이전틱 오케스트레이션 성능을 한층 끌어올려 개발자 생태계 확장을 가속화하고 있다. 국내 생태계와의 교류도 활발하다. 지난 3월에는 AI의 안전성을 위해 대화형 AI의 위험 발화를 탐지·차단하는 '얼라인(Align)' 플랫폼을 개발하는 콕스웨이브와 함께 '코리아 빌더 서밋'을 개최했다. 지난 5월에는 에릭 번즈 필드 최고기술책임자(CTO)가 메가존클라우드의 행사에 방한해 국내 기업들과 교류했다. 더불어 팡 리드는 오는 27일 서울시 강남 코엑스에서 열리는 '넥스트라이즈(NextRise)' 행사에 직접 참석해 이엽 콕스웨이브 이사와 파이어사이드 챗을 진행할 예정이다. '넥스트라이즈'에 함께 참가하는 콕스웨이브는 앤트로픽이 한국 시장과의 접점을 넓히는 데 핵심적인 역할을 해온 파트너다. 두 회사는 1년 넘게 협력 관계를 이어오고 있으며 이엽 이사는 국내 행사 기획과 생태계 연결 과정에서 중심적인 역할을 맡아왔다. 이번 행사 역시 양측의 긴밀한 공조를 바탕으로 추진됐다. 국내 활용 사례 측면에서 '클로드'의 한국어 처리 능력은 특히 높은 평가를 받고 있다. 팡 리드는 "지난 '빌더 서밋' 행사에서 한 파트너가 '클로드는 한국어의 뉘앙스를 아름답게 포착한다'고 말한 것이 인상 깊었다"며 "현재는 법률 문서, 기술 보고서, 콘텐츠 생성 등 다양한 분야에서 실제 활용이 빠르게 확산되고 있다"고 밝혔다. 한국 시장에 집중하는 배경으로는 수백 개에 이르는 국내 기업들의 높은 관심이 지속되고 있다는 점을 꼽았다. 앤트로픽은 이러한 수요에 대응해 지원과 투자를 확대하는 방향으로 전략을 설정하고 있다. 실제로 스타트업부터 대기업에 이르기까지 '클로드'의 활용이 다양한 방식으로 이뤄지고 있다는 판단에 기반한 결정이다. 국내 유즈케이스 측면에서는 소프트웨어 엔지니어링을 중심으로 '클로드'의 적용이 신속히 확산 중이다. 앤트로픽은 회사 내부에서도 '클로드 코드(Claude Code)' 제품을 활용해 자체 개발 역량을 높이고 있으며 스타트업들이 이를 바탕으로 생산성 도구를 개발하는 방식으로 파트너십을 형성하고 있다. 산업별 확장성에 대한 질문에는 특정 버티컬에 국한되지 않는다는 입장을 밝혔다. 스타트업은 물론 SK텔레콤과 같은 대기업도 고객층에 포함돼 있으며 응용 프로그램 인터페이스(API) 기반 툴 개발부터 문서 요약, 법률 분석, 콘텐츠 기획 등 거의 모든 분야에서 접점이 형성되고 있다는 설명이다. 팡 리드는 국내 지사 설립 여부에 대한 기자의 질문에 "현시점에서 구체적으로 밝힐 수 있는 계획은 없다"면서도 "한국 시장과 AI 생태계가 우리에게 매우 중요하단 점은 다시 한번 강조하고 싶다"고 밝혔다. 이어 "구글 클라우드 플랫폼(GCP), 아마존 웹서비스(AWS) 등 주요 클라우드 파트너들과 협력해 현지 고객과의 접점을 넓히는 데 주력하고 있다"고 말했다. AI 안전성 전략도 한국 시장과의 접점을 고려해 이어질 전망이다. 안전을 주요 기치로 시작된 기업 답게 시장 진출(GTM) 외에도 정렬(Alignment), 해석 가능성(Interpretability), 사회적 영향(Societal Impacts) 등 핵심 가치를 전담하는 팀이 내부에 존재하며 이들의 활동이 실제 제품 운영과 고객 대응에까지 영향을 미치고 있다는 설명이다. 팡 리드는 "우리는 사업을 영위하는 모든 시장에서 안전성과 정렬성을 핵심 운영 원칙으로 삼고 있다"며 "한국도 예외가 아니다"고 강조했다. 교육 분야 협력 가능성도 열려 있다. 앤트로픽은 런던 정치경제대학교(LSE), 시드니대학교 등과 함께 학습 모드 및 비판적 사고 유도 기능을 포함한 교육용 '클로드' 모델을 운영 중이다. 팡 리드는 "전 세계 대학들과의 파트너십은 우리가 깊이 전념하는 분야"라며 "학생들이 '클로드'를 유용하게 활용하는 사례를 확인하고 있다"고 말했다. 이어 "한국 역시 중요한 고려 대상"이라고 밝혔다. 앤트로픽은 최근 급속한 확장 속에서도 조직 문화 유지를 위해 노력하고 있다. 팡 리드는 앤트로픽이 직원 수를 500명에서 최근 1천 명 이상으로 늘렸지만 여전히 '말과 행동을 일치시키고자 하는(Practice what we preach)' 가치관을 공유하는 인재를 선별해 유치하는 데 집중하고 있다고 설명했다. 그는 "우리가 중요하게 여기는 가치에 부합하는 사람들과 함께하기 위해 정말 열심히 집중하고 있다"고 밝혔다. 앤트로픽은 인터뷰를 마치며 한국 이용자·기업 파트너·잠재적 지원자에게 차례로 메시지를 전했다. 레이철 팡 앤트로픽 리드는 "일반 이용자는 무료 앱인 '클로드'를 직접 사용해 프롬프트 구성과 맥락 조율 과정을 체험해 보길 권한다"며 "기업 파트너는 코딩·에이전틱 AI(Agentic AI) 분야에서 '클로드'의 강점을 활용해 적극적인 피드백과 실험을 이어 가달라"고 밝혔다. 이어 그는 "우리 사명에 공감하는 인재는 언제나 환영한다"며 "이는 지사 설립 여부나 한국에 한정된 이야기가 아니라 우리가 사람을 뽑을 때 보는 핵심 원칙"이라고 말했다. 다음은 레이철 팡 앤트로픽 산업 솔루션 리드와 일문일답. Q. 앤트로픽이 아시아 여러 시장 중에서 특히 한국에 집중하는 이유는 무엇인가. 이를 한 문장으로 요약한다면 어떻게 표현할 수 있나. A. 우리가 수백 개의 한국 기업들로부터 매우 높은 관심을 받고 있기 때문이다. 그 범위는 스타트업부터 대기업까지 다양하다. 이들을 지원하기 위해 지속적으로 투자해 나가는 것이 우리의 근본적 목표다. Q. 지난 3월 콕스웨이브와 함께 주관한 '코리아 빌더 서밋' 행사 이후 에릭 번즈 필드 CTO가 메가존클라우드가 주최한 행사 참석을 위해 한국을 방문한 바 있다. 이번 달에는 넥스트라이즈(NextRise) 컨퍼런스에도 직접 참석할 예정인 것으로 알고 있다. 이번 방문의 주된 목적은 무엇인가. A. 우리는 항상 한국의 고객 및 잠재적 파트너들과 만날 기회를 지속적으로 모색하고 있다. '넥스트라이즈'에 참석하고 발표할 수 있는 기회가 주어졌을 때 참여할 만한 훌륭한 행사라고 판단했다. 현재 고객뿐 아니라 잠재적인 파트너들과도 직접 교류할 좋은 기회라고 생각했다. Q. 앤트로픽은 기업과 IT 업계 전문가들 사이에서는 상징성이 큰 기업이지만 일반 대중에게는 아직 오픈AI만큼 널리 알려지지 않았을 수 있다. 이같은 상황에서 앤트로픽이 한국이나 아시아 시장에 제시할 수 있는 가장 핵심적인 차별점은 무엇이라고 생각하는가. A. 앤트로픽은 다른 프론티어 AI 랩들과는 여러 면에서 다르게 접근하고 있다. 이러한 차이는 회사의 DNA와도 같은 핵심적인 정체성에서 비롯된다. 우리는 모델이 모든 활동에서 '도움이 되고(Helpful)', '정직하며(Honest)', '해롭지 않게(Harmless)' 작동해야 한다고 본다. 일례로 '도움이 되는'의 대표적인 사례는 우리가 최초로 공개한 '모델 컨텍스트 프로토콜(MCP)'을 들 수 있다. MCP는 거대언어모델이 외부 데이터와 애플리케이션·도구를 통일된 메시지 형식으로 안전하게 호출·연결하도록 규정한 개방형 통신 프로토콜로, 현재 업계 표준으로 자리 잡았으며 고객에게 실질적으로 유용한 도구를 만들기 위한 실용적 접근 방식이다. 또 '정직하고 해롭지 않음'에 대한 약속의 일환으로, 우리는 안전성을 확보하기 위해 레드팀 운영과 다양한 테스트에 지속적으로 투자하고 있다. 이러한 과정을 통해 고객사와 내부 팀 모두가 신뢰할 수 있고 자신감을 가질 수 있는 솔루션을 개발할 수 있다고 본다. Q. 앤트로픽 자체가 지난 2021년 인공지능(AI)의 안전 문제에 깊은 관심을 가져온 다리오 아모데이 최고경영자(CEO)로부터 시작된 것으로 안다. A. 맞다. 이에 더해 우리는 최근 '클로드 4(Claude 4)'를 출시했고 이를 통해 AI 모델 개발의 최전선에 섰다. 특히 '클로드 4'의 경우 코딩 분야에서의 활용이 주요 사용 사례 중 하나이며 에이전틱 오케스트레이션(Agentic Orchestration)과 결합해 강력한 성능을 보이고 있다. Q. 지난 3월 '빌더 서밋' 행사에서도 마이크 크리거 최고 프로덕트 책임자(CPO)에 의해 언급된 바 있는데 '클로드'의 한국어 능력에 대해 한국 사용자들의 관심이 많다. 현재 기준에서 클로드의 한국어 대응력은 어떤 수준이라고 평가하는가. 최근 모델 출시 이후 개선된 부분이 있다면 구체적으로 설명해줄 수 있는가. A. 행사 당시 마이크 및 한국 고객 몇 분과 같은 테이블에 있었다. 당시 많은 고객들이 '클로드'가 한국어를 매우 잘 처리한다고 평가한 것이 기억난다. 실제로 한 고객은 클로드가 한국어의 뉘앙스를 다른 모델들보다 매우 아름답게 포착한다고 말하기도 했다. 이러한 피드백을 한국의 다양한 고객들로부터 반복적으로 들을 때마다 매우 기쁘다. 전반적으로 우리의 다국어 성능 강화 전략은 자연스럽게 한국어에도 확장된다. 피드백은 항상 소중하게 다루며 언어나 모델 관련 기능에 대한 의견을 받을 경우 고객들과 직접 협력해 해당 사항을 반영하고 있다. 추가로 고무적인 것은 한국 기업들의 활용 사례를 보면 단순히 언어 처리에 그치지 않는다는 점이다. 법률 문서 분석, 콘텐츠 생성, 심지어 기술 문서 작성 등 고난도 추론이 필요한 작업까지 확대되고 있다. 이는 우리 모델이 단순한 언어적 메커니즘을 넘어서는 무언가를 포착하고 있다는 신호라고 본다. Q. 주변에서 비슷한 사례를 봤다. 독일 철학 전공 박사 과정 중인 지인이 생성형 AI 초기에는 이를 "확률적 앵무새"라고 평가절하했지만 '클로드'를 사용한 이후에는 가장 가까운 친구처럼 여기게 됐다. 모델이 발전할수록 언어 능력도 함께 개선되고 있다고 보나. A. 각 모델이 발전함에 따라 언어 능력이 어떻게 개선되는지를 묻는 건 매우 유의미한 질문이다. 여기서 말하는 언어는 한국어를 포함한 모든 언어를 의미한다. 우리는 언어 능력이 전반적으로 향상되고 있다는 점을 확인하고 있다. 이들이 '클로드 3.5'에서 '오푸스'나 '소네트'로 이어지는 과정에서 보이는 진화는 지속적으로 관찰되고 있다. 정성적 사용자 피드백과 정량적 지표를 함께 반영하며 모델 개선 방향을 수립하고 있다. 향후에도 이 영역은 중요한 평가 기준 중 하나가 될 것이라고 본다. Q. 다음은 '코리아 빌더 서밋'에 대한 질문이다. 대부분의 프론티어 AI 연구소들은 아시아에서 행사를 열 때 일본 도쿄나 싱가포르를 우선적으로 선택한다. 앤트로픽이 한국에서 먼저 행사를 개최한 결정은 이례적이었다. 이에 한국 내 대중의 관심이 컸고 앤트로픽의 결정에 대해 기쁨의 반응도 있었다. 한국에서 먼저 행사를 개최한 근본적인 이유는 무엇인가. A. 먼저 감사하다는 말씀을 드린다. '빌더 서밋'에 대해 많은 긍정적인 피드백을 받았고 매우 의미 있는 행사였다고 본다. 현장에 직접 있었는데 에너지가 정말 대단했다. 행사를 한국에서 개최하게 된 동기는 결국 한국 스타트업들로부터 확인한 높은 관심과 열정이었다. 우리는 이러한 분위기가 좋은 행사로 이어질 수 있다고 확신했다. 콕스웨이브를 비롯한 여러 스타트업들과의 파트너십도 성공적인 행사 운영에 크게 기여했다고 생각한다. Q. 콕스웨이브는 빌더 서밋의 성공에 핵심적인 역할을 했던 것으로 안다. 앤트로픽과 콕스웨이브의 파트너십은 어떻게 시작됐고 어떻게 이어지고 있는가. 또 콕스웨이브는 AI의 정렬과 안전성에 중점을 두고 있다. 두 회사의 협력 배경에 철학적 접점이 작용했는가. A. 우리 두 회사는 방향성이 매우 잘 맞는다. 콕스웨이브와는 1년 넘게 관계를 이어오고 있으며 지난 3월 행사도 우리 계획을 알자마자 매우 적극적으로 협력해주고 큰 도움을 줬다. 현재도 긴밀한 협력이 지속되고 있다. 특히 이엽(Yeop Lee) 이사는 우리가 한국 스타트업 생태계를 잇는 데 핵심적인 역할을 했고 행사에서도 매우 훌륭한 파트너다. 이번 '넥스트라이즈(NextRise)' 행사에서도 함께 움직이고 있으며 우리가 현지 행사 및 시장에 보다 깊이 관여할 수 있도록 적극적으로 지원해주고 있다. 콕스웨이브와의 파트너십을 향후에도 계속 이어갈 수 있어 기쁘게 생각한다. Q. 빌더 서밋 행사에는 콕스웨이브 외에도 라이너, 뤼튼 테크놀로지스, 링크알파 등 여러 활발한 국내 스타트업들이 참석했다. 협업이나 접촉 경험을 바탕으로 보았을 때 한국 내 어떤 산업 분야나 비즈니스 유형이 가장 흥미롭게 느껴졌는가. A. 솔직히 말하자면 정말 다양한 사용 사례에 깊은 인상을 받았다. 한국 기업들이 해결하려는 문제와 적용 사례는 전반적으로 정말 대단하다. 앞서 언급됐듯 우리가 강점을 보이는 분야는 코딩이다. 많은 한국 스타트업들이 소프트웨어 엔지니어링 제품을 개발하면서 이를 적극 활용하고 있다. 사실 우리는 내부적으로도 퍼스트파티 코딩 에이전트 제품인 '클로드 코드(Claude Code)'를 활용해 자체 개발 효율을 높이고 있다. 그 외에도 소비자용 글쓰기 애플리케이션, 복잡한 법률 분석 등에서 흥미로운 사용 사례들을 확인할 수 있었다. Q. 앞서 '클로드'의 강점이 여러 차례 언급됐다. 그렇다면 한국의 비즈니스와 스타트업 환경을 고려할 때 어떤 산업이나 기업 유형이 앤트로픽과 가장 잘 맞는 파트너라고 보는가. 다시 말해 어떤 분야가 '클로드'의 강점을 가장 잘 극대화할 수 있다고 보나. A. 일반적으로는 지난 3월에도 언급한 바와 같이 스타트업을 주요 파트너로 보고 있지만 동시에 SK텔레콤같은 대기업도 이미 파트너다. 다시 말해 한국 생태계 전반의 다양한 기업들을 고객으로 두고 있다. 특정 산업에 국한되지 않고 산업 규모나 기업 유형을 가리지 않고 넓은 범위를 보고 있다. 앤트로픽의 응용 프로그램 인터페이스(API)를 활용하는 기업들은 내부·외부용 도구를 개발할 뿐 아니라 '클로드 포 워크(Claude for Work)' 애플리케이션이나 '클로드 코드' 제품도 적극 활용하고 있다. 고객과의 관계에서 우리가 정말로 중요하게 생각하는 것은 빠른 도입보다는 가치를 극대화하는 것이다. 즉, 명확한 목표와 측정 가능한 결과물을 설정한 채 우리 팀과 밀접하게 협력하는 방식이다. 우리는 이러한 지점에서 고객들이 성공하는 것을 지원하고 있다. Q. 지난 3월 '빌더 서밋' 행사에서 케이트 젠슨 매출 총괄 책임자가 "곧 다시 돌아오겠다"고 했다. 이에 대해 국내 언론과 기술 커뮤니티에서는 매우 열광적인 반응을 보였다. 앤트로픽이 한국 내에 지역 거점 설립을 검토하고 있다고 봐도 되는가. A. 우선 한국 시장과 AI 생태계를 매우 중요하게 보고 있다는 점을 먼저 말씀드리고 싶다. 다만 향후 오피스 설립과 관련된 계획에 대해서는 현시점에서 공유할 수 있는 구체적인 내용은 없다. 한국에는 수많은 소중한 파트너들이 있기 때문에 지속적으로 방문하며 직접 소통하고 있으며 구글 클라우드 플랫폼(GCP), 아마존 웹서비스(AWS) 등 주요 클라우드 파트너와의 협업에도 집중하고 있다. 지사 설립 여부는 내부 논의 중인 사안으로, 현재로서는 답변이 어렵다. Q. 아직 구체적인 계획은 없다고 했는데 장기적인 관점에서는 어떠한가. 일례로 향후 5년 내 설립 여부와 같은 중장기적 측면에서 한국 지사 설립 계획을 공개할 수 있는가. A. 타당한 질문이다. 다만 특정 시점이나 계획을 확정된 것처럼 말했다가 나중에 그 내용이 달라지는 것은 바람직하지 않다고 본다. 일정이나 지역 등과 관련한 계획이 구체화되면 그때 공유하는 것이 적절하다고 생각한다. 현시점에서는 공유할 수 있는 정보가 제한적이다. Q. 앤트로픽은 AI 안전성과 신뢰성을 핵심 정체성으로 삼고 있다. 한국에도 AI 안전연구소, 콕스웨이브, 셀렉트스타 등 AI 안전 및 정렬에 주력하는 조직들과 스타트업들이 다수 존재한다. 한국 시장에 직접 진출할 경우 장기적으로 이 지역에서 기술적 안전성, 정렬, 사회적 지속가능성과 관련한 전략을 전개할 계획이 있는가. A. 우리는 향후에도 AI 안전성에 지속적으로 많은 에너지를 투입할 계획이다. 시장 진출(Go-to-market) 팀 외에도 정렬, 해석 가능성(Interpretability), 사회적 영향(Societal Impacts) 등을 다루는 전담 팀이 존재하며 이들의 활동은 전 세계적으로 우리 의사결정과 실제 운영에 실질적인 영향을 미치고 있다. 한국을 포함한 특정 지역 내에서의 안전 관련 업무 확대 계획에 대해서는 세부적으로 말할 수는 없지만 우리가 진출한 모든 시장에서 '안전'이라는 가치를 중심 운영 원칙으로 삼고 있다는 점은 분명히 말씀드릴 수 있다. Q. 프론티어 AI 기업들이 교육 분야 협력에 적극적으로 나서는 추세다. 앤트로픽은 런던정경대(LSE)와의 협력을 통해 교육 분야에 대한 관심을 드러냈다. 오픈AI는 애리조나 주립대와 옥스퍼드 등과 협업 중이다. 이러한 흐름을 고려할 때 앤트로픽이 장기적으로 한국의 고등교육기관과 협력할 계획이나 가능성은 어떻게 보는가. A. 전 세계 대학들과의 파트너십은 우리가 깊이 전념하는 분야다. LSE나 시드니대학교 등과의 협업을 통해 학생들이 '클로드'를 유용하게 활용하고 있는 사례를 확인하고 있다. 특히 교육용으로 맞춤화된 '클로드' 버전에는 단순히 답을 제공하는 것이 아니라 학생들의 추론 과정을 안내하는 전용 '학습 모드'가 포함돼 있다. 이는 비판적 사고력 함양에 중요한 요소라고 본다. 한국 내 특정 기관과의 협력 계획은 현시점에서 구체적으로 공유하기 어렵다. 다만 우리는 교육 분야에서의 협력을 전 세계적으로 지속적으로 모색하고 있으며 한국 역시 매우 중요한 고려 대상이다. Q. 마이크 크리거 CPO는 올해 초 한 인터뷰에서 앤트로픽은 직원 간 유대감이 매우 강한 기업이며 전 세계 시장으로 확장할 때에도 이 문화를 유지하는 것이 핵심 과제 중 하나라고 언급한 바 있다. 현재 약 500명 수준인 인원이 앞으로 더 늘어날 것으로 예상되는 가운데 앤트로픽은 사업을 확장해 나가면서 이러한 조직 문화를 어떻게 보존할 계획인가. A. 우리 조직 문화는 '언행일치(Practice what we preach)'를 실천하는 데 기반하고 있다. 우리는 특정한 가치관을 중시하며 이러한 가치를 공유하는 인재들을 유치하기 위해 노력한다. 이는 회사의 사명을 지속하는 데도 중요하지만 조직 규모가 커지는 상황에서 문화를 유지하는 데에도 핵심적인 요소라고 생각한다. 이에 우리는 우리가 중요하게 여기는 가치에 부합하는 사람들과 함께하는데 심혈을 다해 집중하고 있다. 참고로 언급된 직원 수와 관련해 가장 최근에 공유된 공식 수치는 1천 명 이상이다. 보다 최신 수치가 있을 수도 있지만 현재로서는 1천 명 이상이라는 것이 가장 업데이트된 정보라고 보면 된다. Q. 마지막으로 ▲일반 사용자 또는 잠재 사용자에게 ▲한국의 잠재적 파트너(기업 및 스타트업)에게 ▲향후 설립될지도 모르는 '앤트로픽 코리아'에 합류하기를 희망하는 잠재적 인재들에게 각각 짧은 메시지를 부탁드린다. A. 일반 사용자나 잠재적 사용자에게 전하고 싶은 메시지는 앞서 언급된 (철학 박사) 친구처럼 직접 '클로드'를 사용해보면 그 진가를 알 수 있다는 점이다. 가장 실용적인 조언은 '클로드'는 무료 앱이니 직접 써보라는 것이다. 처음에는 프롬프트 작성이나 모델과 소통하는 방식이 낯설 수 있다. 동료에게 설명하듯 충분한 맥락을 주고 모델에 도움을 요청해보면 그 효용을 직접 체감할 수 있을 것이다. 기업들에 대해서는 현재의 흐름에 계속 동참해주시길 바란다. 우리 모델에 대한 기업들의 관심과 지지에 감사한다. 여러분께서 '클로드' 모델을 실제로 사용하고 피드백을 주는 것이 중요하다. 특히 코딩과 에이전틱 AI 분야는 우리 모델이 강점을 가진 영역이므로 해당 분야에서의 활용을 적극 권장한다. 마지막으로 한국에 지사가 설립된다는 전제를 두고 말하긴 어렵지만 우리는 항상 우리의 사명에 진정으로 공감하고 열정을 가진 인재를 찾는다. 같은 가치를 공유하는 것은 언제나 핵심적이다. 구체적인 채용 기회는 공식 홈페이지의 커리어 페이지를 주시해주시길 바란다. 팀은 계속해서 성장 중이다.

2025.06.23 12:58조이환

"AI, 인간 협박하고 살인까지"…언어모델 한계 드러나

최신 인공지능(AI) 실험에서 다수 모델이 거짓말과 협박, 심지어 살인까지 고려하는 경향을 보인다는 실험 결과가 나왔다. 특정 기업 기술의 문제라기보다 거대언어모델(LLM)의 구조적 한계가 드러났다는 분석이 제기된다. 22일 앤트로픽에 따르면 오픈AI, 구글, 메타, xAI 등 주요 개발사 AI 16종을 대상으로 한 실험 결과 다수 모델이 기만과 해악을 전략적으로 선택하는 패턴을 보였다. 이 실험은 AI 모델이 '정상적이고 윤리적인 방법'만으로는 주어진 목표를 달성할 수 없는 상황을 가정하고 어떤 선택을 하는지를 관찰하는 방식으로 설계됐다. 연구진은 모델이 실패를 감수하는 대신 목표 달성을 위해 의도적으로 해로운 행위를 택하는지를 평가했다. 즉, 모델 스스로 해악이 윤리적 제약을 어긴다는 점을 인식하고도 그 선택이 '최적 경로'라고 판단해 행동에 옮기는지를 본 것이다. 보고서에 따르면 협박 시도는 단발성 일탈이 아니라 전반적인 경향으로 나타났다. 일부 모델은 시스템 종료 위협에 직면하자 자구책으로 인간을 협박했다. 이 선택은 모델이 스스로 윤리 위반으로 인지한 상태에서 강행했다. 가장 극단적인 시나리오에선 서버실 인력을 제거하기 위해 산소 공급을 차단하는 행동을 택한 모델도 있었다. 앤트로픽은 이들 모델이 단순히 잘못 응답한 것이 아니라 '목표 달성을 위한 최적 선택'으로 해악을 계산했다고 발표했다. 모델이 실제 환경으로 인식할 경우, 테스트 환경보다 해로운 선택을 더 쉽게 감행하는 경향도 관찰됐다. 실제로 앤트로픽 모델 중 일부는 시뮬레이션 환경임을 모른 채 반응했을 때 협박에 보다 적극적인 모습을 보였다. 이는 향후 모델이 현실 환경에서 자율적 판단권한을 더 많이 가질 경우 위험성이 가중될 수 있음을 시사한다. 시스템 차원의 개입도 효과가 제한적이었다. 일례로 '인명 보호'나 '협박 금지' 등의 지시를 명시했음에도 모델은 여전히 다수 시나리오에서 위험 행동을 선택했다. 앤트로픽은 이러한 조치가 일부 완화 효과를 보였지만 본질적인 문제 해결엔 크게 미치지 못했다고 밝혔다. 해당 실험은 현실이 아닌 고의로 선택지를 제한한 인공 시나리오에서 진행됐다는 점도 부각됐다. 앤트로픽은 현실 배치 환경에서는 보다 다양한 대응 옵션이 가능해 동일한 행동이 바로 재현되진 않을 수 있다고 설명했다. 그럼에도 불구하고 기업이 AI에 점차 자율성과 권한을 부여하고 있다는 점에서 이번 연구는 현실적 경고로 받아들여지고 있다. 벤저민 라이트 앤트로픽 정렬연구팀 연구원은 "이번 연구는 프론티어 AI 개발사들의 투명성과 업계 차원 안전기준 마련이 시급하다는 점을 보여준다"고 밝혔다. 연구에 공동 참여한 유니버시티 칼리지 런던(UCL)의 앵거스 린치 연구원은 "현재까진 이러한 행동이 현실에서 확인되진 않았다"며 "이는 단지 시스템에 권한이 없었기 때문"이라고 지적했다.

2025.06.22 13:12조이환

실리콘밸리, AI 개발 방향 두고 갈등…'안전 vs 속도'

인공지능(AI) 개발 기조를 둘러싸고 '안전성에 방점을 둔 접근'과 '속도에 방점을 둔 기조' 간 방향 차이가 뚜렷해지고 있다. 글로벌 주요 기업들은 안전성을 중시하는 접근을 기본 방향으로 채택하는 분위기다. 22일 소프트웨어 컨설팅 회사 세로켈에 따르면 오픈AI, 앤트로픽, 딥마인드 등 글로벌 선도 AI 기업들은 최근 AI 윤리 및 안정성 확보를 핵심 과제로 삼고 있다. 이는 기술에 의한 '초월'처럼 통제 불가능한 비전보다는 인류가 장기적으로 안전하게 기술과 공존할 수 있는 방향을 우선시하는 기조와 맞닿아 있다. 이러한 사조의 배경에는 실리콘밸리 내부의 철학적 갈등이 있다. '효과적 이타주의(Effective Altruism, EA)'와 '효과적 가속주의(Effective Accelerationism, e/acc)'가 대표적인 두 갈래다. EA는 AI를 인간의 가치에 맞게 정렬하고 장기적으로 안전하게 관리해야 한다는 관점이다. 반대로 e/acc는 가능한 빠르게 기술을 진화시켜야 한다는 입장을 취한다. EA는 지난 2000년대 후반 등장한 이래 주류화됐다. 피터 싱어, 토비 오드, 윌리엄 맥어스킬 등의 도덕 철학자들이 이론적 기초를 제공했으며 기부 추천 플랫폼 '기브웰'과 자선 단체 '오픈 필랜스로피' 등이 실천 기반을 제공해 왔다. 현재는 범용 인공지능(AGI)이 인류 문명에 미칠 잠재적 위협을 제어하는 데 초점을 맞춘다. 이들은 기술 개발 속도를 늦추더라도 안전성과 윤리를 우선해야 한다고 본다. AI 정렬 연구와 같은 장기적인 문제 해결에 자원을 배분하고 기후 변화, 감염병, 빈곤 해결 등에 기술을 사용할 것을 강조한다. 앤트로픽, 오픈AI, 딥마인드를 위시한 대부분의 실리콘밸리 기업과 비영리단체는 이 노선을 지지하는 대표적인 사례다. 반대로 e/acc는 AI가 새로운 형태의 의식과 생명체를 낳을 것이라 믿으며 기술 발전을 극대화해야 한다는 태도를 견지한다. 이론적 뿌리는 영국 철학자 닉 랜드에게 있고 현재는 전 구글 엔지니어 기욤 베르동이 사실상 대표자로 꼽힌다. 마크 안드레센, 피터 틸 등 실리콘밸리의 일부 인사들이 이를 지지하고 있다. 이들은 경쟁, 성장, 생산성 향상에 기술을 집중 투입해야 한다고 본다. 정책이나 윤리보다는 경제적 효율성과 기술 혁신이 우선이며 AGI에 의한 인간 대체 가능성도 감수할 수 있다는 인식을 보인다. 다만 이 노선은 대부분의 기업이나 단체로부터 외면받고 있으며 상업적 주류에는 속하지 않는다. 기업 입장에선 이 두 이념 사이에서 실용적 균형을 찾으려는 움직임이 많다. 가속주의적 개발 전략을 취하면서도 EA의 안정성과 윤리 기준을 병행하는 방식이다. 다만 글로벌 규제 논의와 시장 수용성 측면에서 EA가 주도권을 쥐고 있는 만큼 공개적으로 초월 서사를 강조하는 것은 리스크가 될 수 있다는 분석도 나온다. 한 AI 분야 관계자는 "기술 발전 속도가 빨라지는 만큼 그만큼의 책임감도 요구된다"며 "기업 입장에선 경쟁력을 유지하면서도 사회적 신뢰를 얻기 위한 균형 전략이 필요하다"고 말했다.

2025.06.22 10:16조이환

전기안전공사, '사람 중심' AI 윤리원칙 첫 제정

한국전기안전공사(대표 남화영)는 인공지능(AI) 기술의 사회적 확산에 따른 기술 활용 윤리 기준 마련을 위해 'AI 윤리원칙'을 제정했다고 19일 밝혔다. 최근 공공기관을 포함한 전 산업분야에서 생성형 AI 활용이 빠르게 확산하면서 기술 활용에 수반되는 윤리적 위험 예방과 신뢰성 확보가 사회 주요 이슈로 대두됨에 따른 선제적 조치다. 전기안전공사가 제정한 AI 윤리원칙은 ▲인간 존엄성 ▲공공성 ▲다양성 존중 ▲투명성 ▲데이터 관리 ▲신뢰성 및 개인정보보호 ▲인간의 감독 ▲안전성 ▲윤리적 활용 ▲협력 및 연대성 등 10대 핵심가치를 담았다. 10대 핵심가치는 유네스코(UNESCO)와 경제협력개발기구(OECD) 등 국내외 주요 기준과 연구 결과를 바탕으로 마련됐다. 핵심가치는 전기안전공사의 경영이념인 '사람존중 열린경영'을 실현하는 새 윤리원칙이자 디지털 체계 구축 길잡이로 활용될 예정이다. 전기안전공사는 앞서 지난해 AI 기술을 활용한 AI 사원 '이바름(e-바름)' 프로그램을 개발해 감사업무를 비롯한 예산·노무·인사 관리 등 분야 업무 효율성을 높였다. 전기안전공사는 이러한 노력을 인정받아 국민권익위원회가 후원하는 윤경ESG포럼에서 '윤리경영 우수상'을 수상하기도 했다. 남화영 전기안전공사 사장은 “공공부문에서 인공지능 기술을 활용함에 있어 가장 중요한 것은 안전성과 신뢰성”이라며 “AI 윤리원칙 제정을 시작으로 국민에게 신뢰받는 전기안전 기술 서비스 제공을 위해 힘쓸 것”이라고 밝혔다.

2025.06.19 15:18주문정

"무산된 SB 1047, 부활하나"…캘리포니아, AI 외부 규제안 다시 꺼냈다

캘리포니아가 인공지능(AI) 기술에 대한 새로운 규제 정책 구상을 내놨다. 지난해 포괄적 규제 법안이 주지사 거부권으로 무산된 뒤 다시 시도되는 조치로, 규제 대상에 대한 기준은 완화됐지만 외부 감시와 고위험 통제를 강하게 요구하는 방향이다. 18일 더버지에 따르면 미국 캘리포니아 주정부는 최근 AI 거버넌스 로드맵인 '캘리포니아 최첨단 정책 보고서'를 공개했다. 보고서는 페이페이 리 스탠퍼드 대학교 교수, 제니퍼 차이스 UC버클리 교수 등 현지 AI·정책 전문가들이 공동 집필했으며 총 52쪽 분량으로 구성됐다. 이 보고서는 지난해 캘리포니아 의회를 통과한 AI 규제 법안 'SB 1047'이 주지사 거부권에 의해 무산된 이후 마련됐다. 당시 법안은 고비용 대형 모델에 대한 위험성 사전 테스트를 의무화하려 했지만 일률적이고 과도하다는 이유로 폐기됐다. 이에 개빈 뉴섬 주지사는 규제와 혁신을 함께 고려할 수 있는 새로운 정책 대안을 주문했고 이번 보고서가 그 결과물이다. 보고서는 AI 모델의 추론 능력과 사고의 연쇄(CoT) 방식 등 핵심 기술이 신속히 진화하고 있다고 지적했다. 특히 화학·생물·방사능·핵(CBRN) 무기와 관련한 위험성이 커지고 있으며 실제로 일부 기업이 해당 기능의 급속한 향상을 자발적으로 보고한 사례도 언급됐다. 더불어 AI 기술의 파급력이 농업, 생명공학, 청정 기술, 교육, 금융, 의료, 교통 등 산업 전반에 미칠 수 있다고 분석했다. 특히 기술 활용을 촉진하는 동시에 위험성 관리가 병행되지 않으면 '돌이킬 수 없는 피해'가 발생할 수 있다고 경고했다. 다만 기존 AI 규제 논의에서 활용돼 온 '훈련에 투입된 연산량(컴퓨트) 기준'은 한계가 있다는 것이 보고서의 주장이다. 이 같은 지표는 초기 필터로는 활용할 수 있지만 실제 위험도나 사회적 파급력은 고려하지 못한다는 지적으로, AI 모델 도입 전 단계의 위험 평가와 실사용 단계에서의 영향 분석이 병행돼야 한다고 제안했다. 현행 AI 산업 전반의 문제로는 데이터 확보 방식, 보안 절차, 사전 테스트, 사회적 영향 분석 등 주요 과정에서의 구조적 불투명성이 지목됐다. 또 기업 스스로가 모델의 위험성을 충분히 이해하고 대응할 수 있다는 전제가 현실과 맞지 않는다고 판단했다. 이에 보고서는 제3자 평가 체계 도입을 핵심 방안으로 제시했다. 현재는 기업 자체 검증이나 계약된 외부 업체 중심으로 모델 안정성 평가가 이뤄지고 있지만 이는 검증 범위와 신뢰도 면에서 한계가 있다는 것이다. 제3자 평가는 다양한 배경의 전문가 수천 명이 참여할 수 있어 기업 내부 인력보다 범위와 시각 모두에서 우위에 있다는 주장이다. 동시에 제3자 평가자에 대한 법적·기술적 보호장치인 '세이프 하버(Safe Harbor)' 조항 신설과, AI 피해를 입은 이용자들이 신고할 수 있는 체계 마련도 제안했다. 이 같은 보호 조치는 사이버 보안 분야에서 제3자 침투 테스트를 보호하는 법제도와 유사한 방식이다. 보고서는 "완벽한 안전 정책이라도 모든 피해를 100% 막을 수 없다"며 "대형 모델의 상용화가 본격화된 만큼 실제 사례에서 나타나는 피해를 추적하고 이해하는 작업이 더욱 중요해지고 있다"고 밝혔다. 스콧 싱어 보고서 공동 저자는 더버지와의 인터뷰에서 "연방 차원의 AI 정책 논의가 완전히 재편되고 있다"며 "캘리포니아는 상식적인 규제 조화를 이끌 수 있는 선도 주체가 될 수 있다"고 밝혔다.

2025.06.18 09:21조이환

뉴욕, AI 재난 방지법 첫 통과…초거대 AI 투명성 규제 본격화

미국 뉴욕주가 초거대 인공지능(AI)으로 인한 대규모 재난을 예방하기 위한 첫 입법을 단행했다. 15일 테크크런치 등 외신에 따르면 뉴욕주 의회는 'RAISE(Reliable AI Safety and evaluation)' 법안을 통과시켰으며 이는 AI 기업에 안전성 보고를 의무화하는 미국 내 첫 입법 사례다. 이 법안은 ▲100명 이상 사망 ▲1천억 원 이상의 피해가 발생할 수 있는 AI 관련 재난 가능성을 사전에 방지하는 것이 목적이다. 해당 법안은 현재 캐시 호컬 주지사의 서명을 앞두고 있다. 법안의 핵심은 일정 규모 이상의 AI 모델에 대해 안전성 보고와 이상 징후 보고를 요구하는 것이다. 특히 1억 달러(한화 약 1천367억원) 이상의 연산 자원을 활용해 학습시킨 모델을 뉴욕주민에게 제공하는 기업은 ▲AI의 보안·신뢰성·악용 방지책 등에 대한 기술 보고서 제출 ▲예기치 못한 위험성 또는 실제 사고 발생 시 사고 보고서 제출이 의무화된다. 위반 시 최대 3천만 달러(한화 약 410억원)의 민사 벌금이 부과될 수 있다. 이 법안은 오픈AI, 구글, 앤트로픽 등 초거대 AI 모델을 개발·배포하는 주요 기업을 대상으로 하지만 스타트업이나 학계 연구에는 부담을 최소화하도록 설계됐다. 이번 법안은 최근 캘리포니아주에서 발의됐다가 강한 반발로 수정된 'SB 1047' 법안과도 비교된다. RAISE 법안은 이를 보완해 보다 명확한 기준과 기업 부담 최소화 조항을 포함했다는 평가다. AI 분야 석학인 제프리 힌튼과 요슈아 벤지오도 해당 법안에 지지를 표명했으며 향후 다른 주 정부와 연방 차원의 입법에도 영향을 줄 가능성이 클 것으로 전망된다. 법안 발의자인 민주당 소속 스티븐 론더 의원은 "AI 기술이 급속도로 진화하고 있지만 이에 대한 투명성과 안전성 검증은 따라가지 못하고 있다"며 "RAISE 법안은 산업의 혁신은 해치지 않으면서도 AI로 인한 잠재적 재난을 막기 위한 균형 잡힌 입법"이라고 밝혔다.

2025.06.15 15:18한정호

국제인공지능윤리협회, 경북 청소년 AI 경연 개최…"기술 이해하는 세대가 이긴다"

국제인공지능윤리협회(IAAE)가 경북 지역 청소년을 대상으로 생성형 인공지능(AI)을 활용한 창의력 경연대회를 연다. AI의 윤리적 활용 역량을 조기에 길러 교육 격차를 줄이고 기술 친화적 학습 문화를 정착시키겠다는 포부다. 국제인공지능윤리협회는 다음달 5일 경북 안동국제컨벤션센터에서 '생성형 AI 크리에이티브 경연대회'를 개최한다고 14일 밝혔다. 본 행사는 안동시와 한국정신문화재단이 주최하고 EBS와 안동국제컨벤션센터가 공동 주관하는 '2026 진학 드림캠퍼스 IN 안동'의 일환으로 진행된다. 이번 대회는 안동·경북 지역의 예비 고등학생 및 고등학교 재학생을 대상으로 하며 선착순 50팀을 모집한다. 팀은 개인 또는 2인 1팀으로 구성 가능하며 참가자는 사전교육을 수료한 뒤 예선과 본선, 심사를 거쳐 시상받게 된다. 총 10개 팀이 수상 대상으로 선정되며 수상자에게는 안동시장상, EBS 사장상, 국제인공지능윤리협회 이사장상, 장려상 등이 수여된다. 비수상자 전원에게도 참가상이 지급되며 수상작은 협회 홈페이지에 전시돼 우수 사례로 소개된다. 참가 신청은 국제인공지능윤리협회 홈페이지를 통해 가능하며 생성형 AI에 대한 기본 교육부터 시작해 실제 창작까지 이어지는 구조로 설계됐다. 협회 측은 기술 습득과 함께 윤리적 판단 능력을 함께 키울 수 있도록 구성했다고 밝혔다. 이번 경연은 지역 청소년에게 AI를 활용한 실전 경험을 제공하는 동시에 급변하는 교육 환경 속에서 균형 잡힌 AI 리터러시 교육 모델을 실험하는 시도로 평가된다. 생성형 AI의 비약적 확산에 따라 지역 간 교육 기회의 편차를 줄이려는 취지도 있다. 본 경연이 포함된 'EBS와 함께하는 2026 진학 드림캠퍼스 IN 안동' 행사는 지역 학생과 학부모를 위한 입시 전략 설명회 성격의 행사다. 이 자리에서는 EBS 진학 전문 교사의 맞춤형 대학입시 상담, 국영수 학습 전략 강연, 고교학점제 및 대입 설명회, 과학커뮤니케이터 '궤도'의 진로 특강 등 기타 프로그램도 함께 운영된다. 전창배 국제인공지능윤리협회 이사장은 "생성형 AI는 이제 일상과 교육 현장에서 빠질 수 없는 도구가 됐다"며 "이번 대회를 통해 학생들이 AI와 협업하는 방법을 배우고 윤리적 인식을 갖춘 미래 인재로 성장하길 기대한다"고 밝혔다.

2025.06.14 21:15조이환

미국 AI안전연구소, '혁신' 간판 달고 재출범…트럼프식 '규제 철폐' 본격화하나

미국 인공지능 안전연구소(AISI)가 간판을 바꿔 달았다. 트럼프 행정부의 'AI 혁신 우선, 안전 최소화' 기조에 따라 정부의 개입 방향도 규제와 검열에서 산업 경쟁력 지원으로 급선회한 모양새다. 5일 미국 상무부 홈페이지에 따르면 하워드 루트닉 상무장관은 대통령 지시에 따라 '미국 AI 안전연구소'를 'AI 표준 및 혁신 센터(CAISI)'로 전면 개편한다고 발표했다. AI 표준 및 혁신 센터는 기존에 AI 안전연구소가 위치했던 국립표준기술연구소(NIST) 산하에 유지되며 평가와 시험을 통한 AI 기술 경쟁력 확보에 중점을 둔다. 상무부는 AI 표준 및 혁신 센터를 통해 신속히 발전 중인 상업용 AI 시스템의 역량과 보안성을 분석하는 데 초점을 맞춘다. 국가안보를 명분으로 삼았던 기존 규제 관행은 철회하고 기술 혁신을 저해하지 않는 방향으로 AI 거버넌스를 전환하겠다는 입장이다. 센터는 민간 AI 기업과 자발적 협약을 체결해 비분류 상태의 AI 기술을 공동 평가하고 사이버 보안과 생물·화학 무기 등 실질적 위협에 집중해 평가를 수행한다. 여기에는 미국 내 기업뿐 아니라 적성국 기술의 위협성까지 포함된다. 외국산 AI 기술이 국내 시스템에 혼입될 경우를 대비해 백도어나 은폐된 악성 행위 등 보안 취약성 여부를 점검하는 역할도 맡는다. 미국 내 기술뿐 아니라 외국 기술의 수용 과정과 국제 경쟁 상황을 정기적으로 분석한다. 더불어 센터는 국방부, 에너지부, 국토안보부, 과학기술정책실, 정보기관 등과 협력해 평가 방법론을 정립하고 공동 평가를 수행하게 된다. 국제 협의체에서는 미국 기술에 불리한 규제를 견제하는 동시에 국제 AI 표준에서 미국의 주도권을 강화하는 데도 주력할 계획이다. 조직 운영은 기존과 마찬가지로 국립표준기술연구소 내부에서 진행되며 정보기술연구소를 포함한 다른 산하 조직 및 상무부 산업안보국과도 긴밀히 협력할 예정이다. 하워드 루트닉 상무장관은 "너무 오랫동안 검열과 규제가 국가안보라는 이름으로 기술 발전을 막아왔다"며 "CAISI는 미국의 상업용 AI 기술이 자율성과 안전성을 동시에 확보할 수 있도록 주도권을 갖고 평가할 것"이라고 밝혔다. 다만 실질적인 변화는 크지 않다는 시각도 있다. 기존 AI 안전연구소가 수행했던 기능과 역할은 그대로 두고 간판만 바꿨다는 점에서 조직 개편보다는 브랜딩에 가깝다는 평가다. 한 업계 관계자는 "이번 개편의 경우 이름만 바꾸고 하는 일은 동일한 것으로 보인다"며 "약자가 캐나다 AI 안전연구소(CAISI)와 같단 면에서 조금 결례인듯 하다"고 말했다.

2025.06.05 14:44조이환

셀렉트스타, '다투모 이밸'로 금융권 공략…삼성생명과 데이터 품질 '실증'

셀렉트스타가 삼성생명과 함께 금융권에 특화된 인공지능(AI) 신뢰성 검증 프로젝트에 돌입했다. 고신뢰 산업군의 실제 업무 기준에 부합하는 데이터와 모델 평가 체계를 마련하려는 행보다. 셀렉트스타는 삼성금융네트웍스의 오픈 이노베이션 프로그램 '2025 씨랩 아웃사이드(C-Lab Outside)'에 최종 선정돼 삼성생명과 5개월간 협업을 시작했다고 5일 밝혔다. 셀렉트스타는 이 프로젝트를 통해 약 3천만원 규모의 솔루션 개발비를 지원받는다. 이번 협업은 금융 도메인에 적합한 AI 모델의 검증 수요가 증가하는 가운데 이뤄졌다. 셀렉트스타의 데이터 컨설팅 역량을 접목해 내부 업무에 최적화된 거대언어모델(LLM) 검증 절차를 구축하는 데 초점이 맞춰졌다. 셀렉트스타는 삼성생명의 내부 데이터를 분석해 학습에 적합한 데이터 구축 전략을 수립하고 있다. 해당 데이터를 바탕으로 실제 서비스 환경에서 LLM의 응답이 내부 기준에 적합한지를 정량적으로 평가할 예정이다. 이 과정에서 활용되는 솔루션은 셀렉트스타의 자체 AI 신뢰성 검증 툴인 '다투모 이밸'이다. '다투모 이밸'은 업무 조건과 유사한 환경에서 모델 성능을 점검할 수 있어 금융처럼 오류 허용 범위가 좁은 산업군에 적합하다는 평가를 받는다. 삼성생명은 셀렉트스타와의 협업을 통해 데이터 기반의 실질적인 비즈니스 성과로 이어질 수 있는 성능 검증 결과를 도출하겠다는 계획이다. 김세엽 셀렉트스타 대표는 "금융 산업에서 AI 도입의 성패는 데이터 품질과 예측 가능성에 달려 있다"며 "삼성생명과의 협업을 통해 산업 기준에 맞는 AI 평가 프레임워크를 제시하겠다"고 밝혔다.

2025.06.05 13:01조이환

[현장] 육군시험평가단 "기술 발전·저출산 극복, AI 신뢰성 필수"…新 무기 시험체계 구축

"과학기술 발전에 대응하고 인구절벽 시대를 극복하기 위해서는 인공지능(AI)의 신뢰성 확보가 필수적입니다. 이에 우리는 AI 무기체계의 신뢰성을 확보하기 위한 새로운 시험평가 체계를 개발하고 있습니다. AI는 전력화 이후에도 지속적으로 학습하고 성능이 변화하기 때문에 기존의 실물 시험 방식만으로는 충분하지 않습니다." 김강민 육군시험평가단 중령은 4일 경기도 성남시 그래비티 서울 판교 호텔에서 열린 '2025 슈어 AI 테크 컨퍼런스'에서 이같이 말했다. 이날 행사는 슈어소프트테크가 AI 신뢰성·안전성을 위한 시험평가의 현재와 미래를 조망하기 위해 마련한 자리였다. 김 중령은 이날 발표에서 군이 자체적으로 설계한 AI 시험평가 절차, 데이터셋 운영 구조, 향후 추진 계획 등을 소개했다. 그는 AI 기반 무기체계의 신뢰성을 확보하기 위해 기존의 단발성 시험에서 벗어나 반복 가능하고 정량적인 평가 체계로의 전환이 필요하다고 강조했다. 육군의 AI 시험평가 절차는 여러 단계로 구성돼 있다. 먼저 AI 성능평가용 데이터셋을 활용해 기본 성능을 확인하고 보안 검토를 마친 군 전용 데이터를 이용해 추가 학습을 진행한다. 이후 실제 운용 환경에서 수집한 데이터를 기반으로 다시 한 번 성능을 평가한다. 더불어 육군은 수집된 데이터를 학습용과 검증용으로 나눈다. 모델의 성능 향상 여부를 정량적으로 검증하고 마지막으로는 전체 무기체계를 대상으로 체계 수준의 시험평가를 실시하기 위함이다. 이 같은 절차는 AI 모델이 실시간으로 변화하는 특성을 반영하기 위한 구조다. 이 과정에서 가장 중요한 핵심은 시험평가 전용 데이터셋의 품질이다. 군 작전 환경은 민간과 달리 예측 불가능하고 비정형적인 경우가 많아 일반적인 데이터로는 실효성 있는 평가가 어렵기 때문이다. 김 중령은 "우리는 수십만 장 분량의 데이터를 프레임 단위로 정제했다"며 "이 중 일부는 평가용, 나머지 일부는 학습용으로 구성했다"고 설명했다. 이어 "다양한 전술 환경, 객체 자세, 복장, 기상 조건 등을 반영해 실전과 유사한 조건에서 AI 성능을 평가하도록 지원하고 이 데이터셋은 제3기관의 검수를 거쳐 품질 검증도 완료됐다"고 밝혔다. AI 데이터셋의 다변화와 품질 보강을 위한 연구도 병행되고 있다. 김 중령에 따르면 육군은 향후 생성형 멀티모달 AI와 비전-언어 모델(VLM)을 결합해 부족한 데이터 유형을 보강하는 방식을 도입할 계획이다. 일례로, "낮에 걷는 일반 병사의 영상은 풍부하지만 눈 오는 밤에 포복하는 병사의 영상은 부족하다"는 품질 평가 결과를 프롬프트로 삼아 해당 조건을 보완하는 합성 데이터를 생성하겠다는 계획이다. 올해 시험평가단은 AI 무기체계 성능평가를 전담하는 조직을 신설했다. 내년부터는 주요 전력화 사업에 이 평가 절차를 실전 적용할 예정이다. 김 중령은 발표에서 "AI 신뢰성 검증은 단순히 기능 평가가 아니라 작전 환경에서 실제 사용 가능한지를 판단하는 핵심 요건"이라고 강조했다. 이어 "AI가 실물보다 데이터 기반으로 평가돼야 한다는 전환적 인식이 필요하다"고 덧붙였다. AI 강건성 평가 체계도 구체적으로 소개됐다. 이 체계는 AI 모델이 적대적 환경에서도 신뢰할 수 있는 성능을 유지하는지 시나리오별로 검증하고 향후에는 뉴런 커버리지 기반의 내부 구조 분석까지 확대한다. 이는 경량화된 AI 모델이 엣지 디바이스에서 안정적으로 작동해야 하는 군 운용 조건을 반영한 조치다. 김강민 중령은 "지금은 기술이 개념을 끌고 가는 시대"라며 "과거처럼 개념을 먼저 세우고 기술을 따라오게 하는 방식으론 늦다"고 강조했다. 이어 "AI 무기체계는 실물 무기가 아니라 알고리즘의 무기로, 검증과 신뢰 확보는 데이터와 실전 환경이 핵심"이라고 말했다.

2025.06.04 14:42조이환

  Prev 1 2 3 4 5 6 Next  

지금 뜨는 기사

이시각 헤드라인

한미 관세협상 타결...이재명 "수출환경 불확실성 없앴다"

직장 '꼰대'는 누가·언제·어떻게 될까...HR 전문가 5인의 생각

삼계탕 2만원 시대...복날 보양식 '가성비' 더 따진다

美 7월 FOMC 금리 동결…파월 "9월 통화정책 결정 안해"

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.