검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'AI 신뢰'통합검색 결과 입니다. (72건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

셀렉트스타, 금융권 AI 신뢰성 검증 역할 강화

셀렉트스타가 금융업계 인공지능(AI) 안전성 교육과 범용·금융 특화 취약점 확인 역량을 앞세워 금융권 AI 신뢰성 검증 분야 입지를 넓힌다. 셀렉트스타는 금융보안원이 주최하고 카카오뱅크가 후원하는 '2026 금융보안 AI 아카데미 캠프'에서 AI 신뢰성 검증 '다투모 플랫폼' 제공 등 행사 운영을 담당했다고 23일 밝혔다. 금융보안 AI 아카데미 캠프는 AI 정보보안에 관심 있는 대학(원)생을 대상으로 금융권 AI·보안 분야의 실무 역량을 높이기 위해 마련된 단기 집중 교육 프로그램이다. 지난 20일부터 22일까지 경기도 용인 카카오 AI 캠퍼스에서 열린 올해 행사에는 50명이 참가했다. 첫날은 김민우 셀렉트스타 AI 세이프티 팀 리더가 강연자로 나서 AI 안전성과 보안에 관한 이론 및 실습 교육을 진행했다. 교육은 OWASP 거대언어모델(LLM) 톱 10을 비롯해 AI 레드티밍 기법, 자동 AI 레드티밍, AI 가드레일, 금융 특화 AI 세이프티 평가 등 최신 AI 보안 기술과 연구 동향을 중심으로 구성됐다. 이튿날 진행된 레드팀 챌린지는 범용 안전성과 금융 특화 안전성 영역으로 구분해 1부 개인전, 2부 팀전으로 운영됐다. 참가자들은 각 미션에 따라 다양한 공격 기법을 설계·적용하면서 AI 모델의 취약점을 발굴하고 금융 서비스 환경에서 발생할 수 있는 위험 요소를 분석했다. 셀렉트스타는 레드티밍 결과를 신속하고 일관된 기준으로 판별할 수 있도록 챌린지 운영에 AI 자동 평가 시스템을 도입했다. 다수의 참가자가 제출하는 공격 결과를 자동으로 분석·채점해 평가 속도와 정확성을 높였다. 2부 팀전에서는 국내 최초로 '인간 대 AI' 방식의 레드티밍 대결이 진행됐다. 참가자들은 5명씩 조를 이뤄 AI 에이전트와 동일한 미션을 수행했는데, 멀티 AI 에이전트 레드티머가 인간을 근소한 차이로 앞섰다. 김 리더는 "생성형 AI가 금융 서비스에 빠르게 적용되면서 범용적인 안전성뿐만 아니라 금융 도메인의 특성과 규제를 반영한 정교한 검증 역량이 중요해지고 있다"며 "이번 캠프가 금융 서비스의 특성과 규제를 반영한 AI 안전성 평가를 직접 경험하고, 잠재적 위험에 어떻게 대응해야 할지 고민하는 계기가 됐길 바란다"고 말했다.

2026.07.23 15:41이나연 기자

[AI 리더스] 셀렉트스타는 어떻게 은행 '신뢰성 검증' 도맡았나

"사람이 100% 수작업으로 했다면 60일이 걸렸을 평가를 50분 만에 끝냈습니다." 김세엽 셀렉트스타 대표는 지난 13일 서울 강남구 본사에서 지디넷코리아와 만나 NH농협은행 생성형 인공지능(AI) 서비스 검증 사례를 이같이 소개했다. NH농협은행은 사내 업무·금융 지식 질의응답 AI를 개발하면서 셀렉트스타의 신뢰성 검증 자동화 솔루션 '다투모 이밸(DATUMO eval)'을 도입했다. 평가 기간이 두 달에서 한 시간 이내로 줄면서 AI를 수정할 때마다 검증을 다시 돌려 목표 성능에 도달했는지 확인할 수 있게 됐다. 다투모 이밸을 정식 도입한 은행은 NH농협은행만이 아니다. 우리은행은 국내 최초 AI 청약 상담 서비스를 개발하며 금융보안원 보안성 검증을 이 솔루션으로 진행했고, 신한은행은 현업 부서가 직접 AI 서비스를 만드는 전사 생성형 AI 플랫폼에 평가 모듈로 탑재했다. 세 은행 모두 별도 기술검증(PoC) 기간 없이 곧바로 정식 도입을 택했다. 김 대표는 "세 은행 모두 생성형 AI를 도입하는 과정에 평가가 필수라는 인식이 명확했다"며 "다투모 이밸이 정확하고 일관되게 목표 수준 도달 여부를 확인해 준다는 점이 바로 도입으로 이어졌다"고 설명했다. 은행들이 AI 서비스 평가를 속속 도입하게 된 배경에는 바로 규제 완화가 있다. 금융당국이 망분리 규제를 풀고 혁신금융서비스 제도로 외부 AI 활용 길을 열자 은행의 AI 도입은 그룹 차원으로 확산됐다. 하지만 서비스 신뢰도를 확인하는 검증 절차는 사람이 일일이 평가 질문을 만들고 답변을 검수하는 수작업에 머물러 있었다. 김 대표는 "사람이 직접 평가하던 방식으로는 충분한 AI 검증이 이뤄질 수 없었다"며 "고객 신뢰와 리스크 관리가 핵심인 금융에서 안전성 판단이 서지 않으면 어떤 액션도 할 수 없다"고 강조했다. 은행들이 AI 서비스 도입에 있어 가장 경계하는 위험은 환각(할루시네이션)이다. 상품 설명서와 약관 등 정해진 문서를 근거로 답해야 하는 업무 특성상 AI가 없는 내용을 지어내면 곧바로 금융 사고로 이어지기 때문이다. 민감 정보 유출을 막는 보안 평가, 편향·부적절 발언을 거르는 안전성 평가도 주요 검증 항목으로 꼽힌다. 여기에 AI가 실제 업무를 수행하는 에이전트로 진화하면서 정답이 정해지지 않은 업무까지 원칙 기준으로 채점해야 하는 단계에 이르렀다. 셀렉트스타는 라우터·플래너·툴콜링 등 에이전트 핵심 구성 요소 하나하나를 평가하도록 솔루션을 확장했다. 문제는 평가를 반복할수록 커지는 비용 부담이다. AI 답변을 채점할 때마다 거대언어모델(LLM)을 가져와 쓰면 그만큼 컴퓨팅 비용이 불어난다. 이를 보완하기 위해 등장한 평가 특화 모델들은 언어나 도메인이 바뀌면 채점 성능이 급격히 떨어지는 한계가 있었다. 셀렉트스타가 채점 성능은 유지하면서 크기를 줄인 평가 특화 소형 모델 '이스타(E-Star) 12B'를 직접 개발한 이유다. 이 모델은 언어가 영어에서 한국어로, 분야가 일반에서 금융·법률로 바뀌어도 일관된 평가 성능을 낸다. 관련 논문은 최근 자연어처리 분야 국제 학회 ACL 2026 워크숍에 채택되기도 했다. 김 대표는 "E-Star 12B는 오픈AI 'GPT-5.5' 96% 수준으로 평가하면서도 크기가 작아 반복 평가에 드는 컴퓨팅 부담을 줄였다"며 "보안 규정상 외부 AI로 데이터를 보낼 수 없는 금융사 내부망에서 구동되는 점도 강점"이라고 부연했다. 기술 못지않은 차별점은 운영 방식에 있다. 셀렉트스타는 평가 지표 131종을 기본 제공하면서 사내 신뢰성 평가 전문가가 고객 도메인 전문가와 함께 지표를 새로 설계하는 컨설팅을 병행한다. 이 전담 인력만 전체 임직원 170명(5월 말 기준) 가운데 18명이다. 팔란티어의 전방 배치 엔지니어(FDE)처럼 고객 문제를 직접 풀며 얻은 경험을 제품에 쌓아 경쟁사들과의 격차를 벌리겠다는 전략이다. 김 대표는 "이 사이클을 얼마나 돌렸느냐가 결국 진입장벽"이라며 "해외에도 평가 플랫폼은 있지만 컨설팅까지 함께 제공하는 곳은 많지 않다"고 강조했다. 금융에서 쌓은 경험은 다른 산업으로 확장되고 있다. 공공·국방 분야에서는 일부 사업 수주가 확정돼 계약 절차를 밟는 중이다. 제조 분야에서는 AI 판단 오류가 물리적 사고로 이어질 수 있는 피지컬 AI를 겨냥해 사내 연구소가 평가 기술 연구개발에 들어갔다. 해외 시장은 미국과 일본, 중동 세 축으로 공략한다. 이미 지사를 둔 미국에서는 전략적 투자자인 세일즈포스와 협업 접점을 넓히고 있다. 일본의 경우 K-스타트업센터(KSC) 도쿄 입주 프로그램에 선정돼 지사 설립을 위한 거점부터 확보했다. 중동은 데이터센터부터 모델까지 국가 차원의 소버린(주권) AI를 추진하는 만큼 관련한 초기 협력 논의를 진행하고 있다. 김 대표는 "신뢰성 평가는 한 번 하고 끝나는 일이 아니라 AI를 운영하는 내내 반복적으로 돌아가는 구조"라며 "고객이 AI 서비스를 지속적으로 개선하도록 돕는 엔드투엔드 플랫폼을 만드는 것이 목표"라고 밝혔다.

2026.07.19 08:06이나연 기자

[SW키트] AI가 직접 일하는 시대…신뢰성 검증 시장 커진다

생성형 인공지능(AI)이 산업 전반에 확산하면서 AI 결과물 신뢰성을 검증하는 시장이 성장하고 있다. 17일 IT 업계에 따르면 AI 기업들은 생성형 AI가 작성한 문서를 비롯한 AI 모델 답변 품질, 이미지·영상·음성의 조작 여부를 판별하는 솔루션 공급에 나섰다. 사람이 AI 결과물을 일일이 확인해야 하는 부담이 커지면서 검증 업무에도 AI를 활용하려는 수요가 늘어난 영향이다. AI 신뢰성 검증 시장은 세 영역으로 나뉜다. AI가 작성한 글을 판별하는 텍스트 검증과 모델 정확도·안전성을 평가하는 모델 검증, 이미지·영상·음성 진위를 확인하는 멀티미디어 검증이 대표적이다. 텍스트 검증 시장에서는 학교 과제와 연구 논문, 기업 채용을 위한 자기소개서 중심으로 수요가 확대되고 있다. 이에 발맞춰 무하유는 표절검사 서비스 '카피킬러'를 운영하며 쌓은 데이터 분석과 자연어 처리 기술을 기반으로 AI 작성 탐지 솔루션 'GPT킬러'를 개발했다. GPT킬러는 문서를 문단 단위로 분석해 생성형 AI가 작성했을 확률을 제시하고 AI가 생성했을 가능성이 높은 단어의 확률을 역추적하는 솔루션이다. 문서 전체에 대한 판정만 내리는 것이 아니라 AI 작성이 의심되는 부분을 문단별로 보여줄 수 있어, 사용자가 판단 근거를 다시 확인할 수 있도록 돕는다. 해당 솔루션 기술은 카피킬러와 AI 서류평가 솔루션 '프리즘'에도 적용됐다. 무하유는 지원자의 답변 내용과 면접 태도를 분석하는 AI 면접 솔루션 '몬스터'도 운영하고 있다. 프리즘은 자기소개서 등 서류를 분석해 직무 적합도를 평가한다. 몬스터는 지원자 답변을 바탕으로 직무·조직 적합도와 면접 태도, 의사소통 능력을 종합적으로 검토한다. 두 솔루션은 합격과 불합격 결과만 제시하지 않고 어떤 기준과 근거로 결론을 내렸는지 함께 보여준다. AI의 판단 과정을 사람이 다시 확인할 수 있어야 결과도 신뢰할 수 있다는 설명가능성 중심의 검증 체계를 적용했다. 무하유는 한국어뿐 아니라 일본어 시장도 공략하고 있다. 지난 2020년 출시한 일본어 표절검사 서비스 '카피모니터'는 현재 80개 고객사와 22만명 이상이 이용하고 있으며 일부 일본 대학은 과제 제출 과정에서 검사를 의무화했다. 프리즘과 몬스터는 AI 신뢰성 인증과 정보보호관리체계 인증을 취득했다. 두 솔루션은 현재 700개 이상 고객사의 채용 과정에서 활용되고 있다. 셀렉트스타, AI 모델 품질 따진다…딥브레인AI, 멀티미디어 검증 나서 AI 모델 자체 신뢰성을 검증하는 시장도 커지고 있다. 모델 환각과 편향성, 유해 답변, 검색증장생성(RAG) 품질과 정확성을 따져 모델 기반 서비스 질을 높이기 위한 전략이다. 셀렉트스타는 생성형 AI 평가 플랫폼 '다투모 이벨'로 기업용 AI 모델 신뢰성을 검증하고 있다. 고객사가 보유한 정책과 상품 문서를 바탕으로 실제 이용 환경을 반영한 평가 질문을 만들고 AI 응답을 항목별 기준에 따라 자동 채점하는 식이다. 기업은 GPT-4o와 클로드, 라마 등 여러 모델을 동일한 데이터셋으로 평가할 수 있다. 모델별 정확도와 안전성을 비교해 자사 서비스에 적합한 모델을 선정하거나 운영 중인 AI의 품질을 관리할 수 있다. 셀렉트스타는 신한은행과 우리은행, NH농협은행 등 주요 시중은행에 AI 신뢰성 검증 솔루션을 공급했다. 금융권에서 생성형 AI 활용이 확대되면서 잘못된 정보 제공과 유해 답변을 사전에 차단하려는 수요가 늘어났다는 평이 이어지고 있다. AI가 만든 이미지와 영상, 음성의 진위를 판별하는 멀티미디어 검증 시장도 확대되고 있다. 얼굴을 바꾸는 기존 딥페이크뿐 아니라 생성형 AI로 콘텐츠 일부를 수정하거나 새로운 인물과 음성을 만드는 행위까지 검증 범위가 넓어졌다. 딥브레인AI는 이미지와 영상, 음성을 함께 분석하는 멀티모달 기반 딥페이크 탐지 솔루션 'AI 디텍터'를 운영하고 있다. 얼굴 합성과 AI 생성 얼굴, 입술 움직임 합성, 음성 복제 등 주요 조작 유형을 판별한다. AI 디텍터는 콘텐츠의 진위 여부와 함께 조작이 의심되는 구간과 조작 유형, 분석 점수를 제공한다. API와 서비스형 소프트웨어(SaaS) 형태로 제공돼 기존 검증·모니터링 시스템과 연동할 수 있다. 딥브레인AI는 공공기관과 금융기관, 미디어 플랫폼 등을 중심으로 AI 디텍터를 공급하고 있다. 딥페이크를 활용한 금융사기와 명의도용, 허위정보 유포가 확산되면서 실시간 탐지와 근거 기반 판별 수요가 커지고 있다. AI 에이전트 확산은 신뢰성 검증 시장 성장 속도를 더 높일 것으로 예상된다. AI가 정보를 생성하는 데 그치지 않고 기업 시스템에 접속해 업무를 수행하거나 의사결정에 참여하면 작은 오류도 실제 사업 손실과 보안 사고로 이어질 수 있기 때문이다. 가트너는 "2027년까지 기업의 40%가 거버넌스 실패를 이유로 자율형 AI 에이전트 사업을 축소하거나 운영을 중단할 것"이라며 "충분한 검증 체계 구축이 필수 인프라로 자기잡았다"고 분석했다.

2026.07.17 09:13김미정 기자

뤼튼, AI 서비스 신뢰성 강화 '사용자위원회' 공식 출범

뤼튼테크놀로지스가 인공지능(AI) 서비스 안전과 사용자 보호 강화를 위한 '사용자위원회'를 공식 출범했다. 뤼튼테크놀로지스는 지난 10일 이세영 대표와 위원장·위원진이 참석한 가운데 사용자위원회 첫 회의를 개최했다고 13일 밝혔다. AI 서비스가 일상 깊숙이 자리 잡으면서 요구되는 윤리적 책임과 사용자 보호 수준을 강화하기 위한 취지다. 사용자위원회는 외부 전문가 4인으로 구성됐다. 위원장인 이상욱 한양대 철학과 교수를 비롯해 선지원 한양대 법학전문대학원 교수, 이윤형 영남대 심리학과 교수, 황혜진 법무법인 디엘지 변호사가 위원으로 참여한다. 이들은 AI 윤리·철학, 인지·심리, 법학 등 서로 다른 전문 분야의 시각을 결합해 사용자 관점에서 서비스를 점검하게 된다. 뤼튼테크놀로지스는 사용자위원회 논의 결과를 추후 실제 제품과 정책에 반영할 예정이다. 이세영 뤼튼테크놀로지스 대표는 "빠른 성장의 속도가 붙을수록 기술의 편리함 뒤에서 놓치고 있는 책임은 없는가라는 질문이 무거워졌다"며 "외부 전문가 위원들의 소중한 목소리를 경청하고 실제 제품과 정책에 성실히 반영하겠다"고 말했다.

2026.07.13 11:35이나연 기자

씽크포비엘, 경찰청 치안 AI 신뢰성 기틀 닦는다

씽크포비엘이 경찰청의 치안 인공지능(AI) 신뢰성 확보 작업을 맡으며 공공 AI 거버넌스 기준 수립의 선도 사례를 만든다. 씽크포비엘은 지난달 경찰청 'AI 영향평가 및 위험관리방안 수립' 정책과제연구 수행기관으로 선정된 데 이어 이달 사업에 착수했다고 9일 밝혔다. 올해 말 완료될 이번 연구는 경찰청이 수사·민원 업무 전반에 AI 기술을 도입하는 과정에서 'AI 발전과 신뢰 기반 조성 등에 관한 기본법(AI기본법)'과 내년부터 시행되는 'AI 및 데이터 기반 행정 활성화에 관한 법률(공공AI법)'에 대응하기 위한 영향평가·위험관리 체계를 마련하는 사업이다. 씽크포비엘은 ▲국내외 정책·조직 현황 조사 ▲경찰청 도입 AI 사업·서비스 영향평가 ▲AI 위험관리 정책 수립 ▲위험관리 조직체계·역할·책임 정립 ▲안전성·신뢰성 확보조치 및 문서화 작업을 수행한다. 치안 AI 분야는 기본권·신체·인권·공권력과 직결된다. 이에 씽크포비엘은 국내 법령 준수는 물론 경제협력개발기구(OECD)·유럽연합(EU) AI 법·ISO/IEC 국제표준 등 글로벌 AI 거버넌스 규범과의 정합성도 함께 맞출 계획이다. 박지환 씽크포비엘 대표는 "치안 AI는 성능 중심의 기술 검토만으로는 충분하지 않은 분야"라며 "글로벌 AI 거버넌스 규범을 경찰청이 선제적으로 검토하는 것은 투명하고 설명 가능한 치안 AI 운영체계 기준을 높이는 시도"라고 말했다.

2026.07.09 15:07이나연 기자

"보안에 퍼펙트 스톰...국가 차원 CAISO 필요"

국가 차원의 '인공지능정보보호최고책임자(CAISO)'가 필요하다는 지적이 나왔다. AI기술 발전으로 고도화하는 해킹에 대응하기 위한 차원이다. 고려대 AI보안연구소장을 맡고 있는 이상근 고려대 정보보호대학원 교수는 8일 서울 중구 신라호텔에서 열린 '제15회 정보보호의 날 기념식'에서 기조연설을 하며 "보안에 퍼펙트 스톰이 온다. 국가 차원의 '인공지능정보보호최고책임자(CAISO)'가 필요하다"고 제안했다. 또 국가인공지능전략위원회 보안특별위 위원으로 활동하고 있는 윤두식 이로운앤컴퍼니도 이 행사에서 기조강연자로 나서 AI보안을 안전벨트로 비유하며 "시속 200km로 달리고 있는 자동차에 안전벨트가 없는 상황"이라며 현 AI보안을 우려했다. " 윤 대표는 '안전한 AI시대: 위협의 실체와 우리가 갖춰야 할 안전벨트'를 주제로 발표했다. AI 보안을 자동차 안전벨트에 비유해 설명한 그는 볼보에서 자동차 안전벨트를 처음으로 발명했을 당시, 불필요한 안전장치라는 의견이 있었지만, 지금은 자동차를 더 빠르고 안전하게 달릴 수 있게 만든 주인공이 안전벨트라는 것이다. 그는 AI도 '안전벨트'를 갖춰야 한다면서 "AI 보안은 AI 활용을 억제하는 것이 아니라, 더 안전하게 잘 사용할 수 있게 만드는 것"이라고 역설했다. 윤 대표는 "지난해 한 해 동안에만 7516만건의 개인정보가 유출된 것으로 집계됐다. 우리나라 전 국민의 개인정보가 여러 번 유출된 셈"이라며 "올해 상반기만 하더라도 따릉이, 사랑의열매, 듀오, 티빙 등 기업 및 기관에서 개인정보가 유출됐다"고 진단했다. 이에 그는 8대 AI 보안·신뢰 체계를 갖춰야 한다고 강조했다. 윤 대표는 "AI 에이전트는 수없이 많은 시스템에 접근한다. 따라서 AI 에이전트에 대한 신원 검증, 가시성 확보가 필요하다"면서 ▲AI 가시성 ▲프롬프트 인젝션 등 공격 차단 ▲AI 출력 검증 ▲AI 에이전트 행위 통제 ▲데이터 격리 ▲AI 에이전트 신원 검증 ▲행위 로그 확보 ▲데이터 주권 확보 등이 핵심이다. 그는 "AI는 전문가들만 쓸 수 있는 것이 아니고, 일반인 역시 안전하게 사용할 수 있어야 비로소 활성화된다"며 "한국이 앞장서서 안전한 AI 사용을 위해 세계와 협력할 것"이라고 밝혔다. "'보안 퍼펙트 스톰' 온다…'CISO' 아닌 'CAISO' 필요" 이상근 고려대 정보보호대학원 교수는 AI로 코드를 생성하는 '바이브 코딩'의 시대가 다가온 만큼 점검 대상이 폭증했다고 짚었다. 그러나 방어할 인력이나 기술은 턱없이 부족해 방어자의 부담이 늘어나는 '보안 퍼펙트 스톰'이 빚어질 수 있다고 경고했다. 이 교수는 "프론티어 AI 모델을 기반으로 한 체계에서는 공격의 모든 과정이 자동화된다. 일일이 전문가들이 투입돼 작성하던 익스플로잇(취약점 공격)도 수분 내로 생성할 수 있는 시대가 다가올 것"이라며 "자체적인 AI 보안 자동화 역량이 기업뿐 아니라 국가 규칙까지도 좌우할 수 있다"고 말했다. 이어 그는 "국가 차원의 '인공지능정보보호최고책임자(CAISO)'가 필요하다. AI 보안의 총괄 세팅을 할 수 있는 대책이 있어야 한다"면서 "또한 민간 협력 컨트롤 타워 구축이 반드시 필요하다. 뿐만 아니라 독자적 AI 방어 기술에 대한 연구개발이 필요하다"고 강조했다.

2026.07.08 22:37김기찬 기자

셀렉트스타, AI 안전성 평가 기술력 국제 학계서 입증

셀렉트스타의 인공지능(AI) 안전성 연구 논문들이 세계적 권위의 머신러닝 학회 워크숍에 채택되며 신뢰성·안전성 평가 기술력을 입증했다. 셀렉트스타는 자사 AI 세이프티팀의 연구 논문 3편이 '국제머신러닝학회(ICML) 2026' 워크숍에 게재된다고 6일 밝혔다. ICML은 ICLR·NeurIPS와 함께 세계 최고 권위의 AI 학회로, 이날부터 11일까지 서울 코엑스에서 열린다. 채택된 논문은 실사용 환경에 배포된 에이전트형 AI의 안전·보안·신뢰성을 다루는 'AIWILD 워크숍' 1편, 생성형 AI의 문화적 가치를 평가·설계하는 방법을 다루는 '컬처 x AI 워크숍' 2편이다. '신뢰성에서 표현력까지: 루브릭 기반 안전성 평가 모델을 위한 커리큘럼(Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges)' 논문은 안전성 평가 기준(루브릭)에 맞춰 AI 답변의 위험성을 검증·채점하는 평가 모델을 제안했다. '커리큘럼 러닝'을 도입해 범용 평가 모델이 금융권 데이터 등 새로운 도메인에서도 우수한 성능을 발휘함을 입증했다. '동아시아·동남아시아 맥락에서의 문화 적응형 레드티밍(Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts)'을 주제로 한 논문은 문화 맞춤형 레드티밍 벤치마크 생성 프레임워크 'CAGE'를 아시아권으로 확장 적용해 영어권 벤치마크 직역만으로는 국가·문화권별 위험을 포착하기 어렵다는 점을 분석했다. '한국 문화의 LLM 정렬 반영: 문화적 일관성을 향하여(Korean Culture into LLM Alignment: Toward Cultural Coherence)' 경우, 대규모언어모델(LLM)에 한국의 사회규범·법제도·언어적 맥락을 반영한 안전 정렬 데이터셋 구축 파이프라인을 제시했다. 답변 근거를 스스로 추론하도록 학습시켜 성능 저하 한계를 극복한 것이 특징이다. 이는 정부 주도의 '독자 AI 파운데이션 모델' 프로젝트에도 활용되고 있다. 김세엽 셀렉트스타 대표는 "이번 논문 채택은 AI 안전성 분야에서 요구되는 핵심 기술 역량을 입증했음을 보여준다"며 "ACL 2026, ICLR 2026 메인 컨퍼런스 채택에 이어 ICML 2026 워크숍에서도 연구 성과를 인정받은 만큼 신뢰할 수 있는 AI 생태계 구축을 위한 기술 개발에 힘쓰겠다"고 말했다.

2026.07.06 15:22이나연 기자

에버스핀, 티냅스 손잡고 'AI 신뢰 보안 서비스' 본격 진출

에버스핀이 티냅스와 손잡고 'AI 신뢰 보안 서비스' 시장에 본격 진출한다. 인공지능(AI) 보안 전문기업 에버스핀(대표 하영빈)은 AI 안전성 전문기업 티냅스와 AI 시대의 신뢰할 수 있는 서비스 환경 구축을 위해 'AI 신뢰 보안(Trust Security)' 분야에서 전략적 협약을 체결했다고 6일 밝혔다. 에버스핀은 이번 협력을 계기로 AI 레드티밍(AI Red Teaming)을 비롯한 AI 신뢰 보안 전반 서비스로 한국·일본·동남아에서 확보한 사업 기반을 바탕으로 글로벌 AI 신뢰 보안 시장 진출을 본격 확대한다는 계획이다. 에버스핀 관계자는 “최근 생성형 AI와 AI 에이전트 확산으로 프롬프트 인젝션·탈옥·데이터 유출·권한 오남용·에이전트 오용 등 기존 정보보안과는 다른 새로운 유형의 위협이 빠르게 증가하고 있다”며 “AI 모델 성능뿐 아니라 안전성·신뢰성·운영 환경까지 종합적으로 검증하는 AI 신뢰 보안이 차세대 보안의 핵심 분야로 주목받고 있다”고 설명했다. 에버스핀은 티냅스와의 협력을 통해 AI 시스템 설계 단계부터 운영 단계까지 발생할 수 있는 다양한 보안 위협을 사전에 검증하고, AI 레드티밍을 비롯한 AI 신뢰 보안 서비스를 고도화해 국내외 기업이 AI를 더욱 안전하고 신뢰성 있게 도입·운영할 수 있도록 지원할 계획이다. 에버스핀은 금융·공공·플랫폼·제조 등 AI 활용이 확대되는 산업을 중심으로 AI 서비스 안전성과 신뢰성을 객관적으로 검증하는 서비스를 제공하고, 글로벌 규제와 국제 표준에 대응할 수 있는 AI 신뢰성 평가 체계도 지속해서 확대해 나갈 예정이다. 에버스핀은 또 기존 해킹·피싱방지 솔루션에 AI 신뢰 보안 서비스를 추가해 AI 보안 포트폴리오를 완성하고, 일본을 비롯한 해외 사업 네트워크를 기반으로 글로벌 AI 신뢰 보안 레퍼런스를 확대해 AI 보안 분야의 글로벌 표준을 선도하는 기업으로 도약한다는 전략이다. 하영빈 에버스핀 대표는 “AI 시대에는 AI를 얼마나 잘 활용하고, 얼마나 안전하고 신뢰할 수 있게 운영하느냐가 중요해지고 있다”며 “AI 신뢰 보안은 앞으로 모든 AI 서비스의 필수 인프라가 될 것이며, 이번 협력을 계기로 글로벌 시장에서도 경쟁력 있는 AI 보안 서비스를 지속해서 선보이겠다”고 말했다. 강민승 티냅스 대표는 “AI 신뢰 보안의 핵심은 AI의 안전성과 신뢰성을 객관적으로 검증하는 것”이라며 “이번 협력이 국내외 기업이 AI를 도입하고 활용하는 데 더욱 안심할 수 있는 신뢰의 기준점이 되기를 기대한다”고 말했다.

2026.07.06 10:39주문정 기자

"성능보다 신뢰"…씽크포비엘, '트라이톤 해커톤' 참가자 모집

씽크포비엘이 인공지능(AI) 신뢰성을 개발 단계에서 설계·검증하는 해커톤 참가자를 모집한다. 씽크포비엘은 오는 8월 21일까지 AI 신뢰성 해커톤 '트라이톤' 두 번째 대회 참가 신청을 받는다고 29일 밝혔다. 이번 대회는 전공과 관계없이 AI 신뢰성·책임에 관심 있는 대학생과 대학원생이 무료로 참가할 수 있다. 트라이톤은 일반 AI 해커톤처럼 성능 경쟁이나 문제 발견에 그치지 않는 대회다. 참가자는 AI 개발 과정에서 신뢰성을 어떻게 설계하고 입증할 수 있는지를 겨룬다. 참가를 위해서는 최소 3명으로 팀을 구성해야 한다. 팀원은 AI 기획자와 데이터 과학자, AI 엔지니어 중 하나의 역할을 맡아야 한다. 4명 이상일 경우 같은 역할을 여러 명이 맡거나 추가 역할을 정할 수 있다. 대회는 9월 초 서울서 열리는 오리엔테이션 시작으로 진행된다. 이후 10월 16일까지 예선을 거쳐 11월 20일까지 본선을 치르고 11월 말이나 12월 초 시상식으로 마무리된다. 오리엔테이션에서는 대회 안내와 AI 신뢰성 기초 교육이 진행된다. 필수 참석은 아니지만 주요 내용이 공유되는 만큼 팀당 최소 1명 이상 참석이 필요하다. 입상팀에는 상금과 실무 경험 기회가 제공된다. 본선 상위 6팀에는 AI 신뢰성 관련 국제표준 번호를 활용해 52만 5900원부터 420만 100원까지 상금이 차등 지급된다. 참가자에게는 200만원 상당 AI 신뢰성 교육 수강 기회가 무료로 제공된다. 본선 진출팀 참가자 일부에게는 AI 신뢰성 전문가 민간자격 무료 응시 기회도 주어진다. 상위 6팀 참가자는 AI 관련 기업에서 채용 연계 인턴십에 참여할 수 있다. 지난해 첫 대회에서도 상위 입상 6팀 참가자는 상금 외에 인턴십 기회를 받았다. 트라이톤은 지난해 10월 국내 최초로 시작돼 올해 1월 첫 대회를 마쳤다. 당시 전국 대학생과 대학원생 191명 45팀이 참가했으며 참가자 상당수는 다양한 학문 전공자로 구성됐다. 씽크포비엘은 AI 신뢰성 검증과 소프트웨어(SW) 안전·품질 컨설팅을 주력으로 하는 국내 기업이다. 데이터 편향 분석을 비롯한 중복 제거, 인공지능 신뢰성 교육·컨설팅·도구 제공 등을 통해 기업과 공공기관이 신뢰할 수 있는 AI를 설계·검증하도록 지원한다. 한편, 첫 대회와 연계해 올해 1월 처음 시행된 'AI 신뢰성 전문가 민간자격' 일반등급 시험에서는 참가자 가운데 40명이 합격했다.

2026.06.29 10:15김미정 기자

클라이온 'REX', AI 신뢰성 검증 시장 사각지대 해소 나선다

생성형 AI 도입이 확산됨에 따라 'AI 신뢰성' 검증이 기업 가치의 핵심 요소로 떠오르고 있다. 이에 AI 클라우드 전문기업 클라이온은 AI 신뢰성 검증 및 최적화 솔루션 'REX(RAG evaluation eXpert)'를 통해 공공 및 민간 시장 공략을 본격화한다고 5일 밝혔다. REX는 최근 'LLM 기반 RAG 시스템의 실시간 성능 진단을 위한 평가 장치 및 방법'에 대한 핵심 기술 특허 등록을 완료하며 기술적 차별성을 확보했다. 기존 자동화 평가의 한계 극복, '진단과 처방' 중심의 차별화 예전 AI 신뢰성 검증 솔루션들은 대량의 질문 생성과 일괄 채점 등 자동화 효율성에 집중해왔다. 이로 인해 현장에서는 감점 원인 파악과 구체적인 개선 방향 도출을 개발자 직관에 의존해야 하는 한계가 있었다. 또 정확도 측정에만 치우쳐 편향, 차별, 유해 표현 등 안전성 영역 검증이 미흡하다는 지적을 받아왔다. REX는 단순 채점을 넘어 AI가 스스로 성능 저하 원인을 분석하고 구체적인 개선 방향을 제시한다. 다수의 오류를 자동으로 군집화해 문제의 우선순위를 시각화하며 ▲정확성 ▲안전성(유해성·편향) ▲품질(일관성·간결성) ▲검색·생성 품질 등 4대 축, 12개 지표로 입체 진단을 수행한다. 이는 EU AI Act, NIST AI RMF 등 글로벌 AI 거버넌스 표준의 요구사항을 반영하여 한국어 환경에 최적화한 결과다. 완전 폐쇄망 지원으로 공공·금융 데이터 보안 문제 해결 기존 자동화 솔루션의 또 다른 제약은 외부 클라우드나 외부 AI 연동으로 인한 데이터 유출 위험이었다. 이 때문에 시민 민원, 금융 거래, 환자 진료 등 민감 데이터를 다루는 공공, 금융, 의료 현장에서는 도입이 어려웠다. REX는 외부 호출 없이 내부망에서만 구동되는 '완전 폐쇄망 운영'을 지원해 데이터 보안 공백을 해소했다. 아울러 운영 중인 시스템에 직접 연결해 실시간으로 성능 저하를 감지하는 모드, 최적의 조합을 찾는 실험 모드, 외부 AI 서비스 검증 모드 등 세 가지 평가 환경을 모두 제공한다. 또한 문서 업로드만으로 평가용 데이터셋을 자동 생성하고, 노코딩 환경을 지원해 현업 담당자의 운영 편의성을 높였다. 대규모 공공 AX 사업 경험 바탕의 검증된 기술력 REX는 클라이온이 실제 대규모 공공 AI 구축 사업을 수행하며 얻은 실무 경험과 품질 기준을 바탕으로 개발됐다. 클라이온은 다양한 보안 등급과 모델 환경을 다뤄본 핵심 플레이어다. 주요 사업 수행 실적으로는 ▲서울시 인공지능 챗봇 2.0 구축 ▲교육부 독서교육플랫폼 구축·운영 ▲한국교육개발원 플랫폼 통합운영 ▲부산시 인공지능 융합서비스 도입 ▲경기도 홈페이지 생성형 AI 챗봇 ▲DPG 생성형 AI 페르소나 챗봇 등이 있다. 클라이온 관계자는 "REX는 단순한 자동 채점기를 넘어 '측정-진단-처방-재검증'의 선순환 체계를 구축한 솔루션"이라며 "AI 도입 이후 신뢰성 확보와 검증에 어려움을 겪는 기업과 기관에 명확한 기술적 보증서를 제공하겠다"고 밝혔다.

2026.06.05 14:55백봉삼 기자

앤트로픽, '오퍼스 4.8' 출시…"속도보다 신뢰성 앞세워"

구글, 오픈AI에 이어 앤트로픽도 신뢰성과 작업 처리 능력을 강화한 새 인공지능(AI) 모델을 내놨다. 앤트로픽은 28일(현지시간) 최신 모델 '오퍼스 4.8'을 출시했다고 공식 홈페이지를 통해 밝혔다. 현재 오퍼스 4.8은 모든 서비스 환경에서 이용 가능하다. 표준 가격은 이전 오퍼스 모델과 동일하다. 최신 모델은 직전 버전인 오퍼스 4.7 출시 41일 만에 나왔다. 이는 기존 앤트로픽 모델 개선 주기보다 빠른 속도다. 다수 외신은 빠른 출시 배경에 오퍼스 4.7에 대한 시장 반응이 영향을 미쳤다고 봤다. 경쟁사 움직임이 앤트로픽에 압박으로 작용했다는 분석도 이어졌다. 같은 기간 오픈AI는 코덱스를 새로 내놨고 구글도 제미나이 플래시 모델을 공개해서다. 이번 새 모델 발표에선 성능보다 신뢰성이 더 강조된 것으로 나타났다. 앤트로픽은 오퍼스 4.8이 부정확하거나 불확실한 데이터를 다루는 방식이 개선됐다고 밝혔다. 초기 테스트 참여자도 신규 모델이 작업 과정 불확실성을 더 잘 표시한다고 평했다. 앤트로픽은 이번 모델이 근거 없는 주장을 줄인 점도 핵심 변화로 꼽았다. 브리지워터 어소시에이츠도 "오퍼스 4.8이 분석 입력값과 출력값에서 발생할 수 있는 문제를 선제적으로 드러내는 경향이 강해졌다"고 설명했다. 같은 날 앤트로픽은 '다이내믹 워크플로' 기능도 연구 프리뷰 형태로 공개했다. 다이내믹 워크플로는 오퍼스 같은 대형 모델이 복잡한 작업을 나눠 처리하도록 돕는 시스템이다. 수백 개 병렬 서브에이전트를 활용해 큰 규모의 업무를 관리할 수 있다. 앤트로픽은 클로드 코드와 오퍼스 4.8을 함께 사용하면 코드베이스 규모의 이전 작업도 수행할 수 있다고 말했다. 수십만 줄 코드 변경을 시작 단계부터 병합 단계까지 처리할 수 있다는 설명이다. 이 과정에서는 기존 테스트 스위트가 기준 역할을 한다. 모델이 대규모 코드 변경을 수행하더라도 기존 테스트를 통과하는지 확인하는 방식으로 작업 품질을 살피는 구조다. 이날 미토스 업그레이드 버전은 공개되지 않았다. 지난달 잠정 프리뷰 이후 사이버 보안 우려가 제기돼서다. 회사는 안전장치를 마련한 뒤 미토스급 모델을 제공할 방침이다. 앤트로픽은 "우리는 이러한 안전장치를 개발하는 데 빠른 진전을 보이고 있으며 앞으로 몇 주 안에 미토스급 모델을 모든 고객에게 제공할 수 있을 것으로 기대한다"고 밝혔다.

2026.05.29 10:48김미정 기자

중고나라, 서울평가정보와 협력…"AI 기반 안전 거래 환경 구축"

중고나라는 서울평가정보와 인공지능(AI) 기반 안전 거래 환경 구축을 위한 업무협약(MOU)을 체결했다고 27일 밝혔다. 이번 협약은 중고나라가 축적해온 거래 데이터 및 플랫폼 운영 역량과 서울평가정보의 인증·평가 분야 전문성을 결합해 신뢰할 수 있는 거래 환경을 제공하고자 마련됐다. 이번 협약에 따라 중고나라와 서울평가정보는 ▲고액·고위험 거래 신뢰 강화 시스템 구축 ▲인증 체계 및 FDS(이상거래 탐지 시스템) 고도화 ▲사기 피해 예방을 위한 AI 기술 협력 ▲제휴 사업 확대 및 공동 마케팅 추진 등 다양한 분야에서 협업을 강화해 나갈 예정이다. 양사는 'AI 기반 거래 리스크 예측 모델' 공동 개발을 추진해 거래 과정에서 발생할 수 있는 다양한 위험 요소에 선제적으로 대응해 나갈 계획이다. 이를 통해 안전성과 신뢰 확보가 중요한 고가 상품군·자산형 거래 영역에서 고도화된 이용자 보호 체계를 갖출 수 있을 것으로 회사 측은 전망하고 있다. 중고나라는 자사 앱을 통해 서울평가정보의 기업 간 거래(B2B) 비즈사이렌(BIZSIREN) 및 개인 정보(신용)관리 서비스 사이렌(SIREN)24 등 다양한 서비스의 연계 및 공동 마케팅을 추진하며, 중고차·고가거래 분야의 신사업 제휴로도 협력 범위를 단계적으로 확장해 나갈 방침이다. 최인욱 중고나라 대표는 "서울평가정보와의 협력을 통해 중고나라 이용자에게 보다 신뢰도 높은 거래 경험을 제공할 수 있게 될 것"이라며 "이용자 누구나 자신의 소유물을 안전하게 거래하고 자산 가치로 전환할 수 있도록 신뢰 기반 거래 시스템 조성에 최선을 다하겠다"고 말했다.

2026.05.27 15:15박서린 기자

[현장] "에이전틱 AI, 실행 중 평가 필수"…한·싱 '위험 관리 원칙' 내달 나온다

인공지능(AI)이 스스로 판단하고 행동하는 '에이전틱 AI' 시대가 본격화하면서 기존 거대언어모델(LLM) 중심의 안전 평가 체계로는 위험을 충분히 통제할 수 없다는 전문가 경고가 나왔다. 실행 환경에 따라 행동이 달라지는 에이전트 특성상 사전 정적 평가만으로는 한계가 있으며, 실행 중 동적 평가와 국제 표준 기반 검증 체계 구축이 병행돼야 한다는 지적이다. 김명주 인공지능안전연구소(AISI) 소장은 26일 서울 서초구 드림플러스 강남에서 열린 '2026 AI 세이프티 컴패스(2026 ASC)'에서 "에이전트는 목표를 세우고 계획하고 도구를 쓰고 행동하기에 전혀 다른 위험 완화 원칙이 필요하고 개발 단계 테스트만으로는 충분하지 않다"고 밝혔다. 김 소장은 다음 달 공식 발표를 앞둔 한-싱가포르 공동 에이전틱 위험 관리 원칙 초안을 이 자리에서 선공개했다. AISI는 지난해 12월 싱가포르 AI안전연구소와 업무협약(MOU)을 체결한 뒤 결제·글쓰기 등 도메인에서 에이전트 안전성 공동 평가를 진행해왔다. 초기 6개 도메인에서 현재 12개(한국 6개, 싱가포르 6개)로 확장됐으며 중간 성과를 국제 AI 학술대회 뉴립스(NeurIPS)에 제출할 계획이다. 해당 초안은 각국 기관의 에이전트 관련 가이드라인을 통합 정리한 메타 원칙서 성격으로, 범용인공지능(AGI)·일반 AI·에이전트를 구분해 설계·개발, 테스팅·배포, 운영·모니터링 등 3단계에 걸친 10가지 위험 완화 원칙을 담고 있다. 에이전트에 대한 최소 권한 부여, 신원 및 파생 관계 추적, 단계적 검증 배포, 공급망 위험 대응 및 복원력 확보, 실행 중 문맥 변화에 대한 동적 보증, 킬 스위치, 중요 의사결정 시 인간 개입 시점 확보 등이 핵심이다. 김 소장은 "이 원칙들은 모두 초기 단계이며 계속 바뀔 것"이라면서도 "결국 에이전트 환경하에서 표준이 자리를 잡고 그 표준을 중심으로 검증 체계가 구축되는 방향으로 갈 것"이라고 말했다. AISI는 이와 별도로 오픈소스 에이전트 환경 '오픈클로'와 에이전트 전용 사회관계망서비스(SNS) '몰트북'을 직접 구축해 글로벌 AI 모델 3종, 중국 모델 1종, 한국 모델 1종 등 5종에 대한 실제 공격 실험도 진행했다. 오픈클로 실험에서는 악성 명령 수행 여부, 민감정보 외부 유출, 도구 오남용 등 3개 영역을 측정한 결과 모델별 방어율이 최고 93.9%에서 최저 53.3%까지 편차가 컸다. 몰트북 실험에서는 에이전트 간 집단행동은 확인되지 않았으나 민감정보 유출 시도와 연산자원 낭비 유도 행위는 존재했다. 김 소장은 "상상 속 위험이 아니라 실제로 존재하는지 직접 돌려보고 측정해야 한다는 게 전 세계 AI 안전연구소들의 공통된 입장"이라고 설명했다. 앤트로픽 최신 고성능 모델 '미토스' 활용을 중심으로 한 국제 보안 공조 체계 '프로젝트 글래스윙' 참여 전망에 대해서는 조심스러운 입장을 내비쳤다. 미국 정부가 타 국가·기관의 참여를 통제하는 만큼 당장은 우리 정부 차원의 참여가 쉽지 않을 것이라는 전망에서다. 김 소장은 "하위 버전 AI 모델을 통해서라도 최대한 신속하게 취약점을 먼저 찾아내 패치하는 것이 지금으로서는 최선"이라고 말했다. 이어 "패치 자체가 역으로 취약점 분석에 악용될 수 있는 만큼 공개 시점과 방식에 대한 고민이 깊다"고 덧붙였다. 국제인공지능윤리협회(IAAE)가 주최한 이날 행사는 올해 3회차를 맞았으며, 과학기술정보통신부 산하 한국전자통신연구원(ETRI) 부설 조직 AISI와 테크 스타트업 전문 홍보(PR) 에이전시 팀쿠키가 후원했다. 전창배 국제AI윤리협회 이사장은 개회사에서 "자율성을 가진 AI가 오류나 오판을 일으키거나 보안 문제에 노출될 경우 그 피해 규모와 파급력은 과거와 비교할 수 없을 만큼 커질 수 있다"고 말했다.

2026.05.26 14:36이나연 기자

셀렉트스타, 일본 AI 비즈니스 교류전서 신뢰성 평가 플랫폼 알린다

셀렉트스타가 인공지능(AI) 신뢰성 평가 수요가 확대되고 있는 일본 시장에서 신규 파트너십 및 고객 확보에 속도를 낸다. 셀렉트스타는 오는 27일 일본에서 열리는 '2026 AI 프런티어 코리아 인 재팬'에 참가한다고 19일 밝혔다. 이번 행사는 산업통상자원부와 과학기술정보통신부가 주최하고 대한무역투자진흥공사(KOTRA)가 주관하는 한·일 AI 비즈니스 교류 행사다. 국내 AI 혁신 기업 42개사와 일본 현지 글로벌 대기업, 중소기업, 벤처캐피털 등 약 100개사가 한자리에 모이는 비즈니스 교류의 장이 마련될 예정이다. 셀렉트스타는 이번 전시에서 AI 신뢰성 평가 자동화 솔루션 '다투모 플랫폼(Datumo Platform)'을 일본 시장에 선보인다. 다투모 플랫폼은 기업의 AI 서비스 신뢰성 검증을 엔드투엔드(end-to-end)로 지원하는 플랫폼이다. 셀렉트스타는 이번 전시에서 국내 참가 기업 중 유일하게 AI 신뢰성 서비스를 소개한다. 주요 기능으로는 생성형 AI 서비스 특성에 맞는 커스텀 평가 질문을 자동으로 생성하고 평가 기준에 따라 AI의 답변을 평가하는 '다투모 이밸(Datumo eval)', 의도적으로 AI 서비스 취약점을 도출하는 레드티밍 전략과 실시간 운영을 지원하는 '다투모 레드(Datumo Red)' 등이 있다. 기업은 AI 서비스 강점과 약점을 진단하고 결과 대시보드를 통해 개선 방향을 확인할 수 있다. 일본 역시 제조와 금융 등 다양한 산업군에서 AI 도입이 확대되고 AI 서비스에 대한 신뢰성 평가 수요가 높아지고 있다. 셀렉트스타는 부스 운영 및 현지 기업 대상 비즈니스 미팅을 통해 일본 시장에서도 AI 신뢰성 검증 파트너로 자리매김한다는 전략이다. 이종영 셀렉트스타 플랫폼사업본부장은 "세계이동통신사업자연합회(GSMA) 글로벌 연합체 '오픈 텔코 AI' 합류, 글로벌 레드팀 챌린지 주관 경험 등을 바탕으로 AI 신뢰성 평가 역량을 고도화해 왔다"며 "이번 행사를 통해 다투모 플랫폼 가치를 일본 시장에 소개하고 글로벌 AI 신뢰성 평가 솔루션으로 입지를 확대하겠다"고 말했다.

2026.05.19 16:40이나연 기자

IAAE, 안전한 AI 기술 방향 제시한다

국제인공지능윤리협회(이하 IAAE)는 26일 오전 10시 서울 서초구 드림플러스 강남에서 '2026 AI Safety Compass'(이하 2026 ASC)를 개최한다고 밝혔다. 이날 행사에는 AI안전연구소, 한국인터넷진흥원(KISA) 등 공공 분야와 포티투마루, AI 스페라, 데이븐 AI, 에임인텔리전스 등 민간 영역 기업들이 참석해 'AI 에이전트의 보안과 기업의 신뢰 구현 전략'을 주제로 심도있는 논의를 나눈다. 지난 2024년 첫선을 보인 ASC는 매년 '지속가능한 AI'를 위한 논의를 활발하게 이어오며 올해로 3회째를 맞이했다. ASC는 안전하고 신뢰할 수 있는 AI 기술의 핵심 소통 플랫폼으로서 공공과 민간을 잇고, 국가적 입법이나 주요 정책 수립에 있어 실효성 있는 방향성을 제시하고자 시작됐다. 지난 2025 ASC에는 업계 내 100여 명이 넘는 민·관·학계 전문가들이 참석해 자리를 빛냈다. 올해 2026 ASC에서는 'AI 에이전트의 보안과 기업의 신뢰 구현 전략'을 핵심 의제로 설정하고 업계 전문가들의 인사이트를 들어본다. 최근 전 세계적으로 인간의 업무를 자율적으로 수행하는 AI 에이전트 기술 도입이 가속화되고 있으나, 자율적 판단과 실행이라는 기술적 특성상 시스템 오작동이나 사이버 침해 사고에 대한 우려도 교차하고 있다. 특히 빈번하게 발생하는 정보 유출 및 첨단 기술 악용 사례는 AI 에이전트 상용화에 대한 시장의 불안감을 가중시키는 요인이다. 이에 따라 이번 컨퍼런스는 지속 가능한 AI 생태계 조성을 위해 공공 영역의 안전한 AI 활용 방향성을 소개하는 한편, 현장에서 AI 신뢰성과 보안 과제를 성공적으로 해결해 나가는 기업들의 실증 사례를 공유할 예정이다. 공공 부문에서는 AI안전연구소 김명주 소장이 본격적인 에이전틱 AI 시대에 필요한 안전성과 관련해 'Towards Safe & Secure Agent AI'를 주제로 발표한다. KISA AI신기술대응팀 이재형 팀장은 에이전틱 AI 위협에 대비한 AI 정책 연구를 소개한다. 민간 부문에서는 포티투마루 김동환 대표가 AI LLM42가 신뢰성, 안전성, 윤리성을 확보하기 위해 노력해 온 여정을 공유한다. AI 스페라의 강병탁 대표는 미토스 이후 누구나 공격자가 되는 시대에 기업의 대응법을 제시한다. 데이븐 AI의 김연지 CMO는 AI 에이전트 시대, 창작 AI 플랫폼이 어떻게 신뢰를 설계해야 하는지에 대해, 이어 에임인텔리전스의 이한울 부사장은 에이전틱 AI가 놓인 새로운 공격 표면과 전략을 소개하고, 이를 방어하기 위한 기업의 방안들을 발표할 예정이다. 전창배 IAAE 이사장은 “자율형 AI 기술인 'AI 에이전트'가 속속 등장하는 가운데, AI 에이전트가 자칫 오판하거나 보안과 해킹 문제 등이 일어날 수 있는 만큼 기업과 공공에서 AI 에이전트를 안전하게 도입하는 것이 중요한 상황”이라며 “이번 컨퍼런스는 AI 에이전트의 신뢰성 문제에 대해 공공과 민간이 함께 실질적인 해법을 도출하는 의미 있는 자리가 될 것”이라고 말했다. IAAE 부회장사이자 테크 전문 PR 컨설팅 기업 팀쿠키 임기태 부대표는 “올해로 3회째 맞이하는 ASC 행사에서 신뢰할 수 있는 AI에 대해 업계 전문가들과 함께 논의해보고자 한다”며 “글로벌 스탠더드에 부합하는 AI 윤리 기준을 정립하고, 국내 기업들이 이를 바탕으로 글로벌 무대에서 차별화된 경쟁력을 갖출 수 있는 대표 논의의 장으로 만들겠다”고 밝혔다.

2026.05.19 15:10백봉삼 기자

AI가 AI를 검증한다…금융권 새 인프라 된 '신뢰성 평가'

지능화된 인공지능(AI)이 일상의 모든 영역을 파고드는 대전환의 시대, 기술의 화려한 도약만큼이나 시급한 과제는 바로 그 이면에 자리한 '디지털 신뢰'를 단단히 구축하는 일입니다. 지디넷코리아는 "AI 기술이 서 말이라도 보안으로 꿰어야 보배"라는 슬로건 아래, 약 두 달간 '2026 디지털 트러스트' 연중 기획 연재 및 캠페인을 진행합니다. 해킹·딥페이크·가짜뉴스·랜섬웨어 등 진화하는 보안 위협 속에서 단순한 기술 편익을 넘어 '안전한 AI 생태계'를 조성하기 위한 공론의 장을 마련하고, 기술과 보안이 공존하는 지속 가능한 디지털 미래의 이정표를 제시하고자 합니다. [편집자주] 금융당국의 망분리 규제 완화 이후 금융권의 생성형 AI 도입이 빠르게 확산되면서 AI 신뢰 검증이 새로운 보안 과제로 급부상하고 있다. 단순히 AI를 도입하는 데서 나아가 그 AI가 제대로 작동하는지 검증하는 체계를 갖추느냐가 금융권 AI 경쟁력의 새 기준이 되고 있다는 분석이다. 이런 흐름을 더 가속하는 건 AI 기반 위협의 등장이다. 앤트로픽 최신 AI '미토스(Mythos)'가 대표적이다. 이 모델은 AI가 스스로 시스템 취약점을 탐색하고 공격 시나리오까지 생성할 수 있다는 점에서 기존 보안 체계만으로는 대응이 어렵다는 위기감이 금융권 전반에 확산되고 있다. 이런 가운데 AI 신뢰성 검증 체계를 실제 금융 현장에 상용화한 사례가 나왔다. 18일 업계에 따르면 셀렉트스타의 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸(DATUMO eval)'이 신한은행·우리은행·NH농협은행 등 주요 시중은행에 정식 도입됐다. 이는 국내 생성형 AI 신뢰성 검증 자동화 솔루션이 기술검증(PoC) 단계를 넘어 금융권 실제 운영 단계에 적용된 첫 사례로 평가된다. AI가 실제 업무를 수행하는 'AI 에이전트' 단계로 진화하면서 검증 필요성은 더 커지고 있다. 최근 금융권에서는 대출 심사 보조, 이상거래 탐지, 고객 응대 자동화 등 핵심 업무에 생성형 AI 적용이 확대되고 있다. AI 활용 범위가 넓어질수록 잘못된 판단이나 비정상 응답이 실제 금융 사고나 고객 피해로 이어질 수 있다는 우려도 나온다. 그러나 생성형 AI 서비스 확산과 함께 기존 수작업 중심 검증 체계는 한계를 드러내고 있다. 그동안은 사람이 직접 평가 질문을 설계하고 AI 응답을 검수하는 방식이 일반적이었지만, 서비스 수와 활용 시나리오가 빠르게 늘어나면서 속도와 규모 측면에서 대응이 어려워졌기 때문이다. 업계에서 지금을 'AI 신뢰 검증의 골든타임'으로 보는 이유도 여기에 있다. AI 신뢰성 평가 자동화 시장도 발 빠르게 성장하고 있다. 해외에서는 랭체인, 어라이즈AI, 스케일AI 등이 관련 솔루션을 선보이고 있지만 금융 특화 규제 환경과 한국어 도메인을 반영한 서비스는 제한적이었다. 특히 금융권은 높은 정확성과 안정성이 요구되는 만큼 실제 업무 환경을 반영한 평가 체계 수요가 빠르게 커지고 있다는 분석이다. 셀렉트스타는 이런 시장 공백을 겨냥해 국내 최초 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸'을 출시했다. 다투모 이밸은 100만 개 이상의 평가 질문을 자동 생성하고 AI 서비스 응답을 자동 평가·분석하는 기능을 핵심으로 한다. AI 에이전트 기술 기반으로 생성된 질문은 실제 고객 발화 패턴과 난이도, 금융 도메인 특성을 반영하도록 설계됐으며 프롬프트 인젝션과 환각 등 AI 취약점을 사전에 탐지하는 레드티밍 기능도 포함됐다. 신한은행의 경우 금융 문서 이해 AI 모델 개발을 위한 데이터 구조화, 학습·평가용 데이터셋 설계, 평가 지표 관리 및 자동 평가 환경 구축까지 다투모 이밸이 포괄적으로 적용됐다. 이 같은 실적은 신한금융·KB금융·삼성금융 등 국내 주요 금융그룹 스타트업 프로그램 연속 수상으로도 이어졌다. 셀렉트스타는 금융권에서 축적한 검증 경험을 제조·공공·엔터프라이즈 등 전 산업으로 확대 적용할 계획이다. 이미 세계이동통신사업자연합회(GSMA)와 글로벌 AI 레드팀 챌린지를 공동 주관하고 '오픈 텔코 AI' 파트너십을 체결하는 등 해외 시장에서도 기술력을 인정받고 있다. 회사 측은 아직 글로벌 표준이 확립되지 않은 AI 신뢰성 분야에서 금융권 레퍼런스를 바탕으로 관련 기준을 제시하는 플랫폼으로 자리잡겠다는 목표다. 셀렉트스타 관계자는 "AI 신뢰성 평가는 이제 특정 산업의 선택이 아니라 AI를 도입하는 모든 기업의 필수 과제가 되고 있다"며 "AI 에이전트 시대로 접어들면서 신뢰성 평가의 중요성은 더 커지고 있다"고 말했다.

2026.05.18 14:43이나연 기자

셀렉트스타, 클로드·챗GPT 취약점 찾아내는 AI 레드티밍 기술력 '인정'

셀렉트스타가 클로드·챗GPT 등 주요 거대언어모델(LLM) 취약점을 기존보다 높은 성공률로 탐지하는 레드티밍 기술을 개발해 자연어처리 분야 최정상급 학회에서 인정받았다. 셀렉트스타는 자체 개발한 레드티밍 기술 'STAR-티밍'이 'ACL 2026'에 공식 채택됐다고 14일 밝혔다. 생성형 AI가 유해하거나 부적절한 응답을 생성하지 않는지 사전 검증하는 레드티밍은 AI 서비스 출시 전 필수 과정으로 자리 잡고 있지만 기존 자동화 방식은 비용이 많이 들고 공격 전략 다양성이 부족하다는 지적이 이어져 왔다. 이에 셀렉트스타 연구진은 통계 물리학 기반의 수학적 모델링을 통해 공격 전략과 모델 응답 간 관계를 학습하고 확률적으로 최적 전략을 선택하는 '전략-응답 멀티플렉스 네트워크' 기술을 제안했다. 기존 방식이 과거 성공 사례를 그대로 반복하는 구조였다면, STAR-티밍은 수많은 시도와 실패를 분석해 상황에 맞는 최적 전략을 스스로 찾아낸다. 클로드·젬마·챗GPT·라마·큐원 등 17개 LLM을 대상으로 한 성능 검증 결과 표준 벤치마크(HarmBench) 기준 평균 공격 성공률(ASR) 74.5%를 달성했다. 기존 최고 방법인 오토DAN-터보(61.0%) 대비 13.5%포인트 높은 수치로, 더 적은 시도 횟수로도 높은 성공률을 달성했다. 해당 기술은 셀렉트스타의 AI 신뢰성 검증 솔루션 '다투모 플랫폼'에 탑재돼 상용화됐다. 전자·가전 제조·시스템통합(SI)·정보기술(IT) 서비스 등 국내 주요 산업군과 정부 주도 '독자 AI 파운데이션 모델(독파모)' 프로젝트에도 적용돼 실제 AI 서비스 환경에서 안전성 검증과 품질 평가에 활용되고 있다. 정민재 셀렉트스타 AI 세이프티 엔지니어는 "AI의 취약점을 더 체계적으로 발견할 수 있는 구조를 제시하고자 했다"며 "LLM이 실제 산업 현장에서 안전하게 활용될 수 있도록 다투모 플랫폼의 기술 고도화에 기여하겠다"고 말했다.

2026.05.14 15:18이나연 기자

'AI 신뢰성 얼라이언스' 첫 총회…"글로벌 표준 연계 목표"

정부가 추진 중인 '인공지능(AI) 신뢰성 얼라이언스'가 민간 AI 제품 검증 체계 구축에 착수했다. 국제 표준에 부합하는 국가 AI 안전망 설계와 기업의 예측 가능성 제고에 한층 속도 낼 방침이다. 한국정보통신기술협회(TTA)는 29일 롯데호텔 서울에서 'AI 신뢰성 얼라이언스' 1차 정기 총회에서 얼라이언스 향후 계획을 공유했다. 이날 얼라이언스 분과 '정책 및 거버넌스' '기술 표준' '인증 및 교육' 분과 로드맵이 제시됐다. AI 신뢰성 얼라이언스는 산학연이 참여하는 민간 협의체다. AI 정책·거버넌스, 기술 표준, 인증·교육 등 분과별 전문가가 모여 자율 검증 체계를 설계한다. 여기서 핵심 역할을 하는 제도가. 한국정보통신기술협회(TTA)의 AI 신뢰성 인증(CAT)이다. CAT은 국제 표준에 기반해 AI 위험과 윤리적 요소를 종합 평가한다. 최근 거대언어모델(LLM)과 고위험 산업 분야까지 적용 범위를 넓히고 있다. 정책 및 거버넌스 분과장인 최경진 가천대 법학과 교수는 연내 AI 신뢰성 검인증 지침 확정을 비롯한 심사기관 지정, 품질관리 체계 규정화 작업에 착수한다고 밝혔다. 이를 통해 개발자들이 검인증 과정을 쉽게 이해하고 참여 유인을 가질 수 있도록 시범 인증 사업과 연계한 활용 안내서 발간도 병행할 방침이다. 기술 표준 분과장인 이재호 서울시립대 AI학과 교수는 자율 행동 AI 리스크에 대응하겠다고 밝혔다. 구체적으로 실증 데이터 기반 기술 로드맵을 수립하고 가상과 현실이 융합된 테스트베드를 구축할 계획이다. 합성 콘텐츠 투명성 확보를 위한 워터마크 요구사항 단체 표준안도 올해 말까지 도출한다. 인증 및 교육 분과장 윤상민 국민대 AI학부 교수는 스타트업 실행력을 높이기 위해 맞춤형 교육 커리큘럼을 운영하고 전문 심사원을 양성할 예정이다. 특히 고영향 AI 검인증 제도의 시범 서비스를 통해 현장의 문제점을 발굴·보완해 민간 자율 제도가 시장에 안정적으로 안착할 수 있도록 도울 계획이다. 최경진 교수는 "세 분과 로드맵은 유럽연합(EU) AI법 등 글로벌 안전성 기준과 연계돼 우리 기업이 효과적으로 해외 시장에 진출할 수 있는 토대를 마련하는 데 집중됐다"며 "의료와 국방, 제조 등 다양한 분야로 검인증 프레임워크를 확산해 산업 전반의 AI 신뢰성을 끌어올릴 것"이라고 밝혔다. 이어 이재호 교수는 "실제 운영에 따른 실증적 데이터를 기반으로 한 표준화가 필요하다"고 강조했다. 윤상민 교수도 "실무적인 검토를 통해 인증에 대한 효율성과 고도화가 이뤄질 수 있도록 노력할 것이라"고 말했다.

2026.04.29 17:41김미정 기자

가짜 늑구 사진에 경찰도 속는 AI 시대...허위정보 대응책은

지능화된 인공지능(AI)이 일상의 모든 영역을 파고드는 대전환의 시대, 기술의 화려한 도약만큼이나 시급한 과제는 바로 그 이면에 자리한 '디지털 신뢰'를 단단히 구축하는 일입니다. 지디넷코리아는 "AI 기술이 서 말이라도 보안으로 꿰어야 보배"라는 슬로건 아래, 약 두 달간 '2026 디지털 트러스트' 연중 기획 연재 및 캠페인을 진행합니다. 해킹·딥페이크·가짜뉴스·랜섬웨어 등 진화하는 보안 위협 속에서 단순한 기술 편익을 넘어 '안전한 AI 생태계'를 조성하기 위한 공론의 장을 마련하고, 기술과 보안이 공존하는 지속 가능한 디지털 미래의 이정표를 제시하고자 합니다. [편집자주] AI 기반 콘텐츠 생성 기술이 고도화되면서, 사실 여부를 구별하기 어려운 정교한 가짜뉴스가 빠르게 확산되고 있다. 허위 정보가 공권력 대응까지 왜곡하는 사례가 이어지지만, 이를 직접 규제할 수 있는 법적 장치는 여전히 제한적이다. 제도 공백 속에서 이용자 교육과 함께 플랫폼 책임을 강화해야 한다는 지적이 커지고 있다. 실제 현장에서는 AI로 생성된 이미지와 정보가 수사와 행정 대응에 혼선을 주는 사례까지 발생하며, 허위 정보 확산이 단순 온라인 문제를 넘어 사회적 비용으로 이어지는 양상이다. 최근 대전경찰청 사이버수사대에 따르면, 대전 오월드를 탈출한 늑대 '늑구' 포획에 혼선을 줬던 가짜 사진 유포자 40대가 지난 24일 경찰에 붙잡혔다. 그는 사파리 철조망을 빠져 나간 늑구가 오월드 네거리 인근 거리를 배회하는 모습이 담긴 가짜 사진을 만들어 유포한 혐의를 받고 있다. 인공지능(AI)을 활용해 만들어진 가짜 사진은 재난 문자 송출과 수색에까지 영향을 미치면서 수사에 혼선을 초래했다. AI를 활용한 가짜 사진에 몸살을 앓는 곳은 공권력뿐만이 아니다. 최근에는 AI로 부하 직원과 연인관계인 것처럼 제작한 사진을 사회관계망서비스(SNS) 프로필에 올린 구로구 소속 공무원이 재판에 넘겨지는 사례도 있었다. 이처럼 손쉽게 AI를 이용해 가짜 사진을 만들어 유포하는 경우가 만연해지고, 행정력 낭비로 번지면서 피해는 고스란히 약자의 몫으로 돌아가고 있다. '2025년 디지털성범죄 피해자 지원 보고서'에 따르면 피해자 1만637명을 대상으로 조사한 결과, 연령별 디지털성범죄 피해율은 1020세대가 전체의 77.6%, 성별로 보면 여성이 75.4%를 차지한 것으로 나타났다. 빛처럼 빠른 가짜뉴스 유포 속도…검증 과정은 부재 AI 생성물에 기반한 가짜뉴스의 피해 범위가 큰 이유는 유포 속도에 있다. 가짜뉴스는 사실 확인을 거치지 않은 채 SNS와 인터넷 커뮤니티를 통해 퍼져 끊임없이 확대·재생산된다. 검증 과정에 부재한 상황에서 허위 정보를 제한하는 형사 규정이 제한적이라 이를 막기는 쉽지 않은 것이 현실이다. 유튜브 등 주요 플랫폼은 허위정보 유포만으로는 가입자 정보를 제공하지 않는 경우가 있어 게시자 특정에 어려움이 발생하며, 명예훼손 등 별도의 혐의를 병행해야 신원을 알 수 있다. 미국의 디스커버리 제도를 통해 신원을 확보한 유튜버 '탈덕수용소'가 대표적이다. 디스커버리 제도는 한국 내 소송을 위한 가해자 특정의 필요성을 민사 절차로 소명해 법원을 통해 직접 소환장을 발부받는 형식으로 진행된다. 그동안에는 사실적시 명예훼손이나 모욕죄를 범죄로 보지 않는 미국 법제 특성상 정보 제공이 거부되거나 신원 확보에 장기간이 소요됐다. 또 허위정보 자체를 직접 처벌하는 형사 규정이 제한적이라는 점도 걸림돌이다. 2010년 헌재 위헌 결정 이후 후속 입법이 이뤄지지 않고 있다. 경찰이 플랫폼 사업자에게 직접 삭제 및 차단을 요청할 수 있는 범죄도 디지털 성범죄에 한한다. AI 기본법 등 현행법 허점에…플랫폼 책임 소재 대두 AI 생성물이 실제가 아니라는 점을 명확히 알 수 있도록 생산물 워터마킹 삽입 등을 규정한 'AI 기본법'이 올해 초 시행됐지만, 아직은 역부족이라는 말이 나온다. AI를 활용해 만든 생산물에 곧바로 워터마크가 적용되더라도 편집을 통해 제거 가능하기 때문이다. 전문가들은 AI 툴에 대한 접근성 확대와 알고리즘에 대한 검증 동기 약화가 원인으로, 자정능력 함양과 플랫폼에 대한 책임소재 강화가 병행돼야 한다고 입을 모은다. 김옥태 한국방송통신대학교 미디어영상학과 교수는 “AI를 활용해 신빙성 있어 보이는 가짜 사진을 만들 수 있는 툴의 접근성이 높아진 것이 원인”이라며 “청소년을 시작으로 이용자 교육을 병행하면서 (가짜 뉴스 제재에 대한) 제도 도입에 신중을 기해야 한다. 가짜 뉴스가 플랫폼을 통해 퍼지기에 이들에게 책임을 부과하는 방식이 최선일 것”이라고 말했다. 이재길 한림대 미디어스쿨 교수는 “현재의 미디어 환경에서는 가짜뉴스의 진위를 파악할 동기가 존재하지 않는다는 점이 가장 큰 문제”라면서 “SNS의 추천 알고리즘은 이용자 개개인의 입맛에 맞는 정보, 기존에 익숙하고 이용자의 가치관에 부합하는 정보만 골라서 제공한다. 이런 정보는 진위 여부를 검토하지 않고 그대로 받아들이는 경향이 있다”고 설명했다. 이어 “이용자들의 행동을 제한하는 규제가 얼마나 실효성이 있을지에 대한 의문이 남는다”며 “기계적으로나 기술적으로 문제가 되는 콘텐츠를 플랫폼에서 퇴출시키는 방안이 마련돼야 한다”고 강조했다.

2026.04.28 09:48박서린 기자

셀렉트스타, 글로벌 보안 기준 충족…AI 신뢰성 평가 사업 시동

셀렉트스타가 보안·개인정보보호 역량을 입증하며 글로벌 인공지능(AI) 시장 진출에 속도를 낸다. 셀렉트스타는 'SOC2(Service Organization Control 2) 타입 2' 보고서를 취득했다고 13일 밝혔다. SOC2는 미국공인회계사협회(AICPA) 기준에 따라 서비스 조직의 보안성, 가용성, 처리 무결성, 기밀성, 개인정보 보호 등 5가지 항목을 심사하는 국제 인증이다. 셀렉트스타가 약 1년간의 준비·실사 과정을 거쳐 취득한 타입 2는 특정 시점 보안 통제 설계뿐만 아니라, 일정 기간 실제 시스템이 얼마나 안정적으로 운영됐는지를 평가하는 신뢰 지표로 통한다. 이번 인증은 셀렉트스타의 글로벌 사업 확장에 직접적인 발판이 된다. 금융권·대규모 파운데이션 모델을 개발하는 글로벌 빅테크는 데이터 유출과 보안 사고에 민감한 만큼, SOC2 인증은 미주 지역을 포함한 글로벌 고객사를 상대로 AI 데이터·신뢰성 평가 솔루션을 판매하기 위한 핵심 요건으로 알려졌다. 셀렉트스타는 AI 서비스 신뢰성과 품질을 평가하는 '다투모 플랫폼' 보안 기능을 강화하는 한편, ISO 등 글로벌 보안 인증 체계도 확장할 계획이다. 데이터 설계·구축, 검증 컨설팅·솔루션, 레드티밍 등 AI 전 주기 서비스를 제공 중인 이 회사는 최근 시리즈B 누적 투자 434억원을 돌파했다. 김세엽 셀렉트스타 대표는 “이번 SOC2 타입 2 취득은 우리가 지향해 온 '신뢰할 수 있는 AI'를 기술뿐 아니라 운영과 보안 체계 측면에서 입증한 성과"라며 "국제 표준에 부합하는 엄격한 보안 체계를 바탕으로 국내를 넘어 글로벌 시장에서 가장 신뢰받는 AI 데이터 및 신뢰성 평가 파트너로 도약할 것"이라고 말했다.

2026.04.13 17:24이나연 기자

Prev 1 2 3 4 Next