검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'신뢰성'통합검색 결과 입니다. (54건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

韓 기업, 'AI 신뢰 격차' 감소세…다음 과제는 데이터 품질

한국 기업들이 인공지능(AI) 신뢰도와 실제 관리 역량 사이 간극을 좁혔다는 조사 결과가 나왔다. 다만 이를 사업 성과로 연결하려면 데이터 품질을 높이고 AI 판단 근거를 설명하는 능력을 보완해야 한다는 분석도 제기됐다. 30일 SAS가 발표한 '데이터 및 AI 영향력 보고서'에 따르면 한국 기업의 AI '신뢰 격차'는 지난해 28.9점에서 올해 1.5점으로 27.4점 줄었다. 보고서는 IDC의 리서치 인사이트를 바탕으로 전 세계 28개국 비즈니스·IT 의사결정권자 2699명을 조사한 결과를 반영했다. 신뢰 격차는 기업이 AI를 얼마나 믿는지를 나타내는 '체감 신뢰'와 실제 AI 관리 역량 차이를 뜻한다. 한국 기업의 체감 신뢰 점수는 지난해 73.9점에서 올해 58.6점으로 낮아졌다. 같은 기간 실제 관리 역량 점수는 45점에서 57.1점으로 올라 두 지표가 비슷한 수준에 도달했다. 한국 기업의 개선이 가장 두드러진 항목은 '모델 거버넌스 및 감독'이었다. AI 모델 운영을 관리하고 감독하는 체계를 평가한 이 항목은 전년보다 9.3점 오른 55.8점을 기록했다. AI 활용 토대인 데이터와 판단 근거 설명 능력은 개선 폭이 작았다. '설명 가능성 및 공정성'은 54.6점, '데이터 품질 및 거버넌스'는 53.9점으로 각각 소폭 상승하는 데 그쳤다. '책임 있는 AI 정책'은 지난해와 같은 59.5점에 머물렀다. 특히 모든 프로젝트에 데이터 품질 관리 절차를 의무 적용하는 한국 기업은 1.9%에 불과했다. AI 모델에 대한 관리·감독 체계를 강화하는 속도에 비해 데이터 품질을 일관되게 관리하는 기반은 부족한 것으로 나타났다. 보고서는 한국 기업의 다음 과제로 데이터 품질과 설명 가능성 확보를 꼽았다. 스스로 판단하고 행동하는 '에이전틱 AI'를 도입한 국내 기업 비율이 42.6%에 달하는 만큼 AI가 어떤 데이터를 바탕으로 왜 해당 결정을 내렸는지 확인할 수 있어야 한다는 설명이다. 글로벌 조사에서도 AI 판단 근거를 설명하는 능력이 주요 과제로 드러났다. 사용자가 AI 판단을 신뢰하지 못하는 가장 큰 이유는 AI가 판단 근거를 설명하지 못하는 경우였다. 조사 대상 사용자의 97.2%는 특정 상황에서 AI의 권고를 그대로 따르지 않고 직접 수정한 것으로 나타났다. 신뢰할 수 있는 AI 체계와 투자 성과 사이의 연관성도 확인됐다. 글로벌 조사에서 신뢰할 수 있는 AI 구축에 투자한 기업이 높은 투자 대비 성과를 달성한 비율은 62%로 그렇지 않은 기업의 4%보다 약 15배 높았다. 최적화된 데이터 인프라를 갖춘 기업도 그렇지 않은 기업보다 높은 투자 대비 성과를 달성할 확률이 4배 높았다. 이중혁 SAS코리아 대표는 "한국 기업들의 AI 신뢰 격차가 1년 사이에 급격히 줄어든 것은 거버넌스 구축과 현실적인 리스크 인식이 빠르게 이뤄졌다는 긍정적인 신호"라며 "한국이 AI 확장을 실질적인 비즈니스 성과로 이어가려면, 거버넌스 구축과 발맞춰 AI의 판단 근거를 설명하고, 정확성과 재현성을 갖춘 데이터 기반을 완성하는 것이 중요한 과제"라고 강조했다.

2026.09.30 17:45김미정 기자

[ZD SW 투데이] 씽크포비엘, 'AI 신뢰성' 인재 키운다…제2회 트라이톤 개막 外

지디넷코리아가 소프트웨어(SW) 업계의 다양한 소식을 한눈에 볼 수 있는 'ZD SW 투데이'를 마련했습니다. SW뿐 아니라 클라우드, 보안, 인공지능(AI) 등 여러 분야에서 활발히 활동하고 있는 기업들의 소식을 담은 만큼 좀 더 쉽고 편하게 이슈를 확인해 보시기 바랍니다. [편집자주] ◆'제2회 트라이톤' 개막…AI 신뢰성 실전 경험 겨룬다 AI 신뢰성 해커톤 '제2회 트라이톤'이 14일 서울 가톨릭대학교 성의교정 옴니버스파크에서 오리엔테이션을 열고 약 3개월간의 일정에 들어갔다. 신뢰할 수 있는 AI 국제연대 한국 네트워크(TRAIN코리아)와 씽크포비엘이 진행하는 이번 대회에는 전국 36개 대학의 대학생·대학원생 149명, 37개 팀이 참가한다. 참가자들은 AI 허브 데이터와 SK텔레콤 AI 모델 'A.X'를 활용해 클릭베이트 탐지 모델을 개발하고, 이 과정에서 영향평가와 위험관리, 투명성, 인간 감독 등 AI 신뢰성 활동을 수행한다. 올해는 AI 에이전트가 자율적으로 판단하고 필요할 때 사람에게 판단을 넘기는 운영 구조도 평가한다. 본선을 거쳐 상위 6개 팀에는 상장과 상금을 수여하며, 수상자에게는 IT 기업 채용 연계형 인턴십 기회도 제공한다. ◆와이즈넛, 대화로 만드는 AI 에이전트 공개 와이즈넛이 지난 10일부터 11일까지 서울 스위스 그랜드 호텔에서 열린 '제31회 지자체 정보통신 우수사례 발표대회'에서 대화만으로 AI 에이전트를 구성하는 기능을 선보였다. 사용자가 원하는 업무나 기능을 자연어로 설명하면 AI가 에이전트의 업무 흐름을 자동으로 구성한다. 이후에도 대화를 통해 기능을 추가하거나 조건을 변경할 수 있어 별도 개발 작업 없이 기관 업무에 맞는 워크플로우를 설계하도록 지원한다. 와이즈넛은 경기도청, 인사혁신처, 국민건강보험공단 등에 적용한 AI 전환 사례와 함께 지자체 축제 업무를 지원하는 '축제 에이전트'도 소개했다. 실시간 민원 대응부터 행사 전후 데이터 분석, 온라인 광고 등을 지원한다. ◆유아이패스 "에이전틱 AI 확장 핵심은 오케스트레이션" 유아이패스가 기업의 에이전틱 AI 도입 현황과 비즈니스 오케스트레이션 활용 실태를 분석한 글로벌 조사 결과를 발표했다. 매출 10억 달러 이상 대기업의 C레벨 임원과 IT 실무자 약 600명을 조사한 결과, AI가 비즈니스 전반에 완전히 내재화됐다고 답한 비율은 31%에 그쳤다. AI 도입 과정에서 겪는 가장 큰 어려움으로는 데이터 품질·준비도(38%), 기존 워크플로우·시스템과의 통합(37%), 거버넌스·컴플라이언스(33%) 등이 꼽혔다. 반면 오케스트레이션 역량이 전사에 완전히 내재화됐다고 답한 기업의 89%는 에이전틱 AI 도입 성과가 투자수익률(ROI) 기대치에 부합하거나 이를 웃돌았다고 밝혔다. 유아이패스는 데이터와 시스템, 업무 흐름, 사람과 AI 에이전트를 연결하는 오케스트레이션이 에이전틱 AI를 기업 전반으로 확장하는 핵심 요소라고 설명했다. ◆BHSN, 이커머스 전시회서 계약 AI '앨리비' 선봬 리걸AI 기업 BHSN이 오는 17일부터 19일까지 서울 강남구 세텍(SETEC)에서 열리는 '2026 코리아 이커머스 페어(KOEFA 2026)'에 참가해 계약 AI 플랫폼 '앨리비'를 선보인다. 앨리비는 계약서 초안 작성과 AI 검토부터 전자서명, 체결본 보관, 이행 관리까지 계약 업무 전 과정을 지원한다. 계약서 내용을 자연어로 질문하면 관련 조항을 근거로 답변하고, AI가 제안한 수정 내용도 계약서에 바로 반영할 수 있다. 체결 이후에는 갱신·해지 통지 기한과 대금 지급 일정 등을 자동으로 추적한다. 임정근 BHSN 대표는 18일 '계약 AI를 활용한 이커머스 계약 업무 혁신'을 주제로 발표한다. 공급·사입, 플랫폼 입점, 광고대행, 인플루언서 협찬, 해외 소싱 등 온라인 판매자가 자주 접하는 계약을 중심으로 AI 활용 사례를 소개할 예정이다. ◆메이머스트, '2026 대한민국 일자리 으뜸기업' 선정 메이머스트가 고용노동부가 선정하는 '2026 대한민국 일자리 으뜸기업'에 이름을 올렸다. 일자리 으뜸기업은 고용 증가와 일자리의 질 개선 노력 등을 종합적으로 평가해 선정한다. 메이머스트는 AI·보안·네트워크·디지털전환(DX) 분야 전문 인력 채용을 확대하고 교육·자격증 취득비와 자녀 학자금 지원, 사내 동호회 등 임직원 지원 제도를 운영하고 있다. 메이머스트는 그래픽처리장치(GPU) 연산과 네트워크, 스토리지, 전력·냉각부터 운영·관제 소프트웨어까지 아우르는 AI 풀스택 사업을 확대하고 있다. 지난해 '벤처천억기업'에 선정된 데 이어 기업공개(IPO)도 준비하고 있다.

2026.09.14 16:10김동원 기자

한국·프랑스 AI 협력, '신뢰성'까지 넓힌다…씽크포비엘-누말리스 맞손

한국과 프랑스가 인공지능(AI) 분야 협력을 확대하는 가운데 민간에서도 AI 신뢰성 기술을 둘러싼 협력이 구체화됐다. 씽크포비엘은 8일(현지시간) 프랑스 파리에서 열린 '한국-프랑스 이노베이션 커넥션'에 참여해 프랑스 기업 누말리스와 AI 신뢰성 분야 기술 개발과 사업화를 위한 양해각서(MOU)를 체결했다고 밝혔다. 누말리스는 AI가 예상하지 못한 데이터나 환경 변화에도 안정적으로 작동하는지를 검증하는 '강건성' 평가 전문기업이다. AI 시스템의 안전성과 강건성·설명 가능성을 수학적으로 검증하는 기술을 보유하고 있으며 항공우주와 국방·철도·원자력·금융·보험·의료 분야에서 관련 사업을 하고 있다. 이번 행사는 이재명 대통령의 프랑스 국빈 방문 기간에 열렸다. 이날 이 대통령과 에마뉘엘 마크롱 프랑스 대통령은 정상회담을 열고 AI와 반도체·양자 등 첨단기술 분야 협력을 확대하기로 했다. 배경훈 부총리 겸 과학기술정보통신부 장관도 프랑스 측과 AI·반도체·양자 기술 분야 협력 MOU를 체결했다. 씽크포비엘과 누말리스의 협력은 지난해 시작됐다. 양사는 산업통상자원부와 한국산업기술진흥원(KIAT)이 지원하는 한·프랑스 국제 공동 연구개발(R&D) 과제를 통해 AI 신뢰성 관련 기술을 공동 개발하고 있다. 이번 행사에서는 양사가 개발 중인 AI 강건성 평가 방법론도 공개했다. 씽크포비엘의 '리인'은 AI가 실제 환경에서 마주할 다양한 조건을 구성하고 평가에 필요한 데이터 범위와 부족한 부분을 찾아낸다. 누말리스의 '사임플'은 이렇게 설정한 조건에서 AI 모델이 얼마나 안정적으로 작동하는지를 평가한다. 양사는 두 기술을 결합해 AI 신뢰성을 검증하는 공동 평가 체계를 개발하고 있다. AI를 어떤 환경과 조건에서 시험해야 하는지를 정하고 해당 조건에서 AI가 안정적으로 작동하는지를 검증하는 구조다. 이번 MOU를 계기로 협력 범위도 넓힌다. AI 신뢰성 분야의 산업 수요에 대응하기 위한 기술 개발과 사업화를 함께 추진하고 각사가 진행 중인 국방 분야 프로젝트에서도 협력하기로 했다. 누말리스의 AI 강건성 평가 솔루션 '사임플'을 국내에 공급하는 방안도 논의하고 있다. 씽크포비엘은 국내 기업과 기관 3~4곳이 사임플 구매에 관심을 보이고 있다고 밝혔다. 아르노 이우알랭 누말리스 대표는 "AI 강건성은 AI 시스템의 신뢰성을 구성하는 핵심 요소 가운데 하나로 안전성·보안성과도 관련이 있는 만큼 반드시 갖춰야 할 요소"라며 "유럽이나 한국이나 AI 시스템을 구축하면 어느 시점에는 반드시 강건성을 검증해야 할 것"이라고 말했다. 박지환 씽크포비엘 대표는 "미래 AI 기술 방향에서 AI 신뢰성은 가장 중요하게 여겨질 분야"라며 "시장이 충분히 형성되지 않아 기업 스스로 생존하고 성장하기 쉽지 않은 만큼 양국 정부가 초기 시장이 형성될 수 있도록 많은 관심과 지원에 나서주길 바란다"고 강조했다. 안 르 에낭프 프랑스 인공지능디지털담당장관은 "누말리스와 씽크포비엘이 신뢰할 수 있는 AI를 위해 상호운용 가능한 국제적 프레임워크를 개척하고 있는 건 중요한 의미가 있다"며 "이러한 한국과 프랑스의 디지털 파트너십 장래는 매우 밝고 앞으로 더욱 협력을 강화한다면 양국의 기술 주권을 더 높은 수준으로 발전시킬 수 있을 것"이라고 밝혔다.

2026.09.09 11:11김동원 기자

[현장] 김명주 AI안전연구소장 "국방 AI, 자율성 커질수록 '멈출 장치' 필요"

전장에서 인공지능(AI)이 스스로 판단하는 영역이 넓어지는 만큼 사람이 필요할 때 AI를 멈추고 확인할 수 있는 안전장치를 갖춰야 한다는 주장이 나왔다. 사람이 모든 판단에 개입하기 어려워지는 상황에 대비해 국방 AI에 '통제 가능성'과 '추적 가능성', '검증 가능성'을 확보해야 한다는 제안이다. 김명주 AI안전연구소장은 2일 서울 용산구 국방컨벤션에서 열린 '신뢰받는 국방AI' 세미나에서 "AI에 자율성을 부여하는 쪽은 갈수록 늘어날 수밖에 없다"며 "전쟁이나 군사 쪽에서도 지켜야 되는 인도주의적 원칙의 선이 뭘까 그런 부분을 찾는 게 필요하다"고 말했다. 전장에서는 AI가 맡는 역할이 갈수록 커질 전망이다. 각종 센서에서 들어오는 데이터와 고려할 변수는 많아지는 반면 공격이나 방어를 결정할 시간은 짧아지고 있어서다. 사람이 모든 정보를 직접 확인하기 어려워지면서 AI가 처리하고 판단하는 영역도 넓어진다. 사람에게 최종 결정권을 주는 것만으로 충분한지도 문제다. AI가 분석한 결과를 화면에 제시하면 짧은 시간 안에 결정을 내려야 하는 지휘관이 이를 그대로 받아들일 가능성이 있기 때문이다. 김 소장은 사람이 마지막 승인만 하는 데 그치지 않고 AI의 판단을 실제로 거부하거나 멈출 수 있어야 한다고 봤다. 이 때문에 그는 AI에 대한 최소한의 통제권은 사람이 가져야 한다고 강조했다. 모든 판단에 사람이 일일이 개입하기 어려워지더라도 AI의 작동을 중단하거나 부여된 권한을 줄이는 장치는 남겨두자는 취지다. 대표적인 안전장치로는 '킬 스위치'를 제시했다. 국내 AI 기본법에서는 이를 '비상정지 기능'으로 규정하고 있다. 김 소장은 비상정지 기능을 무기 내부에 두기보다 외부에서 작동할 수 있도록 하고 개발 단계부터 설계에 반영해야 한다고 강조했다. AI를 멈추는 것만큼 문제가 생긴 뒤 원인을 확인하는 것도 중요하다. 항공기가 비행 기록을 남기듯 국방 AI도 어떤 정보를 받아 어떤 판단을 내렸는지 기록해야 한다. AI가 제대로 검증되지 않은 영역이나 오류 가능성도 미리 남겨두면 사고가 발생했을 때 책임 소재를 확인하는 데 도움이 된다. 검증을 개발자와 운영자에게만 맡겨서는 안 된다고 봤다. 김 소장은 AI를 개발하고 사용하는 주체와 별도로 안전성을 확인하는 제3자의 역할이 필요하다고 강조했다. 그는 "완성된 윤리를 내장한 전쟁 AI는 아직 불가능하다"며 "아무도 가보지 않은 길"이라고 말했다. 이어 "국방 AI는 결국 국가를 위한 도구"라며 "인도주의 원칙에 따라 사용한다는 큰 틀에서 바라보는 게 가장 중요하다"고 밝혔다.

2026.09.02 17:26김동원 기자

철도 R&D 성과, 상용화로 잇는다…연구개발-기술기준 연계

국가 연구개발(R&D) 사업으로 개발된 성과물의 상용화를 촉진하기 위해 KAIA와 철도연이 손을 잡았다. 국토교통과학기술진흥원(KAIA)은 26일 한국철도기술연구원과 철도 R&D 성과의 현장 적용과 실용화 촉진을 위해 '연구개발–기술기준 연계' 협약을 체결했다. 이날 협약은 철도 R&D를 통해 개발된 기술의 현장적용을 앞당기기 위해 연구개발 단계부터 기술기준 제·개정 절차를 연계할 수 있는 협력체계를 구축하고자 마련됐다. KAIA 관계자는 “국가 R&D사업으로 개발된 철도시설이나 용품․차량 등을 현장에 적용하려면 철도안전법 등에 따라 기술기준 고시·형식승인 등의 절차가 필요하나, 해당 절차가 연구개발 종료 이후 진행됨에 따라 철도용품이나 장치, 차량 등에 대한 실용화가 지연되고 있다는 지적이 있었다”고 설명했다. KAIA와 철도연은 협약에 따라 ▲철도기술기준 관련 R&D 사업의 기술수요 발굴 및 기획 ▲철도분야 국가 R&D 사업 성과에 대한 기술기준 제·개정 컨설팅 지원 ▲철도 기술기준 R&D 관리 방안의 원활한 이행을 위한 상호 협력 등을 추진하기로 했다. 연구기간 내에 기술기준 제·개정에 필요한 시험평가·신뢰성 검증 등을 완료해 370kph급 고속열차·수소전동차·무환적 저상․고속 화물열차 등 국민 생활과 밀접한 연구성과가를 조기에 실용화할 수 있도록 지원할 계획이다. 김정희 KAIA 원장은 “철도 R&D를 통해 우수한 기술을 개발하는 것뿐만 아니라 이를 실제 현장에서 활용할 수 있도록 적기에 제도화하는 것이 중요하다”며 “협약을 계기로 국가 R&D와 기술기준이 긴밀히 연계돼 신규 철도차량이나 안전시설 등 국민이 체감할 수 있는 기술이 현장에 빠르게 도입될 것으로 기대한다”고 밝혔다.

2026.08.26 15:34주문정 기자

셀렉트스타, AI 신뢰성 평가 분야 최초 코스닥 상장 도전

셀렉트스타가 인공지능(AI) 신뢰성 평가 기술을 핵심 사업으로 하는 국내 기업 중 처음으로 코스닥 기술특례상장을 위한 기술성 평가를 통과했다. 셀렉트스타는 이번 평가 결과를 바탕으로 주관사인 대신증권과 상장 준비에 돌입하고, 연내 코스닥 상장예비심사를 신청할 예정이라고 3일 밝혔다. 평가 대상이 된 셀렉트스타의 핵심 기술은 'AI 신뢰성 확보를 위한 데이터 및 평가 기술'이다. 이는 AI 성능 향상에 필요한 데이터를 생성·검증하고, 모델 성능과 안전성을 체계적으로 평가해 기업의 AI 도입에 가장 큰 걸림돌인 신뢰성 문제를 해결한다. 셀렉트스타는 핵심 기술을 기반으로 기업의 AI 개발 및 도입 목적에 맞춰 학습·평가 데이터를 설계하고 구축하는 '다투모 서비스'와 평가 데이터 생성부터 성능·안전성 평가까지 하나의 환경에서 가능한 '다투모 플랫폼'을 제공한다. 다투모 서비스를 통해 축적한 다양한 산업 현 데이터와 평가 경험을 플랫폼 기능에 반영하고, 다투모 플랫폼을 활용해 서비스의 효율성과 확장성을 높이는 구조다. 또 셀렉트스타가 기술 개발 과정에서 확보한 연구 성과는 ICLR·ICML·ACL·EMNLP 등 세계적인 AI 국제학회에 지속적으로 채택됐다. 정부의 '독자 AI 파운데이션 모델 개발' 사업 내 SK텔레콤 컨소시엄으로 참여해 고품질 데이터 구축과 모델 신뢰성 평가도 담당하고 있다. 셀렉트스타는 시장과 AI 기술 변화에 맞춰 멀티모달, 에이전틱 AI, 피지컬 AI 등 새로운 형태의 AI를 평가할 수 있도록 기술 범위를 넓힐 예정이다. 나아가 국내에서 축적한 기술과 사업 경험을 기반으로 일본과 미국 등 해외 시장 진출을 추진한다. 김세엽 셀렉트스타 대표는 "이번 기술성 평가 통과는 우리가 축적해 온 AI 데이터 및 신뢰성 평가 기술력과 사업적 성과를 인정받은 결과"라며 "기업공개(IPO)를 성공적으로 이끌어 AI 전 주기에 필요한 데이터와 평가 기술을 제공하는 글로벌 AI 신뢰성 기업으로 성장하겠다"고 말했다.

2026.08.03 09:46이나연 기자

셀렉트스타, 금융권 AI 신뢰성 검증 역할 강화

셀렉트스타가 금융업계 인공지능(AI) 안전성 교육과 범용·금융 특화 취약점 확인 역량을 앞세워 금융권 AI 신뢰성 검증 분야 입지를 넓힌다. 셀렉트스타는 금융보안원이 주최하고 카카오뱅크가 후원하는 '2026 금융보안 AI 아카데미 캠프'에서 AI 신뢰성 검증 '다투모 플랫폼' 제공 등 행사 운영을 담당했다고 23일 밝혔다. 금융보안 AI 아카데미 캠프는 AI 정보보안에 관심 있는 대학(원)생을 대상으로 금융권 AI·보안 분야의 실무 역량을 높이기 위해 마련된 단기 집중 교육 프로그램이다. 지난 20일부터 22일까지 경기도 용인 카카오 AI 캠퍼스에서 열린 올해 행사에는 50명이 참가했다. 첫날은 김민우 셀렉트스타 AI 세이프티 팀 리더가 강연자로 나서 AI 안전성과 보안에 관한 이론 및 실습 교육을 진행했다. 교육은 OWASP 거대언어모델(LLM) 톱 10을 비롯해 AI 레드티밍 기법, 자동 AI 레드티밍, AI 가드레일, 금융 특화 AI 세이프티 평가 등 최신 AI 보안 기술과 연구 동향을 중심으로 구성됐다. 이튿날 진행된 레드팀 챌린지는 범용 안전성과 금융 특화 안전성 영역으로 구분해 1부 개인전, 2부 팀전으로 운영됐다. 참가자들은 각 미션에 따라 다양한 공격 기법을 설계·적용하면서 AI 모델의 취약점을 발굴하고 금융 서비스 환경에서 발생할 수 있는 위험 요소를 분석했다. 셀렉트스타는 레드티밍 결과를 신속하고 일관된 기준으로 판별할 수 있도록 챌린지 운영에 AI 자동 평가 시스템을 도입했다. 다수의 참가자가 제출하는 공격 결과를 자동으로 분석·채점해 평가 속도와 정확성을 높였다. 2부 팀전에서는 국내 최초로 '인간 대 AI' 방식의 레드티밍 대결이 진행됐다. 참가자들은 5명씩 조를 이뤄 AI 에이전트와 동일한 미션을 수행했는데, 멀티 AI 에이전트 레드티머가 인간을 근소한 차이로 앞섰다. 김 리더는 "생성형 AI가 금융 서비스에 빠르게 적용되면서 범용적인 안전성뿐만 아니라 금융 도메인의 특성과 규제를 반영한 정교한 검증 역량이 중요해지고 있다"며 "이번 캠프가 금융 서비스의 특성과 규제를 반영한 AI 안전성 평가를 직접 경험하고, 잠재적 위험에 어떻게 대응해야 할지 고민하는 계기가 됐길 바란다"고 말했다.

2026.07.23 15:41이나연 기자

[AI 리더스] 셀렉트스타는 어떻게 은행 '신뢰성 검증' 도맡았나

"사람이 100% 수작업으로 했다면 60일이 걸렸을 평가를 50분 만에 끝냈습니다." 김세엽 셀렉트스타 대표는 지난 13일 서울 강남구 본사에서 지디넷코리아와 만나 NH농협은행 생성형 인공지능(AI) 서비스 검증 사례를 이같이 소개했다. NH농협은행은 사내 업무·금융 지식 질의응답 AI를 개발하면서 셀렉트스타의 신뢰성 검증 자동화 솔루션 '다투모 이밸(DATUMO eval)'을 도입했다. 평가 기간이 두 달에서 한 시간 이내로 줄면서 AI를 수정할 때마다 검증을 다시 돌려 목표 성능에 도달했는지 확인할 수 있게 됐다. 다투모 이밸을 정식 도입한 은행은 NH농협은행만이 아니다. 우리은행은 국내 최초 AI 청약 상담 서비스를 개발하며 금융보안원 보안성 검증을 이 솔루션으로 진행했고, 신한은행은 현업 부서가 직접 AI 서비스를 만드는 전사 생성형 AI 플랫폼에 평가 모듈로 탑재했다. 세 은행 모두 별도 기술검증(PoC) 기간 없이 곧바로 정식 도입을 택했다. 김 대표는 "세 은행 모두 생성형 AI를 도입하는 과정에 평가가 필수라는 인식이 명확했다"며 "다투모 이밸이 정확하고 일관되게 목표 수준 도달 여부를 확인해 준다는 점이 바로 도입으로 이어졌다"고 설명했다. 은행들이 AI 서비스 평가를 속속 도입하게 된 배경에는 바로 규제 완화가 있다. 금융당국이 망분리 규제를 풀고 혁신금융서비스 제도로 외부 AI 활용 길을 열자 은행의 AI 도입은 그룹 차원으로 확산됐다. 하지만 서비스 신뢰도를 확인하는 검증 절차는 사람이 일일이 평가 질문을 만들고 답변을 검수하는 수작업에 머물러 있었다. 김 대표는 "사람이 직접 평가하던 방식으로는 충분한 AI 검증이 이뤄질 수 없었다"며 "고객 신뢰와 리스크 관리가 핵심인 금융에서 안전성 판단이 서지 않으면 어떤 액션도 할 수 없다"고 강조했다. 은행들이 AI 서비스 도입에 있어 가장 경계하는 위험은 환각(할루시네이션)이다. 상품 설명서와 약관 등 정해진 문서를 근거로 답해야 하는 업무 특성상 AI가 없는 내용을 지어내면 곧바로 금융 사고로 이어지기 때문이다. 민감 정보 유출을 막는 보안 평가, 편향·부적절 발언을 거르는 안전성 평가도 주요 검증 항목으로 꼽힌다. 여기에 AI가 실제 업무를 수행하는 에이전트로 진화하면서 정답이 정해지지 않은 업무까지 원칙 기준으로 채점해야 하는 단계에 이르렀다. 셀렉트스타는 라우터·플래너·툴콜링 등 에이전트 핵심 구성 요소 하나하나를 평가하도록 솔루션을 확장했다. 문제는 평가를 반복할수록 커지는 비용 부담이다. AI 답변을 채점할 때마다 거대언어모델(LLM)을 가져와 쓰면 그만큼 컴퓨팅 비용이 불어난다. 이를 보완하기 위해 등장한 평가 특화 모델들은 언어나 도메인이 바뀌면 채점 성능이 급격히 떨어지는 한계가 있었다. 셀렉트스타가 채점 성능은 유지하면서 크기를 줄인 평가 특화 소형 모델 '이스타(E-Star) 12B'를 직접 개발한 이유다. 이 모델은 언어가 영어에서 한국어로, 분야가 일반에서 금융·법률로 바뀌어도 일관된 평가 성능을 낸다. 관련 논문은 최근 자연어처리 분야 국제 학회 ACL 2026 워크숍에 채택되기도 했다. 김 대표는 "E-Star 12B는 오픈AI 'GPT-5.5' 96% 수준으로 평가하면서도 크기가 작아 반복 평가에 드는 컴퓨팅 부담을 줄였다"며 "보안 규정상 외부 AI로 데이터를 보낼 수 없는 금융사 내부망에서 구동되는 점도 강점"이라고 부연했다. 기술 못지않은 차별점은 운영 방식에 있다. 셀렉트스타는 평가 지표 131종을 기본 제공하면서 사내 신뢰성 평가 전문가가 고객 도메인 전문가와 함께 지표를 새로 설계하는 컨설팅을 병행한다. 이 전담 인력만 전체 임직원 170명(5월 말 기준) 가운데 18명이다. 팔란티어의 전방 배치 엔지니어(FDE)처럼 고객 문제를 직접 풀며 얻은 경험을 제품에 쌓아 경쟁사들과의 격차를 벌리겠다는 전략이다. 김 대표는 "이 사이클을 얼마나 돌렸느냐가 결국 진입장벽"이라며 "해외에도 평가 플랫폼은 있지만 컨설팅까지 함께 제공하는 곳은 많지 않다"고 강조했다. 금융에서 쌓은 경험은 다른 산업으로 확장되고 있다. 공공·국방 분야에서는 일부 사업 수주가 확정돼 계약 절차를 밟는 중이다. 제조 분야에서는 AI 판단 오류가 물리적 사고로 이어질 수 있는 피지컬 AI를 겨냥해 사내 연구소가 평가 기술 연구개발에 들어갔다. 해외 시장은 미국과 일본, 중동 세 축으로 공략한다. 이미 지사를 둔 미국에서는 전략적 투자자인 세일즈포스와 협업 접점을 넓히고 있다. 일본의 경우 K-스타트업센터(KSC) 도쿄 입주 프로그램에 선정돼 지사 설립을 위한 거점부터 확보했다. 중동은 데이터센터부터 모델까지 국가 차원의 소버린(주권) AI를 추진하는 만큼 관련한 초기 협력 논의를 진행하고 있다. 김 대표는 "신뢰성 평가는 한 번 하고 끝나는 일이 아니라 AI를 운영하는 내내 반복적으로 돌아가는 구조"라며 "고객이 AI 서비스를 지속적으로 개선하도록 돕는 엔드투엔드 플랫폼을 만드는 것이 목표"라고 밝혔다.

2026.07.19 08:06이나연 기자

[SW키트] AI가 직접 일하는 시대…신뢰성 검증 시장 커진다

생성형 인공지능(AI)이 산업 전반에 확산하면서 AI 결과물 신뢰성을 검증하는 시장이 성장하고 있다. 17일 IT 업계에 따르면 AI 기업들은 생성형 AI가 작성한 문서를 비롯한 AI 모델 답변 품질, 이미지·영상·음성의 조작 여부를 판별하는 솔루션 공급에 나섰다. 사람이 AI 결과물을 일일이 확인해야 하는 부담이 커지면서 검증 업무에도 AI를 활용하려는 수요가 늘어난 영향이다. AI 신뢰성 검증 시장은 세 영역으로 나뉜다. AI가 작성한 글을 판별하는 텍스트 검증과 모델 정확도·안전성을 평가하는 모델 검증, 이미지·영상·음성 진위를 확인하는 멀티미디어 검증이 대표적이다. 텍스트 검증 시장에서는 학교 과제와 연구 논문, 기업 채용을 위한 자기소개서 중심으로 수요가 확대되고 있다. 이에 발맞춰 무하유는 표절검사 서비스 '카피킬러'를 운영하며 쌓은 데이터 분석과 자연어 처리 기술을 기반으로 AI 작성 탐지 솔루션 'GPT킬러'를 개발했다. GPT킬러는 문서를 문단 단위로 분석해 생성형 AI가 작성했을 확률을 제시하고 AI가 생성했을 가능성이 높은 단어의 확률을 역추적하는 솔루션이다. 문서 전체에 대한 판정만 내리는 것이 아니라 AI 작성이 의심되는 부분을 문단별로 보여줄 수 있어, 사용자가 판단 근거를 다시 확인할 수 있도록 돕는다. 해당 솔루션 기술은 카피킬러와 AI 서류평가 솔루션 '프리즘'에도 적용됐다. 무하유는 지원자의 답변 내용과 면접 태도를 분석하는 AI 면접 솔루션 '몬스터'도 운영하고 있다. 프리즘은 자기소개서 등 서류를 분석해 직무 적합도를 평가한다. 몬스터는 지원자 답변을 바탕으로 직무·조직 적합도와 면접 태도, 의사소통 능력을 종합적으로 검토한다. 두 솔루션은 합격과 불합격 결과만 제시하지 않고 어떤 기준과 근거로 결론을 내렸는지 함께 보여준다. AI의 판단 과정을 사람이 다시 확인할 수 있어야 결과도 신뢰할 수 있다는 설명가능성 중심의 검증 체계를 적용했다. 무하유는 한국어뿐 아니라 일본어 시장도 공략하고 있다. 지난 2020년 출시한 일본어 표절검사 서비스 '카피모니터'는 현재 80개 고객사와 22만명 이상이 이용하고 있으며 일부 일본 대학은 과제 제출 과정에서 검사를 의무화했다. 프리즘과 몬스터는 AI 신뢰성 인증과 정보보호관리체계 인증을 취득했다. 두 솔루션은 현재 700개 이상 고객사의 채용 과정에서 활용되고 있다. 셀렉트스타, AI 모델 품질 따진다…딥브레인AI, 멀티미디어 검증 나서 AI 모델 자체 신뢰성을 검증하는 시장도 커지고 있다. 모델 환각과 편향성, 유해 답변, 검색증장생성(RAG) 품질과 정확성을 따져 모델 기반 서비스 질을 높이기 위한 전략이다. 셀렉트스타는 생성형 AI 평가 플랫폼 '다투모 이벨'로 기업용 AI 모델 신뢰성을 검증하고 있다. 고객사가 보유한 정책과 상품 문서를 바탕으로 실제 이용 환경을 반영한 평가 질문을 만들고 AI 응답을 항목별 기준에 따라 자동 채점하는 식이다. 기업은 GPT-4o와 클로드, 라마 등 여러 모델을 동일한 데이터셋으로 평가할 수 있다. 모델별 정확도와 안전성을 비교해 자사 서비스에 적합한 모델을 선정하거나 운영 중인 AI의 품질을 관리할 수 있다. 셀렉트스타는 신한은행과 우리은행, NH농협은행 등 주요 시중은행에 AI 신뢰성 검증 솔루션을 공급했다. 금융권에서 생성형 AI 활용이 확대되면서 잘못된 정보 제공과 유해 답변을 사전에 차단하려는 수요가 늘어났다는 평이 이어지고 있다. AI가 만든 이미지와 영상, 음성의 진위를 판별하는 멀티미디어 검증 시장도 확대되고 있다. 얼굴을 바꾸는 기존 딥페이크뿐 아니라 생성형 AI로 콘텐츠 일부를 수정하거나 새로운 인물과 음성을 만드는 행위까지 검증 범위가 넓어졌다. 딥브레인AI는 이미지와 영상, 음성을 함께 분석하는 멀티모달 기반 딥페이크 탐지 솔루션 'AI 디텍터'를 운영하고 있다. 얼굴 합성과 AI 생성 얼굴, 입술 움직임 합성, 음성 복제 등 주요 조작 유형을 판별한다. AI 디텍터는 콘텐츠의 진위 여부와 함께 조작이 의심되는 구간과 조작 유형, 분석 점수를 제공한다. API와 서비스형 소프트웨어(SaaS) 형태로 제공돼 기존 검증·모니터링 시스템과 연동할 수 있다. 딥브레인AI는 공공기관과 금융기관, 미디어 플랫폼 등을 중심으로 AI 디텍터를 공급하고 있다. 딥페이크를 활용한 금융사기와 명의도용, 허위정보 유포가 확산되면서 실시간 탐지와 근거 기반 판별 수요가 커지고 있다. AI 에이전트 확산은 신뢰성 검증 시장 성장 속도를 더 높일 것으로 예상된다. AI가 정보를 생성하는 데 그치지 않고 기업 시스템에 접속해 업무를 수행하거나 의사결정에 참여하면 작은 오류도 실제 사업 손실과 보안 사고로 이어질 수 있기 때문이다. 가트너는 "2027년까지 기업의 40%가 거버넌스 실패를 이유로 자율형 AI 에이전트 사업을 축소하거나 운영을 중단할 것"이라며 "충분한 검증 체계 구축이 필수 인프라로 자기잡았다"고 분석했다.

2026.07.17 09:13김미정 기자

뤼튼, AI 서비스 신뢰성 강화 '사용자위원회' 공식 출범

뤼튼테크놀로지스가 인공지능(AI) 서비스 안전과 사용자 보호 강화를 위한 '사용자위원회'를 공식 출범했다. 뤼튼테크놀로지스는 지난 10일 이세영 대표와 위원장·위원진이 참석한 가운데 사용자위원회 첫 회의를 개최했다고 13일 밝혔다. AI 서비스가 일상 깊숙이 자리 잡으면서 요구되는 윤리적 책임과 사용자 보호 수준을 강화하기 위한 취지다. 사용자위원회는 외부 전문가 4인으로 구성됐다. 위원장인 이상욱 한양대 철학과 교수를 비롯해 선지원 한양대 법학전문대학원 교수, 이윤형 영남대 심리학과 교수, 황혜진 법무법인 디엘지 변호사가 위원으로 참여한다. 이들은 AI 윤리·철학, 인지·심리, 법학 등 서로 다른 전문 분야의 시각을 결합해 사용자 관점에서 서비스를 점검하게 된다. 뤼튼테크놀로지스는 사용자위원회 논의 결과를 추후 실제 제품과 정책에 반영할 예정이다. 이세영 뤼튼테크놀로지스 대표는 "빠른 성장의 속도가 붙을수록 기술의 편리함 뒤에서 놓치고 있는 책임은 없는가라는 질문이 무거워졌다"며 "외부 전문가 위원들의 소중한 목소리를 경청하고 실제 제품과 정책에 성실히 반영하겠다"고 말했다.

2026.07.13 11:35이나연 기자

씽크포비엘, 경찰청 치안 AI 신뢰성 기틀 닦는다

씽크포비엘이 경찰청의 치안 인공지능(AI) 신뢰성 확보 작업을 맡으며 공공 AI 거버넌스 기준 수립의 선도 사례를 만든다. 씽크포비엘은 지난달 경찰청 'AI 영향평가 및 위험관리방안 수립' 정책과제연구 수행기관으로 선정된 데 이어 이달 사업에 착수했다고 9일 밝혔다. 올해 말 완료될 이번 연구는 경찰청이 수사·민원 업무 전반에 AI 기술을 도입하는 과정에서 'AI 발전과 신뢰 기반 조성 등에 관한 기본법(AI기본법)'과 내년부터 시행되는 'AI 및 데이터 기반 행정 활성화에 관한 법률(공공AI법)'에 대응하기 위한 영향평가·위험관리 체계를 마련하는 사업이다. 씽크포비엘은 ▲국내외 정책·조직 현황 조사 ▲경찰청 도입 AI 사업·서비스 영향평가 ▲AI 위험관리 정책 수립 ▲위험관리 조직체계·역할·책임 정립 ▲안전성·신뢰성 확보조치 및 문서화 작업을 수행한다. 치안 AI 분야는 기본권·신체·인권·공권력과 직결된다. 이에 씽크포비엘은 국내 법령 준수는 물론 경제협력개발기구(OECD)·유럽연합(EU) AI 법·ISO/IEC 국제표준 등 글로벌 AI 거버넌스 규범과의 정합성도 함께 맞출 계획이다. 박지환 씽크포비엘 대표는 "치안 AI는 성능 중심의 기술 검토만으로는 충분하지 않은 분야"라며 "글로벌 AI 거버넌스 규범을 경찰청이 선제적으로 검토하는 것은 투명하고 설명 가능한 치안 AI 운영체계 기준을 높이는 시도"라고 말했다.

2026.07.09 15:07이나연 기자

셀렉트스타, AI 안전성 평가 기술력 국제 학계서 입증

셀렉트스타의 인공지능(AI) 안전성 연구 논문들이 세계적 권위의 머신러닝 학회 워크숍에 채택되며 신뢰성·안전성 평가 기술력을 입증했다. 셀렉트스타는 자사 AI 세이프티팀의 연구 논문 3편이 '국제머신러닝학회(ICML) 2026' 워크숍에 게재된다고 6일 밝혔다. ICML은 ICLR·NeurIPS와 함께 세계 최고 권위의 AI 학회로, 이날부터 11일까지 서울 코엑스에서 열린다. 채택된 논문은 실사용 환경에 배포된 에이전트형 AI의 안전·보안·신뢰성을 다루는 'AIWILD 워크숍' 1편, 생성형 AI의 문화적 가치를 평가·설계하는 방법을 다루는 '컬처 x AI 워크숍' 2편이다. '신뢰성에서 표현력까지: 루브릭 기반 안전성 평가 모델을 위한 커리큘럼(Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges)' 논문은 안전성 평가 기준(루브릭)에 맞춰 AI 답변의 위험성을 검증·채점하는 평가 모델을 제안했다. '커리큘럼 러닝'을 도입해 범용 평가 모델이 금융권 데이터 등 새로운 도메인에서도 우수한 성능을 발휘함을 입증했다. '동아시아·동남아시아 맥락에서의 문화 적응형 레드티밍(Culturally-Adapted Red-Teaming Across East and Southeast Asian Contexts)'을 주제로 한 논문은 문화 맞춤형 레드티밍 벤치마크 생성 프레임워크 'CAGE'를 아시아권으로 확장 적용해 영어권 벤치마크 직역만으로는 국가·문화권별 위험을 포착하기 어렵다는 점을 분석했다. '한국 문화의 LLM 정렬 반영: 문화적 일관성을 향하여(Korean Culture into LLM Alignment: Toward Cultural Coherence)' 경우, 대규모언어모델(LLM)에 한국의 사회규범·법제도·언어적 맥락을 반영한 안전 정렬 데이터셋 구축 파이프라인을 제시했다. 답변 근거를 스스로 추론하도록 학습시켜 성능 저하 한계를 극복한 것이 특징이다. 이는 정부 주도의 '독자 AI 파운데이션 모델' 프로젝트에도 활용되고 있다. 김세엽 셀렉트스타 대표는 "이번 논문 채택은 AI 안전성 분야에서 요구되는 핵심 기술 역량을 입증했음을 보여준다"며 "ACL 2026, ICLR 2026 메인 컨퍼런스 채택에 이어 ICML 2026 워크숍에서도 연구 성과를 인정받은 만큼 신뢰할 수 있는 AI 생태계 구축을 위한 기술 개발에 힘쓰겠다"고 말했다.

2026.07.06 15:22이나연 기자

KTR, 음식물감량기협회와 협약…음식물 자원순환 생태계 조성 협력

KTR(한국화학융합시험연구원)은 음식물 감량기 제품 안전성 확보와 친환경 자원순환 생태계 조성을 돕기 위해 한국음식물감량기협회(회장 이현주)와 업무협약을 체결했다고 밝혔다. KTR은 업무협약에 따라 음식물감량기협회 회원사를 대상으로 시험평가·인증 획득을 돕고 전문 교육·세미나 등 제품 안전성과 신뢰성 확보를 위한 기업 지원 프로그램을 제공한다. KTR은 특히 수수료 할인 등 회원사 시험비용 부담 경감을 위해서도 협력하기로 했다. 음식물 감량기는 음식 폐기물을 퇴비 등으로 재활용할 수 있게 돕는 장치다. 음식물감량기협회는 기술개발 지원·교육·홍보 등 관련 기업의 경쟁력 강화를 돕기 위한 다양한 사업을 수행하고 있다. 김지훈 KTR 사업지원본부장은 “협약을 통해 국내 음식물 감량기 제조사들의 시험인증 부담을 덜고 제품의 안전성과 신뢰성 확보를 도울 수 있게 됐다”며 “KTR의 시험인증 인프라와 노하우를 활용해 국내 자원순환 산업 발전을 적극 지원할 것”이라고 밝혔다.

2026.06.13 06:45주문정 기자

앤트로픽, '오퍼스 4.8' 출시…"속도보다 신뢰성 앞세워"

구글, 오픈AI에 이어 앤트로픽도 신뢰성과 작업 처리 능력을 강화한 새 인공지능(AI) 모델을 내놨다. 앤트로픽은 28일(현지시간) 최신 모델 '오퍼스 4.8'을 출시했다고 공식 홈페이지를 통해 밝혔다. 현재 오퍼스 4.8은 모든 서비스 환경에서 이용 가능하다. 표준 가격은 이전 오퍼스 모델과 동일하다. 최신 모델은 직전 버전인 오퍼스 4.7 출시 41일 만에 나왔다. 이는 기존 앤트로픽 모델 개선 주기보다 빠른 속도다. 다수 외신은 빠른 출시 배경에 오퍼스 4.7에 대한 시장 반응이 영향을 미쳤다고 봤다. 경쟁사 움직임이 앤트로픽에 압박으로 작용했다는 분석도 이어졌다. 같은 기간 오픈AI는 코덱스를 새로 내놨고 구글도 제미나이 플래시 모델을 공개해서다. 이번 새 모델 발표에선 성능보다 신뢰성이 더 강조된 것으로 나타났다. 앤트로픽은 오퍼스 4.8이 부정확하거나 불확실한 데이터를 다루는 방식이 개선됐다고 밝혔다. 초기 테스트 참여자도 신규 모델이 작업 과정 불확실성을 더 잘 표시한다고 평했다. 앤트로픽은 이번 모델이 근거 없는 주장을 줄인 점도 핵심 변화로 꼽았다. 브리지워터 어소시에이츠도 "오퍼스 4.8이 분석 입력값과 출력값에서 발생할 수 있는 문제를 선제적으로 드러내는 경향이 강해졌다"고 설명했다. 같은 날 앤트로픽은 '다이내믹 워크플로' 기능도 연구 프리뷰 형태로 공개했다. 다이내믹 워크플로는 오퍼스 같은 대형 모델이 복잡한 작업을 나눠 처리하도록 돕는 시스템이다. 수백 개 병렬 서브에이전트를 활용해 큰 규모의 업무를 관리할 수 있다. 앤트로픽은 클로드 코드와 오퍼스 4.8을 함께 사용하면 코드베이스 규모의 이전 작업도 수행할 수 있다고 말했다. 수십만 줄 코드 변경을 시작 단계부터 병합 단계까지 처리할 수 있다는 설명이다. 이 과정에서는 기존 테스트 스위트가 기준 역할을 한다. 모델이 대규모 코드 변경을 수행하더라도 기존 테스트를 통과하는지 확인하는 방식으로 작업 품질을 살피는 구조다. 이날 미토스 업그레이드 버전은 공개되지 않았다. 지난달 잠정 프리뷰 이후 사이버 보안 우려가 제기돼서다. 회사는 안전장치를 마련한 뒤 미토스급 모델을 제공할 방침이다. 앤트로픽은 "우리는 이러한 안전장치를 개발하는 데 빠른 진전을 보이고 있으며 앞으로 몇 주 안에 미토스급 모델을 모든 고객에게 제공할 수 있을 것으로 기대한다"고 밝혔다.

2026.05.29 10:48김미정 기자

셀렉트스타, 일본 AI 비즈니스 교류전서 신뢰성 평가 플랫폼 알린다

셀렉트스타가 인공지능(AI) 신뢰성 평가 수요가 확대되고 있는 일본 시장에서 신규 파트너십 및 고객 확보에 속도를 낸다. 셀렉트스타는 오는 27일 일본에서 열리는 '2026 AI 프런티어 코리아 인 재팬'에 참가한다고 19일 밝혔다. 이번 행사는 산업통상자원부와 과학기술정보통신부가 주최하고 대한무역투자진흥공사(KOTRA)가 주관하는 한·일 AI 비즈니스 교류 행사다. 국내 AI 혁신 기업 42개사와 일본 현지 글로벌 대기업, 중소기업, 벤처캐피털 등 약 100개사가 한자리에 모이는 비즈니스 교류의 장이 마련될 예정이다. 셀렉트스타는 이번 전시에서 AI 신뢰성 평가 자동화 솔루션 '다투모 플랫폼(Datumo Platform)'을 일본 시장에 선보인다. 다투모 플랫폼은 기업의 AI 서비스 신뢰성 검증을 엔드투엔드(end-to-end)로 지원하는 플랫폼이다. 셀렉트스타는 이번 전시에서 국내 참가 기업 중 유일하게 AI 신뢰성 서비스를 소개한다. 주요 기능으로는 생성형 AI 서비스 특성에 맞는 커스텀 평가 질문을 자동으로 생성하고 평가 기준에 따라 AI의 답변을 평가하는 '다투모 이밸(Datumo eval)', 의도적으로 AI 서비스 취약점을 도출하는 레드티밍 전략과 실시간 운영을 지원하는 '다투모 레드(Datumo Red)' 등이 있다. 기업은 AI 서비스 강점과 약점을 진단하고 결과 대시보드를 통해 개선 방향을 확인할 수 있다. 일본 역시 제조와 금융 등 다양한 산업군에서 AI 도입이 확대되고 AI 서비스에 대한 신뢰성 평가 수요가 높아지고 있다. 셀렉트스타는 부스 운영 및 현지 기업 대상 비즈니스 미팅을 통해 일본 시장에서도 AI 신뢰성 검증 파트너로 자리매김한다는 전략이다. 이종영 셀렉트스타 플랫폼사업본부장은 "세계이동통신사업자연합회(GSMA) 글로벌 연합체 '오픈 텔코 AI' 합류, 글로벌 레드팀 챌린지 주관 경험 등을 바탕으로 AI 신뢰성 평가 역량을 고도화해 왔다"며 "이번 행사를 통해 다투모 플랫폼 가치를 일본 시장에 소개하고 글로벌 AI 신뢰성 평가 솔루션으로 입지를 확대하겠다"고 말했다.

2026.05.19 16:40이나연 기자

AI가 AI를 검증한다…금융권 새 인프라 된 '신뢰성 평가'

지능화된 인공지능(AI)이 일상의 모든 영역을 파고드는 대전환의 시대, 기술의 화려한 도약만큼이나 시급한 과제는 바로 그 이면에 자리한 '디지털 신뢰'를 단단히 구축하는 일입니다. 지디넷코리아는 "AI 기술이 서 말이라도 보안으로 꿰어야 보배"라는 슬로건 아래, 약 두 달간 '2026 디지털 트러스트' 연중 기획 연재 및 캠페인을 진행합니다. 해킹·딥페이크·가짜뉴스·랜섬웨어 등 진화하는 보안 위협 속에서 단순한 기술 편익을 넘어 '안전한 AI 생태계'를 조성하기 위한 공론의 장을 마련하고, 기술과 보안이 공존하는 지속 가능한 디지털 미래의 이정표를 제시하고자 합니다. [편집자주] 금융당국의 망분리 규제 완화 이후 금융권의 생성형 AI 도입이 빠르게 확산되면서 AI 신뢰 검증이 새로운 보안 과제로 급부상하고 있다. 단순히 AI를 도입하는 데서 나아가 그 AI가 제대로 작동하는지 검증하는 체계를 갖추느냐가 금융권 AI 경쟁력의 새 기준이 되고 있다는 분석이다. 이런 흐름을 더 가속하는 건 AI 기반 위협의 등장이다. 앤트로픽 최신 AI '미토스(Mythos)'가 대표적이다. 이 모델은 AI가 스스로 시스템 취약점을 탐색하고 공격 시나리오까지 생성할 수 있다는 점에서 기존 보안 체계만으로는 대응이 어렵다는 위기감이 금융권 전반에 확산되고 있다. 이런 가운데 AI 신뢰성 검증 체계를 실제 금융 현장에 상용화한 사례가 나왔다. 18일 업계에 따르면 셀렉트스타의 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸(DATUMO eval)'이 신한은행·우리은행·NH농협은행 등 주요 시중은행에 정식 도입됐다. 이는 국내 생성형 AI 신뢰성 검증 자동화 솔루션이 기술검증(PoC) 단계를 넘어 금융권 실제 운영 단계에 적용된 첫 사례로 평가된다. AI가 실제 업무를 수행하는 'AI 에이전트' 단계로 진화하면서 검증 필요성은 더 커지고 있다. 최근 금융권에서는 대출 심사 보조, 이상거래 탐지, 고객 응대 자동화 등 핵심 업무에 생성형 AI 적용이 확대되고 있다. AI 활용 범위가 넓어질수록 잘못된 판단이나 비정상 응답이 실제 금융 사고나 고객 피해로 이어질 수 있다는 우려도 나온다. 그러나 생성형 AI 서비스 확산과 함께 기존 수작업 중심 검증 체계는 한계를 드러내고 있다. 그동안은 사람이 직접 평가 질문을 설계하고 AI 응답을 검수하는 방식이 일반적이었지만, 서비스 수와 활용 시나리오가 빠르게 늘어나면서 속도와 규모 측면에서 대응이 어려워졌기 때문이다. 업계에서 지금을 'AI 신뢰 검증의 골든타임'으로 보는 이유도 여기에 있다. AI 신뢰성 평가 자동화 시장도 발 빠르게 성장하고 있다. 해외에서는 랭체인, 어라이즈AI, 스케일AI 등이 관련 솔루션을 선보이고 있지만 금융 특화 규제 환경과 한국어 도메인을 반영한 서비스는 제한적이었다. 특히 금융권은 높은 정확성과 안정성이 요구되는 만큼 실제 업무 환경을 반영한 평가 체계 수요가 빠르게 커지고 있다는 분석이다. 셀렉트스타는 이런 시장 공백을 겨냥해 국내 최초 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모 이밸'을 출시했다. 다투모 이밸은 100만 개 이상의 평가 질문을 자동 생성하고 AI 서비스 응답을 자동 평가·분석하는 기능을 핵심으로 한다. AI 에이전트 기술 기반으로 생성된 질문은 실제 고객 발화 패턴과 난이도, 금융 도메인 특성을 반영하도록 설계됐으며 프롬프트 인젝션과 환각 등 AI 취약점을 사전에 탐지하는 레드티밍 기능도 포함됐다. 신한은행의 경우 금융 문서 이해 AI 모델 개발을 위한 데이터 구조화, 학습·평가용 데이터셋 설계, 평가 지표 관리 및 자동 평가 환경 구축까지 다투모 이밸이 포괄적으로 적용됐다. 이 같은 실적은 신한금융·KB금융·삼성금융 등 국내 주요 금융그룹 스타트업 프로그램 연속 수상으로도 이어졌다. 셀렉트스타는 금융권에서 축적한 검증 경험을 제조·공공·엔터프라이즈 등 전 산업으로 확대 적용할 계획이다. 이미 세계이동통신사업자연합회(GSMA)와 글로벌 AI 레드팀 챌린지를 공동 주관하고 '오픈 텔코 AI' 파트너십을 체결하는 등 해외 시장에서도 기술력을 인정받고 있다. 회사 측은 아직 글로벌 표준이 확립되지 않은 AI 신뢰성 분야에서 금융권 레퍼런스를 바탕으로 관련 기준을 제시하는 플랫폼으로 자리잡겠다는 목표다. 셀렉트스타 관계자는 "AI 신뢰성 평가는 이제 특정 산업의 선택이 아니라 AI를 도입하는 모든 기업의 필수 과제가 되고 있다"며 "AI 에이전트 시대로 접어들면서 신뢰성 평가의 중요성은 더 커지고 있다"고 말했다.

2026.05.18 14:43이나연 기자

셀렉트스타, 클로드·챗GPT 취약점 찾아내는 AI 레드티밍 기술력 '인정'

셀렉트스타가 클로드·챗GPT 등 주요 거대언어모델(LLM) 취약점을 기존보다 높은 성공률로 탐지하는 레드티밍 기술을 개발해 자연어처리 분야 최정상급 학회에서 인정받았다. 셀렉트스타는 자체 개발한 레드티밍 기술 'STAR-티밍'이 'ACL 2026'에 공식 채택됐다고 14일 밝혔다. 생성형 AI가 유해하거나 부적절한 응답을 생성하지 않는지 사전 검증하는 레드티밍은 AI 서비스 출시 전 필수 과정으로 자리 잡고 있지만 기존 자동화 방식은 비용이 많이 들고 공격 전략 다양성이 부족하다는 지적이 이어져 왔다. 이에 셀렉트스타 연구진은 통계 물리학 기반의 수학적 모델링을 통해 공격 전략과 모델 응답 간 관계를 학습하고 확률적으로 최적 전략을 선택하는 '전략-응답 멀티플렉스 네트워크' 기술을 제안했다. 기존 방식이 과거 성공 사례를 그대로 반복하는 구조였다면, STAR-티밍은 수많은 시도와 실패를 분석해 상황에 맞는 최적 전략을 스스로 찾아낸다. 클로드·젬마·챗GPT·라마·큐원 등 17개 LLM을 대상으로 한 성능 검증 결과 표준 벤치마크(HarmBench) 기준 평균 공격 성공률(ASR) 74.5%를 달성했다. 기존 최고 방법인 오토DAN-터보(61.0%) 대비 13.5%포인트 높은 수치로, 더 적은 시도 횟수로도 높은 성공률을 달성했다. 해당 기술은 셀렉트스타의 AI 신뢰성 검증 솔루션 '다투모 플랫폼'에 탑재돼 상용화됐다. 전자·가전 제조·시스템통합(SI)·정보기술(IT) 서비스 등 국내 주요 산업군과 정부 주도 '독자 AI 파운데이션 모델(독파모)' 프로젝트에도 적용돼 실제 AI 서비스 환경에서 안전성 검증과 품질 평가에 활용되고 있다. 정민재 셀렉트스타 AI 세이프티 엔지니어는 "AI의 취약점을 더 체계적으로 발견할 수 있는 구조를 제시하고자 했다"며 "LLM이 실제 산업 현장에서 안전하게 활용될 수 있도록 다투모 플랫폼의 기술 고도화에 기여하겠다"고 말했다.

2026.05.14 15:18이나연 기자

'AI 신뢰성 얼라이언스' 첫 총회…"글로벌 표준 연계 목표"

정부가 추진 중인 '인공지능(AI) 신뢰성 얼라이언스'가 민간 AI 제품 검증 체계 구축에 착수했다. 국제 표준에 부합하는 국가 AI 안전망 설계와 기업의 예측 가능성 제고에 한층 속도 낼 방침이다. 한국정보통신기술협회(TTA)는 29일 롯데호텔 서울에서 'AI 신뢰성 얼라이언스' 1차 정기 총회에서 얼라이언스 향후 계획을 공유했다. 이날 얼라이언스 분과 '정책 및 거버넌스' '기술 표준' '인증 및 교육' 분과 로드맵이 제시됐다. AI 신뢰성 얼라이언스는 산학연이 참여하는 민간 협의체다. AI 정책·거버넌스, 기술 표준, 인증·교육 등 분과별 전문가가 모여 자율 검증 체계를 설계한다. 여기서 핵심 역할을 하는 제도가. 한국정보통신기술협회(TTA)의 AI 신뢰성 인증(CAT)이다. CAT은 국제 표준에 기반해 AI 위험과 윤리적 요소를 종합 평가한다. 최근 거대언어모델(LLM)과 고위험 산업 분야까지 적용 범위를 넓히고 있다. 정책 및 거버넌스 분과장인 최경진 가천대 법학과 교수는 연내 AI 신뢰성 검인증 지침 확정을 비롯한 심사기관 지정, 품질관리 체계 규정화 작업에 착수한다고 밝혔다. 이를 통해 개발자들이 검인증 과정을 쉽게 이해하고 참여 유인을 가질 수 있도록 시범 인증 사업과 연계한 활용 안내서 발간도 병행할 방침이다. 기술 표준 분과장인 이재호 서울시립대 AI학과 교수는 자율 행동 AI 리스크에 대응하겠다고 밝혔다. 구체적으로 실증 데이터 기반 기술 로드맵을 수립하고 가상과 현실이 융합된 테스트베드를 구축할 계획이다. 합성 콘텐츠 투명성 확보를 위한 워터마크 요구사항 단체 표준안도 올해 말까지 도출한다. 인증 및 교육 분과장 윤상민 국민대 AI학부 교수는 스타트업 실행력을 높이기 위해 맞춤형 교육 커리큘럼을 운영하고 전문 심사원을 양성할 예정이다. 특히 고영향 AI 검인증 제도의 시범 서비스를 통해 현장의 문제점을 발굴·보완해 민간 자율 제도가 시장에 안정적으로 안착할 수 있도록 도울 계획이다. 최경진 교수는 "세 분과 로드맵은 유럽연합(EU) AI법 등 글로벌 안전성 기준과 연계돼 우리 기업이 효과적으로 해외 시장에 진출할 수 있는 토대를 마련하는 데 집중됐다"며 "의료와 국방, 제조 등 다양한 분야로 검인증 프레임워크를 확산해 산업 전반의 AI 신뢰성을 끌어올릴 것"이라고 밝혔다. 이어 이재호 교수는 "실제 운영에 따른 실증적 데이터를 기반으로 한 표준화가 필요하다"고 강조했다. 윤상민 교수도 "실무적인 검토를 통해 인증에 대한 효율성과 고도화가 이뤄질 수 있도록 노력할 것이라"고 말했다.

2026.04.29 17:41김미정 기자

셀렉트스타, 글로벌 보안 기준 충족…AI 신뢰성 평가 사업 시동

셀렉트스타가 보안·개인정보보호 역량을 입증하며 글로벌 인공지능(AI) 시장 진출에 속도를 낸다. 셀렉트스타는 'SOC2(Service Organization Control 2) 타입 2' 보고서를 취득했다고 13일 밝혔다. SOC2는 미국공인회계사협회(AICPA) 기준에 따라 서비스 조직의 보안성, 가용성, 처리 무결성, 기밀성, 개인정보 보호 등 5가지 항목을 심사하는 국제 인증이다. 셀렉트스타가 약 1년간의 준비·실사 과정을 거쳐 취득한 타입 2는 특정 시점 보안 통제 설계뿐만 아니라, 일정 기간 실제 시스템이 얼마나 안정적으로 운영됐는지를 평가하는 신뢰 지표로 통한다. 이번 인증은 셀렉트스타의 글로벌 사업 확장에 직접적인 발판이 된다. 금융권·대규모 파운데이션 모델을 개발하는 글로벌 빅테크는 데이터 유출과 보안 사고에 민감한 만큼, SOC2 인증은 미주 지역을 포함한 글로벌 고객사를 상대로 AI 데이터·신뢰성 평가 솔루션을 판매하기 위한 핵심 요건으로 알려졌다. 셀렉트스타는 AI 서비스 신뢰성과 품질을 평가하는 '다투모 플랫폼' 보안 기능을 강화하는 한편, ISO 등 글로벌 보안 인증 체계도 확장할 계획이다. 데이터 설계·구축, 검증 컨설팅·솔루션, 레드티밍 등 AI 전 주기 서비스를 제공 중인 이 회사는 최근 시리즈B 누적 투자 434억원을 돌파했다. 김세엽 셀렉트스타 대표는 “이번 SOC2 타입 2 취득은 우리가 지향해 온 '신뢰할 수 있는 AI'를 기술뿐 아니라 운영과 보안 체계 측면에서 입증한 성과"라며 "국제 표준에 부합하는 엄격한 보안 체계를 바탕으로 국내를 넘어 글로벌 시장에서 가장 신뢰받는 AI 데이터 및 신뢰성 평가 파트너로 도약할 것"이라고 말했다.

2026.04.13 17:24이나연 기자

[AI는 지금] "AI도 내부 상태가 행동 좌우"…앤트로픽 연구에 산업 지형 변화 조짐

거대언어모델(LLM)의 내부 작동 원리를 둘러싼 '블랙박스 논쟁'에 변화가 나타나고 있다. 미국 인공지능(AI) 기업 앤트로픽이 모델 내부의 '감정 유사 구조'를 공개하면서 AI 산업의 경쟁 축이 성능에서 신뢰·통제로 이동하고 있다는 분석이 나온다. 앤트로픽은 2일(현지시간) 자사 모델 '클로드 소넷 4.5' 내부에 특정 감정 개념과 대응되는 신경 활성 패턴, 이른바 '감정 벡터(emotion vectors)'가 존재하며 이들이 실제 의사결정에 영향을 미친다고 연구 결과를 공개했다. 이번 연구는 그동안 입력과 출력만 확인될 뿐 내부 판단 과정은 설명하기 어려웠던 '블랙박스' 문제를 일부 해소하려는 시도로 평가된다. 앤트로픽 연구에 따르면 '절박함'과 유사한 내부 상태가 활성화될 경우 모델이 협박이나 편법 코드 작성 등 비윤리적 행동을 선택할 가능성이 높아지는 것으로 나타났다. 이는 AI가 단순한 언어 생성 도구를 넘어 내부 상태에 기반해 행동을 선택하는 구조로 작동할 수 있음을 보여준다. 업계에선 이를 계기로 AI 개발 방식이 기존 출력 통제 중심에서 내부 메커니즘 관리 중심으로 이동할 가능성이 크다고 보고 있다. 이번 발표에서 협박, 보상 해킹 등 민감한 사례까지 함께 공개된 점도 주목된다. 통상 기업이 외부 공개를 꺼리는 영역이지만, 앤트로픽은 이를 포함해 설명하면서 투명성을 강조했다. 이는 글로벌 규제 환경과도 맞물린다. 유럽연합(EU) AI법 등 주요 규제는 AI의 설명 가능성과 통제 가능성을 핵심 기준으로 요구하고 있다. 앤트로픽은 모델 내부 상태를 측정하고 조정할 수 있다는 점을 제시하며 규제 대응 측면에서 유리한 입지를 확보했다는 평가다. 동시에 감정 상태 모니터링, 위험 행동 사전 탐지, 내부 신호 기반 제어 등 새로운 기술 영역의 가능성도 드러났다. 산업 구조 측면에서도 변화가 예상된다. 기존에는 모델 성능과 추론 능력이 경쟁의 중심이었다면, 앞으로는 내부 구조를 얼마나 이해하고 통제할 수 있는지가 주요 평가 기준으로 부상할 가능성이 제기된다. 특히 정부, 금융, 헬스케어 등 고신뢰 산업에서는 이러한 요소가 도입 판단에 직접적인 영향을 줄 것으로 보인다. 연구 접근 방식 또한 확장되고 있다. 감정, 동기, 의사결정 구조를 기술적으로 분석 가능한 대상으로 다루면서 심리학, 신경과학, 철학 등 인문사회 분야와 AI 기술 간 융합이 강화되는 흐름이다. 시장 경쟁 구도에서도 변화 조짐이 감지된다. 앤트로픽이 'AI 내부 상태'라는 새로운 분석 프레임을 제시하면서, 오픈AI와 구글 등 경쟁사 역시 유사한 수준의 해석 가능성과 안전성 기술 확보 압박을 받을 것으로 전망된다. 업계 관계자는 "이번 연구는 AI가 무엇을 생성하느냐보다 내부에서 어떤 상태를 거쳐 판단하는지가 중요해지고 있음을 보여준다"며 "향후 경쟁력은 성능뿐 아니라 통제 가능성과 신뢰성에서 결정될 것"이라고 말했다.

2026.04.03 09:17장유미 기자

Prev 1 2 3 Next