셀렉트스타, AI 모델 자동 선택 기술 공개…비용 28% 절감
셀렉트스타가 질문에 따라 적합한 인공지능(AI) 모델을 골라주는 기술을 선보였다. 자체 실험에서는 가장 성능이 높은 모델만 사용할 때보다 비용을 28% 줄이고 정답률도 높였다. 셀렉트스타는 AI 판단 특화 모델 '다비'를 공개했다고 26일 밝혔다. 다비는 질문을 분석해 적합한 AI 모델을 고르거나 AI 답변을 평가하고 AI 에이전트가 작업에 성공할 가능성을 예측하는 역할을 한다. 일반적으로 AI 서비스는 미리 정해진 모델을 사용해 질문에 답한다. 하지만 간단한 질문에 고성능 모델을 사용하면 불필요한 비용이 발생할 수 있다. 반대로 복잡한 문제를 성능이 낮은 모델에 맡기면 답변 정확도가 떨어질 가능성이 있다. 다비는 이러한 문제를 줄이기 위해 질문 난도를 먼저 판단한다. 간단한 질문은 가벼운 AI 모델에 맡기고 복잡한 문제는 성능이 높은 모델에 전달하는 방식이다. 이를 '모델 라우팅'이라고 부른다. 셀렉트스타는 다비의 판단 능력을 확인하기 위해 타입세이프AI가 개발한 '제브'와 성능을 비교했다. 두 모델 모두 주어진 문제를 분석하고 적절한 답이나 선택지를 판단하는 '디시전 AI' 기술에 해당한다. 자체 평가에서는 다비가 주요 항목에서 제브보다 높은 정확도를 기록했다. AI 판단 능력을 측정하는 '제브벤치' 231개 문항에서 다비는 89.2%를 기록했다. 제브는 86.6%로 다비가 2.6%포인트 앞섰다. 복잡한 조건을 판단해야 하는 고난도 문제에서도 다비는 77.5%를 기록해 제브(73.0%)보다 4.5%포인트 높았다. 한국어 답변 평가에서는 다비가 72.5%, 제브가 66.8%로 5.7%포인트 차이를 보였다. 모델을 자동으로 선택하는 실험에서도 비용 절감 결과를 확인했다. 셀렉트스타는 한국어 고난도 질의응답 174개를 다섯 차례 반복해 총 870건을 평가했다. 다비가 질문 난도를 판단한 뒤 앤트로픽의 하이쿠, 소넷, 오퍼스 가운데 적합한 모델을 선택하도록 했다. 그 결과 다비가 모델을 선택한 경우 870건 중 619건에 정답을 제시해 정답률 71.1%를 기록했다. 가장 높은 성능을 갖춘 오푸스만 사용했을 때는 612건을 맞혀 정답률 70.3%를 기록했다. 다비를 활용한 방식이 정답을 7건 더 맞히면서 모델 실행 비용은 약 28% 줄인 셈이다. 모든 질문에 고성능 모델을 투입하지 않아도 질문 난도에 따라 모델을 나눠 사용하면 비용과 정확도를 함께 관리할 가능성을 확인했다. 다만 이번 결과는 셀렉트스타 자체 평가에 기반한다. 회사가 공개한 기술 문서에 따르면 실험은 한국어 고난도 질의응답에 한정됐으며 비용 절감 수치에는 다비 자체 호출 비용이 포함되지 않았다. 따라서 실제 기업 서비스에서도 같은 비용 절감 효과가 나타나는지는 추가 검증이 필요하다. 셀렉트스타는 다비를 자체 AI 신뢰성 평가 플랫폼 '다투모 이밸'에도 적용할 계획이다. 오는 11월부터 AI 답변 품질을 평가하고 판단 결과를 검증하는 기능에 활용할 예정이다. 개발자를 위한 모델 라우팅 플러그인도 오픈소스로 공개했다. 아파치 라이선스 2.0을 적용해 누구나 소스코드를 확인하고 수정하거나 상업 목적으로 활용하도록 허용했다. 개발자는 이를 활용해 작업 난도에 따라 AI 모델을 자동 선택하는 기능을 시험할 수 있다. 셀렉트스타는 "작은 모델은 비용이 적지만 어려운 작업을 놓치고 고성능 모델은 더 많은 문제를 해결하지만 쉬운 작업에도 높은 비용을 쓴다"며 "비용 절감은 정확도를 유지할 때만 가치가 있다"고 설명했다.
