KT AI 모델 라우팅 기술, 글로벌 벤치마크 2위

KT가 자체 개발한 AI 모델 라우팅 기술이 글로벌 공개 벤치마크에서 2위를 기록했다. 이용자 요청에 따라 여러 AI 모델 가운데 적합한 모델을 자동으로 골라 연결하면서 서비스 품질과 비용을 동시에 최적화하는 기술이다. KT는 자체 개발한 '오토모델라우터(AutoModelRouter)'가 LLM 라우터 전문 벤치마크 '라우터 아레나(RouterArena)'의 정확도·비용 종합 평가에서 2위에 올랐다고 27일 밝혔다. 라우터 아레나는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026 정식 논문으로 채택됐다. 약 8400개 질의를 이용해 라우터의 응답 정확도와 비용 효율성, 입력 변화에 대한 안정성 등을 평가한다. KT 기술은 공개 리더보드에 'KT-ModelRouter'라는 이름으로 등록됐다. 이 가운데 응답 정확도와 비용을 함께 측정하는 'Acc-Cost Arena'에서 2위를 기록했다. 해당 리더보드에는 학계가 개발한 기술뿐 아니라 마이크로소프트의 'Azure Model Router' 등 상용 라우터도 올라 있다. AI 모델 라우팅은 기업이 여러 AI 모델을 동시에 활용하는 멀티모델 환경이 확산되면서 중요성이 커지고 있다. AI 모델마다 번역과 요약, 코딩, 추론 등 잘하는 영역이 다르고 성능과 이용 비용에도 차이가 있기 때문이다. 오토모델라우터는 이용자의 요청이 들어오면 업무 유형과 난이도, 지식 분야 등을 분석한다. 이후 각 AI 모델의 응답 품질과 이용 비용을 비교해 해당 작업을 처리하기 적합한 모델로 요청을 자동 연결한다. 가령 비교적 단순한 번역이나 정보 확인은 요구되는 품질을 충족하면서 비용이 낮은 모델에 맡기고, 전문적인 분석이나 복잡한 추론이 필요한 요청에는 고성능 모델을 사용하는 방식이다. 이용자에게는 하나의 AI 서비스로 보이지만 내부적으로는 요청에 따라 서로 다른 모델이 작동한다. 특히 무조건 성능이 가장 높은 모델이나 가격이 가장 낮은 모델을 고르는 대신 기업이 설정한 목표 품질과 비용 조건을 함께 고려하도록 설계했다. 기업 입장에서는 업무마다 AI 모델을 직접 비교해 선택하는 과정을 줄이면서 필요한 성능과 예산에 맞춰 AI 서비스를 운영할 수 있다. 오토모델라우터는 KT가 추진하는 '토큰 팩토리(Token Factory)'에도 활용된다. 여러 AI 모델과 토큰 이용 환경을 통합하는 과정에서 이용자 요청에 적합한 모델을 자동 배정해 서비스 품질과 토큰 사용 비용을 조절하는 역할을 맡는다. KT는 향후 오토모델라우터의 성능을 고도화하는 동시에 새로운 AI 모델을 유연하게 추가할 수 있는 멀티모델 운영 환경을 구축할 계획이다. 김준석 KT 에이전틱AI랩장은 “AI 시대에는 가장 뛰어난 단일 모델을 확보하는 것뿐 아니라 상황에 맞는 최적의 모델을 얼마나 지능적으로 활용하느냐가 중요하다”며 “오토모델라우터는 이러한 AI 오케스트레이션 역량을 구현한 기술로, 토큰팩토리를 비롯한 KT의 에이전틱 AI 서비스 경쟁력을 뒷받침하는 핵심 기술이 될 것”이라고 말했다.