LGU+, 2027년 AI 비용 낮추는 토큰 사업 진출
LG유플러스가 AI 통화앱 익시오와 AI 컨택센터(AICC) 등 실제 서비스에서 쌓은 운영 경험을 바탕으로 내년 기업 대상 토큰 중계 사업에 진출한다. 업무에 맞는 AI 모델과 인프라를 조합해 서비스 품질을 유지하면서 기업의 AI 이용 비용을 낮춘다는 전략이다. 이혜진 LG유플러스 기술전략담당은 지난 12일 서울 서대문구 위드스페이스에서 열린 AI 토큰 최적화 스터디에서 “토큰 효율화는 개발자만의 방법론이 아니라, 기업이 적자를 피하고 서비스를 효율화하기 위한 필수 기준”이라며 “하드웨어부터 플랫폼, 에이전트, 모델 라우팅에 이르는 토큰 최적화 기술이 기업의 마진과 투자수익률(ROI)을 바꾼다”고 말했다. 토큰은 AI가 입력과 출력을 처리하는 텍스트 단위로, 이용 비용을 산정하는 기준이다. AI 에이전트가 검색과 분석, 검증을 반복하며 업무를 수행할수록 사용량이 늘어나는 만큼, 모델별 단가와 함께 전체 처리 과정의 효율을 높이는 것이 중요해지고 있다. LG유플러스는 추론 과정의 연산 효율 개선, 업무 특성에 맞춘 모델 선택, 에이전트의 처리 경로 단축, 이용 환경에 따른 하드웨어 조율 등을 토큰 최적화의 주요 요소로 꼽았다. 개별 토큰 가격을 낮추는 데 그치지 않고 고객이 하나의 업무를 완료하는 데 드는 총비용(Task Cost)을 줄이는 데 초점을 맞췄다. 자체 모델로 코딩 비용 약 90% 절감, 라우팅으로 비용 낮춰 LG유플러스는 자체 기술 검증에서 통상 사용하는 모델 대비 자체 AI 모델의 코딩 영역 운영 비용을 약 90% 절감한 사례를 확인했다고 밝혔다. AI 모델의 연산 처리 방식을 개선해 동일 인프라 대비 처리 효율을 약 4배로 높인 성과도 제시했다. 업무 난도에 따라 적합한 모델을 선택하는 라우팅 기술도 적용하고 있다. 내부 테스트에서는 모델 라우팅을 통해 일반 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 절감했다. 자체 모델 도입으로 코딩 비용을 약 90% 줄인 사례와는 별도의 검증 결과다. 권기덕 AX엔지니어링랩장은 “동일한 질문을 큰 모델과 작은 모델 모두에 보내 답변을 비교, 평가한다”며 “작은 모델로 처리했을 때 큰 모델 대비 성능이 어느 정도 나오는지 확인한다”고 설명했다. 이어 “이 패턴을 수백만 개씩 축적해 유형화하고, 이를 모델에 지속해서 적용해 라우팅 정확도를 높이고 있다”며 “실증 결과, 일반 질문의 인출 토큰 비율은 내부 검증 기준 25% 이상, 코딩 에이전트는 30% 이상 절감되고 있다”고 강조했다. AI 에이전트가 업무를 수행하는 과정에서 불필요한 검색과 검증을 반복하지 않도록 하는 기술도 개발하고 있다. 같은 작업을 여러 차례 수행하는 과정을 줄여 답변 품질을 유지하면서 토큰 사용량을 낮추는 방식이다. 모델 경량화와 생성 속도 개선도 병행한다. 자체 온디바이스 AI 모델 크기를 기존 2.4~3GB에서 약 800MB로 줄이면서 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다는 설명이다. 작은 모델이 답변을 먼저 생성하고 큰 모델이 검증하는 추측 디코딩 등의 기술을 고도화해 토큰 생성 속도도 2배 이상 높였다. 관련 연구 논문 2편은 AI 학술대회 뉴립스에 채택됐다. 익시오·사내 AX 운영 경험 집약…GPU·NPU 조합도 검증 LG유플러스가 토큰 사업의 경쟁력으로 내세우는 것은 대규모 서비스 운영 과정에서 축적한 모델 조합과 최적화 경험이다. 고객의 이용 패턴과 업무 특성에 맞춰 고성능 모델이 필요한 작업과 가벼운 모델로 처리할 수 있는 작업을 구분하는 방식이다. 익시오는 운영 초기 LG AI연구원의 온디바이스 모델과 구글 제미나이를 병행 활용했다. 이후 실제 서비스 튜닝을 거쳐 자체 AI 모델과 엑사원 등의 비중을 조정하며 비용 효율을 높였다. 사내 AX에서도 개발자용 AI 코딩 도구에 자체 모델을 적용해 기존 업무 환경을 유지하면서 이용 비용을 줄이고 있다. 올해 연말 카카오와 협력하는 정부 대국민 AI 서비스 '모두의 AI' 상용화를 통해 확보하는 운영 데이터와 노하우도 토큰 사업에 반영할 계획이다. LG유플러스는 AI 모델 운영을 맡아 여러 모델을 조합하고 관리하는 역량을 고도화한다는 방침이다. 인프라에서는 여러 종류의 반도체를 조합하는 '칩 믹스' 전략을 추진한다. 엔비디아와 AMD GPU를 활용하고, 국산 AI 반도체 기업 퓨리오사AI와 2년 넘게 협력하며 NPU를 검증하고 있다. 대규모 연산과 메모리 대역폭이 중요한 작업 등 업무 특성에 따라 적합한 반도체로 분산 처리해 인프라 원가를 낮추는 구조다. 이상엽 LG유플러스 CTO는 “단순히 토큰 가격을 낮추는 방식이 아니라, 이용자가 업무를 최적의 비용으로 완료할 수 있도록 돕는 데 집중하고 있다”며 “2027년 토큰 사업을 본격적으로 시작해 협력사 제휴, 자체 구축으로 원가 경쟁력을 강화하겠다”고 밝혔다. 이어 “프론트엔드 개발은 카카오가, 모델 서빙 영역은 LG유플러스가 맡아 다양한 레시피와 최적화 기술을 토큰 사업에 반영할 것”이라며 “글로벌 수준 모델 경량화, 추론 기술과 업무 궤적을 반영한 운영 레시피를 결합해, 기업 고객이 가장 합리적인 비용으로 최고의 AI 성과를 낼 수 있도록 시장을 주도해 나가겠다”고 밝혔다.
