AI 모델마다 성능·가격 다른데...기업은 어떻게 골라 쓸까
기업이 AI를 업무에 도입할 때 모든 작업에 가장 성능이 높은 모델을 사용할 필요는 없다. 간단한 문서 요약과 번역에는 저렴한 경량 모델로도 충분하다. 반면 복잡한 분석과 추론에는 고성능 모델이 필요하다. KT가 기업의 업무 유형과 비용 조건에 따라 AI 모델을 자동으로 선택하고 사용량까지 관리하는 토큰팩토리 사업에 나선 이유다. 원만호 KT AX플랫폼본부장은 27일 서울 광화문 KT 사옥에서 열린 기자간담회에서 기업용 AI 플랫폼 토큰팩토리를 시연하면서 주요 기능으로 ▲오토 모델 라우터 ▲토큰 절감 ▲가드레일 등을 꼽았다. 토큰팩토리는 기업이 하나의 응용프로그램 인터페이스(API)로 다양한 AI 모델을 이용할 수 있도록 지원하는 플랫폼이다. 모델별 성능과 이용료를 비교하고, 업무에 적합한 모델을 자동으로 연결한다. 기업이 사용한 토큰의 양과 비용을 확인하고 개인정보 유출을 방지하는 기능도 제공한다. KT가 제시한 핵심은 기업이 AI 모델을 일일이 비교하거나 가장 비싼 모델에 의존하지 않아도 된다는 점이다. AI 모델의 종류가 늘고 가격 체계가 복잡해지는 상황에서 기업이 품질과 비용을 함께 관리할 수 있도록 하는 데 초점을 맞췄다. 업무마다 다른 AI 모델, 무엇을 선택할까 이진형 KT AX사업본부장은 “기업이 AX를 고민할 때 단순히 비용이 저렴한 것만이 아니라, 업무에 적합하면서도 비용 효율적인 모델이 무엇인가 하는 점이 고민”이라며 “KT 토큰 팩토리는 요약이나 단순 번역 등 업무는 경량 모델을, 복잡 업무는 고성능 모델을 적용해 비용을 최적화한다”고 말했다. KT 토큰팩토리는 이용자 프롬프트에 따라 적합한 모델을 사용한다. KT 토큰팩토리 공식 홈페이지에선 오는 30일부터 70여 개 이상의 다양한 AI 모델을 하나의 API로 연동해 제공하고, 11월엔 500여 개 모델을 확충할 예정이다. 기업은 모델 탐색 화면에서 필터링 기능을 통해 원하는 모델을 선택할 수 있다. 특정 모델을 선택하면 상세한 스펙을 확인할 수 있다. 화면엔 개발사와 멀티모델 지원 여부, 입출력 단가, 캐시 적용 단가가 표기된다. 레이턴시와 처리량 등 실제 업무 성능을 확인할 수 있다. 모델 체험 화면에선 여러 모델 성능을 동시에 한눈에 확인할 수 있다. 가령 GPT, 큐엔, 미드 등 AI 모델을 고르고 프롬프트를 입력해 답변이 생성되면 화면 맨 우측 상단에 사용된 토큰 양과 응답 소요 시간이 표시되며, 프롬프트에 따른 결과물을 직접 비교할 수 있다. 이용자가 원하는 모델 범위를 선택하고, 품질과 비용에 대한 가중치를 설정할 수 있다. 품질을 높게 설정하면 성능이 뛰어난 고성능 모델을 우선 사용하므로 비용이 다소 상승할 수 있다. 반대로 비용 절감에 가중치를 두면 상대적으로 경제적인 모델이 사용된다. KT 자체 라우팅 기술인 오토 모델 라우터는 이용자가 적절한 가중치와 선호 모델을 선택하면, 조건에 맞춰 최적의 모델로 자동 라우팅한다. 원만호 본부장은 “사전에 다양한 모델별 품질 지표를 미리 평가해두고, 프롬프트가 입력됐을 때 실제로 모델을 다 돌려보지 않아도 입력된 프롬프트 품질 요구 수준을 미리 예측할 수 있다”며 “품질 기준을 충족하지 못하는 모델은 자동 탈락시키고, 설정된 가중치에 가장 적합한 모델을 스마트 모델 라우터가 자동 선정해 처리한다”고 설명했다. “AI 사용료 최대 25% 절감” 대시보드를 통해 API 이용 현황을 한눈에 파악할 수 있다. 원하는 기간 동안 처린된 프롬프트 횟수, 성공률, 총 토큰 사용량, 총 발생 비용을 조회할 수 있다. 특정 기간 가장 많이 사용된 모델이 무엇인지, 어떤 API 키와 사용자가 접속했는지 상세히 파악할 수 있으며, 일간 모델 사용량과 토큰 사용량도 조회할 수 있다. 전체 토큰 사용량 확인을 통한 예산 관리도 가능하다. 관리자는 전체 API 키 별 비용을 모니터링할 수 있다. 모델을 사용하는 API 키별로 월간, 일간 쿼터를 설정해 정해진 예산 범위 내에서 안정적으로 집행될 수 있도록 관리한다. KT는 자동 모델 선택에 더해 AI가 처리하는 토큰 자체를 줄이는 기술도 토큰팩토리에 적용했다. 토큰은 AI 모델이 입력과 출력을 처리하는 단위로, 일반적으로 사용량이 늘어날수록 비용도 증가한다. 토큰 절감 기술은 입력 문장의 불필요한 표현을 줄이는 프롬프트 압축과 출력 토큰 최적화로 구성된다. 이를테면 '다음 주 출장인데 월요일 오전 서울에서 부산으로 가는 KTX 열차를 찾아줘'라는 요청을 '다음 주 월요일 오전 서울-부산 KTX'로 압축하는 사례를 소개했다. 요청의 핵심 의미를 유지하면서 입력 토큰 수를 줄이는 방식이다. 원 본부장은 “내부적으로 테스트했을 때 최대 약 25%까지 절감되는 것을 확인했다”면서 “그만큼 토큰을 보다 비용 효율적으로 이용할 수 있도록 하는 기술”이라고 밝혔다. 김준석 KT 에이전틱AI랩장은 “프롬프트 압축으로 토큰 사용량을 약 20% 줄이고, 모델 라우팅을 통해 요청을 처리할 수 있는 저렴한 모델을 선택해 추가로 약 5%의 비용을 절감했다”고 설명했다. 즉, 실제 절감률은 기업이 사용하는 모델과 업무 유형, 입력 내용에 따라 달라질 수 있다. KT는 AI 모델 자체의 크기를 줄이는 최적화 기술도 적용하고 있다. 이 본부장은 “모델 경량화 기술을 활용해 성능 저하를 5% 미만으로 제한하면서 모델 크기를 최대 70%대까지 줄일 수 있다”고 말했다. 모델 크기가 작아지면 구동에 필요한 GPU 자원과 추론 비용을 낮출 수 있다. 기업이 AI 서비스를 대규모로 운영할 때 모델 사용료뿐 아니라 인프라 비용까지 줄일 수 있다는 것이다. 절감 효과를 확인하는 대시보드를 통해 관리자는 토큰 절감 기능을 적용한 뒤 실제로 줄어든 토큰의 양과 압축이 적용된 요청 비율을 확인할 수 있다. 기업 데이터와 보안은 어떻게 관리하나 기업이 여러 AI 모델을 도입할 때 발생하는 관리 문제도 해결 대상이다. 부서와 개발자마다 사용하는 모델이 다르면 전체 이용량을 파악하기 어렵고, 특정 조직에서 AI 사용료가 급증하더라도 원인을 확인하는 데 시간이 걸릴 수 있다. 토큰팩토리에서는 관리자가 개발자를 초대하고 API 키를 발급하고 관리할 수 있다. API 키별로 하루 또는 한 달 동안 사용할 수 있는 한도와 예산을 설정해 비용이 일정 수준을 넘지 않도록 통제하는 기능도 제공한다. 관리 대시보드에서는 전체 요청 건수와 처리 성공률, 토큰 사용량, 발생 비용을 확인할 수 있다. 가장 많이 사용된 AI 모델과 API 키, 이용자별 사용 현황도 조회할 수 있어 부서별 비용 관리에 활용할 수 있다. 보안 기능은 기업이 AI 모델을 사용하는 과정에서 입력하거나 생성하는 정보를 통제하는 데 초점을 맞췄다. 원 본부장은 시연에서 개인정보 필터링과 기업별 금칙어 설정, 사용 가능한 모델 제한, IP 접근 통제 기능을 소개했다. 주민등록번호 등 개인정보가 포함된 요청이나 답변을 차단하고, 기업이 지정한 금칙어가 입력되면 AI 모델이 해당 요청을 처리하지 않도록 설정할 수 있다. 기업은 국내에서 운영되는 AI 모델만 사용하도록 제한하거나 특정 모델을 사용 대상에서 제외할 수도 있다. 금융·공공 등 데이터 처리 위치와 보안 요건이 중요한 조직을 고려한 기능이다. 프롬프트는 기본적으로 KT 내부에 저장하지 않는다. 다만 기업이 내부 감사나 이용 이력 확인을 위해 기록 보관을 요구할 경우 선택적으로 저장할 수 있도록 했다. AI 에이전트의 내부 지시문을 탈취하려는 프롬프트 인젝션 공격에 대한 방어 기능도 적용했다. 외부 입력을 통해 시스템 프롬프트를 추출하거나 기존 지시를 우회하려는 요청을 차단하는 방식이다. 이 본부장은 “기업용 AI 서비스에서 보안과 데이터 관리가 중요하다”며 “KT가 직접 운영하는 모델에는 고객 데이터 비저장 비학습 원칙을 적용한다”고 밝혔다. 이어 “국내 데이터센터에서 직접 제공하는 모델은 국내에서 데이터를 처리할 수 있도록 구성했다”고 덧붙였다. 그는 또 “오픈라우터를 통해 연결되는 모델의 데이터 처리 지역은 각 모델 제공사의 운영 환경에 따라 달라진다”며 “기업은 보안 요구 수준에 따라 국내 운영 모델과 외부 모델을 구분해 선택할 수 있다”고 말했다. KT는 12월 토큰팩토리의 두 번째 업데이트를 진행하고, 내년에도 기능을 확대할 계획이다. 기업이 AI 모델을 선택하고 운영하는 과정에서 품질과 비용, 보안 조건을 한꺼번에 관리하도록 지원하는 것이 개발 방향이다.
