[AI TCO 함정①] 토큰 비용이 전부 아냐…기업 예산 갉아먹는 '데이터 통합'
기업의 인공지능(AI) 도입 비용이 토큰 사용료를 넘어 소프트웨어 구독료와 데이터 통합, 인프라 운영비 전반으로 번지고 있다. AI 기능이 기존 서비스형 소프트웨어(SaaS)에 추가되면서 사용량에 따라 비용이 달라지고 예산 예측도 어려워지는 분위기다. 데이터 정비와 검색증강생성(RAG) 구축, 사내 시스템 연동 비용도 AI 도입 부담을 키우는 요인으로 꼽힌다. AI 서비스 이용이 늘면서 서버와 스토리지, 네트워크 등 인프라 운영비까지 동반 상승하고 있다. 이에 지디넷코리아는 기업들이 AI 도입 과정에서 놓치기 쉬운 비용 구조와 예산 관리의 사각지대를 3회에 걸쳐 살펴본다. [편집자주] 기업들이 인공지능(AI) 에이전트 비용을 줄이기 위해 토큰 사용료에 몰두하고 있지만, 정작 더 큰 부담은 에이전트를 도입하기 전 데이터 관리·통합 단계에서 발생한다는 지적이 나오고 있다. 흩어진 사내 데이터를 정리하고 검색증강생성(RAG)을 구축해 기존 업무 시스템과 연결해야 하는 만큼 사실상 기업 AI 예산은 첫 토큰을 쓰기 전부터 투입되는 셈이다. 28일 글로벌 조사기관과 IT업계 자료를 종합하면 기업들은 AI 총소유비용(TCO)을 산정할 때 데이터 정제·통합과 RAG 구축, 기존 업무 시스템 연동에 드는 비용보다 토큰 사용료에 관심이 쏠려 있는 것으로 나타났다. 토큰은 AI 모델이 문장을 이해하고 답변을 생성하기 위해 텍스트를 잘게 나눈 기본 처리 단위다. AI 서비스 이용료는 일반적으로 입력·출력 토큰 사용량에 단가를 곱해 산정된다. 기업은 이를 통해 모델별 호출 건수와 사용량, 비용을 바로 확인할 수 있다. 이 과정에서 토큰 비용은 청구서와 관리 화면에 즉시 수치로 나타난다. 여러 부서 인력과 시간에 분산되는 데이터 통합 비용보다 눈에 잘 띄는 이유다. 토큰 사용량이 AI 전체 도입 비용을 대표하는 지표처럼 인식된다는 설명이다. 최근 기업 내 기술비용 관리 조직도 AI 비용을 파악하기 위해 토큰 사용량에 주목하고 있는 것으로 나타났다. 올해 핀옵스재단 조사에서는 응답자 98%가 AI 관련 지출을 관리한다고 답했다. 이들은 가장 필요한 관리 도구 기능으로 토큰 사용량과 거대언어모델(LLM) 요청 건수를 세부적으로 추적하는 기능을 꼽았다. 업계 관계자들은 기업이 토큰 비용에만 지나치게 몰두한 점을 지적했다. 토큰 비용에 앞서 AI 에이전트 구축을 위한 데이터 관리와 시스템 통합 비용을 간과했다간 TCO 운영에 차질을 빚을 수 있다는 설명이다. 익명을 요청한 한 글로벌 IT 업계 관계자는 "토큰 비용은 AI 모델을 호출한 뒤 발생하는 비용으로 전체 AI TCO 한 파트를 담당하는 선에 그친다"며 "기업들은 모델 호출에 앞서 필요한 데이터를 찾고 정제한 뒤 기존 시스템과 연결해야 하는 작업을 거쳐야한다는 점을 명심해야 한다"고 말했다. 이어 "이 작업 과정에는 개발자와 데이터 엔지니어뿐 아니라 데이터 의미와 업무 규칙을 아는 현업 담당자, 외부 시스템통합(SI) 인력까지 투입된다"며 "이같은 인건비와 작업 시간은 토큰 사용 명세서에 드러나지 않는다"고 덧붙였다. 실제 지난 5월 던앤드브래드스트리트가 32개국 기업 1만 곳을 조사한 결과 97%가 AI를 도입하거나 관련 프로젝트를 추진하고 있었다. 이 중 내부 데이터가 AI 활용에 완전히 준비됐다고 답한 기업은 5%에 그쳤다. 언앤드브래드스트리트는 "조사 기업들은 데이터 관리·통합 비용에 가장 큰 어려움을 호소했다"며 "이런 비용이 현실적인 AI 에이전트 걸림돌로 인식되기 시작한 것"이라고 지적했다. 첫 토큰 전 쌓이는 비용…데이터 정제·RAG·시스템 연동 다수 기업 데이터는 AI가 바로 이용할 수 있는 형태로 정리돼 있지 않다. 동일한 고객이나 제품도 부서마다 다르게 표기되고, 오래되거나 중복된 정보가 여러 저장소에 흩어져 있어서다. 이에 AI 에이전트를 도입하려면 우선 필요한 데이터 위치를 파악해야 한다. 이후 오류와 중복을 제거하고 형식을 통일한 뒤 최신성과 정확성을 검증해야 한다. 개인정보와 영업기밀 등 민감정보를 분류하고 사용자별 접근 권한을 설정하는 작업도 필요하다. 클라우데라와 하버드비즈니스리뷰 애널리틱서비스가 진행한 조사에서는 응답 기업 73%가 AI용 데이터를 처리하고 준비하는 데 어려움을 겪었다고 답했다. 데이터 사일로와 서로 다른 데이터 소스의 통합 문제를 지목한 비율은 56%였으며, 데이터 품질과 편향 문제도 41%로 뒤를 이었다. 클라우데라는 "기업은 데이터 정제 규칙과 파이프라인을 구축하고 지속적으로 관리해야 한다"며 "업무 데이터가 바뀔 때마다 처리 규칙을 수정하고, 오래되거나 잘못된 정보가 AI에 공급되지 않도록 점검할 개발·운영 인력 비용도 필요하다"고 보고서에서 밝혔다. 기업이 AI 에이전트에 RAG를 투입할 때도 벡터DB와 임베딩 이용료만 따져서는 안 된다는 목소리도 나오고 있다. 데이터 수집·정제와 권한 동기화, 검색 품질 평가, 색인 갱신에 투입되는 개발·운영 인력까지 포함해야 실제 비용을 파악할 수 있다. 한 AI 업계 관계자는 "기업은 문서를 수집·변환하고 검색에 적합한 크기로 나눈 뒤 임베딩·색인을 생성해야 한다"며 "데이터가 바뀔 때마다 색인 갱신 작업도 필요하다"고 설명했다. 이어 "이런 비용까지 인지해야 RAG 총 도입비용이 책정될 수 있다"고 말했다. 또 다른 관계자는 "AI 에이전트가 실제 업무를 수행하려면 RAG를 넘어 고객관계관리(CRM)와 전사적자원관리(ERP), 결재·메일·그룹웨어 등 핵심 업무 시스템에도 연결돼야 한다"며 "시스템마다 데이터 구조와 응용프로그램인터페이스(API), 인증 방식이 달라 개별 연동 작업이 필요하고, 이 과정에 추가 비용이 들 수 있다"고 설명했다. 외신들은 SAP 같은 레거시 업무 시스템은 복잡한 데이터 모델과 독자적인 업무 로직, 기업별 맞춤 설정을 갖고 있어 AI 에이전트를 단순히 연결하기 어렵다고 지적했다. 표준 API가 없는 시스템에는 별도 연결 프로그램을 개발하고 접근 권한과 감사 기록도 마련해야 한다는 설명이다. 미국 IT 전문매체 CIO는 "결국 기업이 놓치기 쉬운 비용은 토큰 사용료가 아니라 AI가 데이터를 이해하고 기존 시스템 안에서 움직일 수 있도록 만드는 인력과 기술 비용"이라고 보도했다. PoC 끝나자 숨은 비용 불어나…'업무 한 건 총비용' 봐야 AI 에이전트 비용은 개념검증(PoC)을 실제 운영으로 전환하는 과정에서 본격적으로 늘어나는 것으로 전해졌다. 시험 단계에서는 드러나지 않았던 시스템 연동과 보안·규제 대응, 모니터링, 유지보수 비용이 추가돼서다. PoC는 소수 인력이 미리 정제한 일부 데이터를 이용해 실제 업무 시스템과 분리된 환경에서 진행할 수 있다. 데이터 품질이나 접근 권한, 시스템 간 연동 문제를 충분히 검증하지 않고도 모델의 기능과 정확도를 시험할 수 있다는 의미다. 운영 단계에서는 상황이 달라진다. AI 에이전트를 기존 시스템과 연결하고 사용자별 권한을 적용해야 한다. 보안과 규제 준수, 성능 감시, 장애 대응, 데이터 갱신과 지속적인 유지보수 체계도 마련해야 한다. 올해 딜로이트가 24개국 기업 임원 3235명을 조사한 결과 AI 실험 40% 이상을 실제 운영 환경으로 전환한 기업은 전체의 25%에 그쳤다. AI 도입은 빠르게 늘고 있지만 이를 대규모 업무 환경으로 확장하는 기업은 많지 않다는 의미다. 운영 전환에 실패해 PoC를 반복하면 매몰비용도 발생하기도 한다. 여러 모델과 활용 사례를 시험하는 데 투입한 개발 인력과 클라우드 인프라, 컨설팅 비용을 회수하기 어렵다. 데이터 구조와 시스템 연동 방식을 다시 설계하면 재작업 비용까지 더해진다. CIO는 AI 에이전트 경제성을 판단하려면 업무당 토큰 사용량과 추론 비용을 계산하고, 이를 같은 업무에 투입되는 인건비와 비교해야 한다고 분석했다. 경우에 따라 AI 에이전트의 업무당 비용이 사람이 직접 처리할 때보다 커질 수 있다는 이유에서다. 비즈니스인사이더는 "기업이 따져야 할 것은 토큰 100만 개 가격만이 아니다"며 "AI 에이전트가 업무 한 건을 정확하고 안전하게 완료하는 데 투입되는 데이터·시스템·인력 비용을 모두 합산해야 실질적인 비용 경쟁력을 판단할 수 있다"고 내다봤다.
