[AI TCO 함정③] 토큰만큼 무서운 인프라 비용…AI 환경 '프라이빗 회귀'
기업의 인공지능(AI) 도입 비용이 토큰 사용료를 넘어 소프트웨어 구독료와 데이터 통합, 인프라 운영비 전반으로 번지고 있다. AI 기능이 기존 서비스형 소프트웨어(SaaS)에 추가되면서 사용량에 따라 비용이 달라지고 예산 예측도 어려워지는 분위기다. 데이터 정비와 검색증강생성(RAG) 구축, 사내 시스템 연동 비용도 AI 도입 부담을 키우는 요인으로 꼽힌다. AI 서비스 이용이 늘면서 서버와 스토리지, 네트워크 등 인프라 운영비까지 동반 상승하고 있다. 이에 지디넷코리아는 기업들이 AI 도입 과정에서 놓치기 쉬운 비용 구조와 예산 관리의 사각지대를 3회에 걸쳐 살펴본다. [편집자주] 생성형 인공지능(AI)이 기업 업무 전반으로 확산되면서 비용 부담이 모델 사용료를 넘어 이를 구동하는 인프라로 옮겨가고 있다. 그래픽처리장치(GPU)를 비롯해 서버·스토리지·네트워크·전력·냉각·운영 소프트웨어까지 지출 항목이 늘어나자, 기업들은 퍼블릭 클라우드에 집중됐던 AI 워크로드 일부를 프라이빗 클라우드와 온프레미스로 재배치하며 총소유비용(TCO) 관리에 나선 양상이다. 30일 업계에 따르면 기업들이 생성형 AI를 실험 단계에서 실제 업무와 서비스에 적용하면서 인프라 운영비가 새로운 부담으로 떠오르고 있다. 초기에는 별도 장비를 구축하지 않고 사용량만큼 비용을 내는 퍼블릭 클라우드가 유리하지만, 사용량이 일정 수준을 넘어 장기간 지속되면 GPU 이용료와 데이터 전송·저장 비용 등이 함께 불어나는 상황이다. 특히 AI 에이전트처럼 지속적으로 모델을 호출하고 내부 데이터를 검색·분석하는 서비스가 늘면서 토큰 사용량뿐 아니라 이를 뒷받침하는 연산과 저장 자원도 함께 증가하고 있다. 여기에 고성능 네트워크, 데이터 보호, 백업, 재해복구(DR), 모니터링, 전력과 냉각 비용까지 포함하면 기업이 실제 부담하는 AI TCO는 모델 가격표만으로 산출하기 어렵다는 지적이 나온다. AI가 불붙인 '인프라 회귀'…워크로드, 기업 내부로 재배치 AI 시대를 맞아 업계에선 모든 시스템을 퍼블릭 클라우드로 옮기는 기존 '클라우드 퍼스트' 전략보다 워크로드 특성에 따라 퍼블릭과 프라이빗 환경을 조합하는 움직임이 두드러지고 있다. 수요가 불규칙하거나 빠른 실험이 필요한 서비스는 퍼블릭에서 운영하되, 이용량이 크고 예측 가능한 추론 업무와 민감 데이터를 다루는 시스템은 자체 통제 환경에 두는 방식이다. 실제 올해 델 테크놀로지스와 시장조사업체 IDC 조사에 따르면 아시아태평양 지역 기업의 94%가 퍼블릭 클라우드 워크로드를 온프레미스나 프라이빗 환경으로 옮기는 '클라우드 회귀'를 고려하거나 계획 중인 것으로 조사됐다. 특히 국내 기업도 93%가 이를 계획했으며 성능과 지연 시간, 보안·규제, 기존 시스템과의 통합 문제가 주요 배경으로 꼽혔다. 국내 기업의 71%는 AI 도입을 위해 하이브리드와 온프레미스 인프라 투자도 계획하고 있는 것으로 나타났다. VM웨어를 인수한 브로드컴 조사에서도 기업의 56%가 프라이빗 클라우드에서 실제 서비스용 AI 추론을 운영 중이거나 도입을 계획 중인 것으로 분석됐다. 퍼블릭 클라우드에서 AI 추론을 운영한다는 응답은 전년보다 15%포인트 감소한 41%로, IT 리더의 62%가 생성형 AI 인프라 비용 증가를 우려하기도 했다. 이같은 움직임은 퍼블릭 클라우드에서 프라이빗 클라우드로의 전면 회귀는 아니지만, 기업들이 AI 비용·보안·성능을 고려해 워크로드 배치 장소를 다시 정하는 선별적 회귀로 해석된다. 사용량 변동이 큰 서비스는 퍼블릭 클라우드의 탄력성이 유리하지만, 상시 가동하는 대규모 추론 시스템은 전용 인프라의 비용 예측성과 통제력이 더 중요하다는 판단이다. CSP도 고객 데이터센터로…구축형 프라이빗 사업 확장세 기업 수요 변화에 따라 클라우드 서비스 사업자(CSP)들도 퍼블릭 클라우드 제공에 머물지 않고 고객 데이터센터에 전용 인프라를 설치하거나 구축·운영을 함께 맡는 프라이빗 클라우드 사업을 강화하고 있다. 퍼블릭 클라우드에서 확보한 자동화와 관리 기능을 고객사 내부 환경까지 확장해 하이브리드 구조를 만드는 전략이다. 글로벌 CSP 서비스 중 대표적으로 아마존웹서비스(AWS) 아웃포스트, 마이크로소프트(MS) 애저 아크·애저 스택, 구글 분산형 클라우드(GDC) 등이 온프레미스 시장을 공략 중이다. AWS는 고객 데이터센터에 전용 하드웨어를 설치해 자사 퍼블릭 환경과 동일한 서비스·운영 경험을 제공한다. MS는 애저 아크를 통해 기업 내 데이터센터와 다른 클라우드까지 통합 관리한다. 구글은 외부 인터넷과 분리된 에어갭 환경에서도 AI를 구동할 수 있는 GDC를 공공·국방·금융 시장에 확대 중이다. 국내에서도 네이버·NHN·KT·삼성SDS 등이 구축형 프라이빗·하이브리드 사업을 확대하는 추세다. 네이버클라우드는 '뉴로클라우드', NHN클라우드는 오픈스택 기반 프라이빗 클라우드, KT는 구독형 '매니지드 프라이빗 클라우드', 삼성SDS는 삼성클라우드플랫폼(SCP)과 데이터센터 설계·구축·운영 역량을 각각 앞세우고 있다. 특히 네이버클라우드가 한국은행에 구축한 뉴로클라우드와 프라이빗 AI가 대표적인 사례로 꼽힌다. 데이터센터 내부에 클라우드 인프라를 직접 설치하고 폐쇄된 사내망에서만 생성형 AI를 학습·운영해 데이터를 외부로 반출하지 않는 구조다. 이러한 프라이빗 인프라 구조로 보안을 준수하면서도 금융 특화 소버린 AI를 구축했다는 게 회사 측 설명이다. NHN클라우드 역시 GPU 인프라부터 운영 플랫폼과 AI 서비스까지 묶은 '팩토리X'를 공개하고 퍼블릭·프라이빗 환경을 모두 지원하는 전략을 추진 중이다. AI 경쟁 중심이 모델 자체에서 실제 업무 환경을 안정적으로 운영하고 비용을 최적화하는 실행 환경으로 이동하고 있다는 판단으로, 효율적인 AI 인프라 TCO 관리에 초점을 맞췄다. 서버·스토리지 기업도 플랫폼 경쟁…관건은 '운영 효율' 전통적인 서버·스토리지 기업들도 단순 장비 공급을 넘어 프라이빗 클라우드와 AI 운영 플랫폼을 결합한 사업자로 변신하고 있다. 고객이 GPU 서버를 구매한 뒤 각종 소프트웨어와 네트워크를 별도로 통합해야 했던 구조에서 벗어나 구축·자동화·보안·운영을 하나의 플랫폼으로 제공해 복잡성과 비용을 낮춘다는 구상이다. 먼저 델 테크놀로지스는 서버·스토리지·네트워크·보안·소프트웨어를 통합한 '델 AI 팩토리'를 내세우고 있다. AI를 외부 클라우드로 보내는 대신 데이터가 존재하는 데이터센터와 엣지 환경 가까이에서 운영하도록 지원하는 방식이다. 델은 컴퓨팅·스토리지·네트워크를 각각 필요한 만큼 확장하는 분리형 프라이빗 클라우드가 기존 하이퍼컨버지드 인프라보다 최대 65% 높은 비용 효율성을 제공할 수 있다고도 강조해왔다. 브로드컴도 'VM웨어 클라우드 파운데이션(VCF) 9.1'을 AI·쿠버네티스 기반 프라이빗 클라우드 플랫폼으로 고도화했다. 회사는 지능형 메모리 티어링을 통해 서버 비용을 최대 40%, 데이터 압축과 중복 제거로 스토리지 TCO를 최대 39%, 쿠버네티스 운영 비용을 최대 46% 줄이는 서비스 구조를 갖췄다. AI 데이터 플랫폼 기업 넷앱도 구글 클라우드와 손잡고 외부망과 분리된 GDC 에어갭 환경에 데이터 저장·보호·관리 기능을 결합했다. 구글이 클라우드 플랫폼을, 넷앱이 데이터 계층을, 구축 파트너가 공급과 통합을 담당하는 구조로 고보안 AI 시장에서 CSP와 인프라 기업이 공동으로 프라이빗 환경을 제공하는 사례로 평가된다. 이런 상황 속 AI 시대 인프라 경쟁은 GPU를 얼마나 많이 확보했는가를 넘어 자원을 얼마나 높은 가동률로 운영하고 데이터 이동과 저장 비용을 줄일 수 있는지, 퍼블릭과 프라이빗 사이에서 워크로드를 유연하게 배치할 수 있는지에 달렸다는 분석이 제기된다. 초기 AI 구축비만 보고 프라이빗 환경을 선택하거나 사용 편의성을 보고 퍼블릭에 머무르기보다 서비스 기간과 사용량, 데이터 민감도, 운영인력까지 포함한 장기 TCO 계산이 선행돼야 한다는 설명이다. 업계 관계자는 "퍼블릭과 프라이빗 가운데 어느 한쪽이 항상 저렴한 것이 아니라 워크로드 사용량과 운영 기간, 보안 요건에 따라 경제성이 달라진다"며 "AI 활용이 본격화할수록 기업들은 클라우드를 일괄적으로 선택하기보다 각 업무를 가장 효율적으로 운영할 수 있는 위치에 배치하는 방향으로 인프라 전략을 바꾸게 될 것"이라고 밝혔다.
