[AI 리더스] "AI TCO, 데이터·인프라서 갈린다"…클라우데라 韓 지사장이 제시한 해법은?
"인공지능 전환(AX)은 디지털 전환(DX)과 다릅니다. 인공지능(AI)을 쓴다고 기업 데이터를 모두 퍼블릭 클라우드로 옮길 필요는 없습니다." 최승철 클라우데라코리아 지사장은 31일 지디넷코리아와 만나 기업들이 과거 DX 당시의 클라우드 이전 전략을 AX에도 그대로 적용해서는 안 된다고 강조했다. 내부 데이터를 외부 클라우드로 옮긴 뒤 AI 모델과 연결하면 데이터 이동·저장 비용이 늘고 보안과 규제 대응도 복잡해질 수 있어 데이터가 있는 환경으로 모델을 가져오는 방식이 더 효율적이라고 봐서다. 이 같은 부담은 AI를 실제 서비스로 확장하는 과정에서 더 커진다. 도입 초기에는 전문인력 부족과 빠른 기술 변화에 따른 불확실성이 크고, 운영 단계에 들어서면 모델 호출량과 데이터 전송량이 늘면서 비용 예측도 어려워진다. 민감 데이터를 외부 모델과 연결할 경우 데이터 유출과 감사 추적, 규제 준수 부담까지 가중될 수 있다. 이에 최 지사장은 모델을 직접 개발하는 사업자와 이미 학습된 모델을 업무에 활용하는 일반 기업이 인프라 전략을 각각 구분해야 한다고 봤다. 대규모 학습을 수행하는 모델 개발사와 달리 일반 기업은 외부 모델을 호출하거나 오픈소스 모델을 내부 환경에서 구동할 수 있어서다. 그는 "ERP·CRM 등 핵심 업무 데이터가 이미 사내에 있는데 모델을 사용한다는 이유만으로 이를 외부 클라우드로 옮기는 방식은 비용과 보안 측면에서 다시 계산해야 한다"며 "기업은 외부 상용 모델과 오픈소스 모델, 자체 모델을 업무별로 선택할 수 있는 구조를 준비해야 한다"고 말했다. 모델보다 데이터 먼저…준비 부족에 재작업 반복 많아 최 지사장은 AI 프로젝트를 실제 업무로 확장하려면 모델을 선택하기에 앞서 사내 데이터의 품질과 활용 여건부터 점검해야 한다고 강조했다. 데이터가 여러 부서와 시스템에 흩어져 있으면 정제와 통합, 접근 권한 설정에 추가 시간과 비용이 들 수 있어서다. 실제 기업 현장에서도 데이터 준비 부족이 AI 프로젝트의 운영 전환을 가로막는 요인으로 나타나고 있다. 클라우데라와 하버드비즈니스리뷰 애널리틱서비스 조사에 따르면 AI에 완전히 준비된 데이터를 갖춘 기업은 7%에 그쳤다. 또 데이터 품질과 접근 권한이 일관되게 관리되지 않아 AI 프로젝트를 실제 운영으로 확장하는 데 어려움을 겪는 기업이 많았다. 클라우데라가 국내 기업을 대상으로 진행한 조사에서도 AI 프로젝트가 기대한 성과를 내지 못한 원인으로 데이터 품질 문제가 32%를 차지했다. 데이터 통합과 접근·관리 문제도 각각 20% 안팎으로 집계됐다. 이를 두고 최 지사장은 국내 기업들이 데이터의 위치와 품질을 확인하기 전에 특정 모델부터 선택하는 경향이 있다고 지적했다. 또 모델 성능부터 시험한 뒤 업무 시스템과 연결할 경우 데이터 정제와 권한 설정, 시스템 통합 작업을 다시 해야 해 비용과 시간이 중복될 수 있다고 봤다. 그는 "좋은 모델도 정확한 기업 데이터를 공급받지 못하면 원하는 결과를 내기 어렵다"며 "어떤 데이터가 어디에 있고 누가 접근할 수 있는지 파악한 뒤 업무에 맞는 모델을 골라야 한다"고 설명했다. 최 지사장은 이를 해결하기 위해 모든 데이터를 하나의 플랫폼으로 옮길 필요는 없다고 주장했다. 또 기존 업무 시스템을 유지하면서 필요한 데이터만 공통된 권한과 관리 체계 아래 연결하는 방식이 비용과 운영 부담을 줄일 수 있다고 강조했다. 이 같은 구상에 따라 클라우데라는 아파치 아이스버그와 폴라리스 카탈로그를 활용해 여러 환경에 분산된 데이터를 불필요하게 복제하지 않고 관리하는 전략을 추진하고 있다. 여기에 모델컨텍스트프로토콜(MCP)을 적용해 AI 에이전트가 권한에 따라 필요한 데이터와 업무 도구에 접근할 수 있도록 지원하고 있다. 최 지사장은 "기업의 모든 데이터를 한곳에 옮기는 것은 현실적으로 쉽지 않다"며 "데이터가 여러 시스템에 남아 있더라도 공통된 권한과 거버넌스 아래 AI가 필요한 정보를 활용할 수 있는 구조를 갖춰야 한다"고 밝혔다. SaaS별 AI 확산…데이터·비용 다시 쪼개질 수도 최 지사장은 AI 에이전트가 고객관계관리(CRM)와 전사적자원관리(ERP), IT서비스관리 등 여러 업무 시스템을 넘나드는 만큼 특정 서비스형 소프트웨어(SaaS) 안에 데이터를 모으는 방식도 재검토해야 한다고 주장했다. 각 SaaS 공급사가 자체 데이터 플랫폼과 AI 에이전트를 결합하면 해당 제품 안에서는 데이터 활용과 업무 자동화가 쉬워질 수 있지만, 기업 전체로는 데이터가 공급사별로 다시 나뉠 수 있다고 봐서다. 또 기본 구독료에 AI 사용료와 데이터 처리비, 시스템 간 연동 비용까지 더해지면 비용 구조도 복잡해질 수 있다고 지적했다.최 지사장은 이 같은 움직임이 SaaS 기업들의 사업 방어 전략과도 관련이 있다고 분석했다. AI 에이전트가 여러 업무 시스템을 넘나들기 시작하면서, 공급사들이 기존에 확보한 업무 영역의 주도권을 유지하기 위해 데이터 관리 기능과 업무 흐름을 자사 플랫폼 안에서 강화하고 있다고 본 것이다. 또 그는 SaaS 기업들이 범용 데이터 플랫폼 시장에 직접 진출하기보다 고객관계관리(CRM)와 전사적자원관리(ERP) 등 기존에 확보한 업무 영역의 경쟁력을 높이는 데 초점을 맞추고 있다고 진단했다. 기업 입장에선 개별 SaaS의 AI 기능만 비교하기보다 여러 업무 시스템의 데이터를 함께 활용할 수 있는지 살펴야 한다고 강조했다. 최 지사장은 "SaaS 기업들이 데이터 영역을 강화하는 것은 자신들이 가진 업무 영역을 AI 에이전트로부터 지키기 위한 움직임"이라며 "범용 데이터 플랫폼 사업에 직접 뛰어들기보다 기존 사업의 경쟁력을 높이기 위한 수직계열화에 가깝다"고 말했다. "프라이빗 AI, 모델 설치 넘어 전 과정 통제해야" 최 지사장은 프라이빗 AI를 기업 데이터센터에 거대언어모델(LLM)을 설치하는 수준으로 봐서는 안 된다고 강조했다. 모델과 데이터, GPU 인프라, 접근 권한, 감사 기록, 추론과 에이전트 운영까지 하나의 통제 체계 안에서 관리해야 실제 기업 업무에 적용할 수 있다는 것이다. 기업 내부에서도 임직원과 협력사, 외주 인력에 따라 접근할 수 있는 정보가 다른 만큼 AI에도 같은 통제 원칙이 적용돼야 한다고 설명했다. 질문자의 권한에 따라 AI가 활용하는 데이터 범위를 제한하고 답변에 사용된 정보의 출처와 이동 경로도 추적할 수 있어야 한다는 판단에서다. 또 최 지사장은 기업의 데이터 민감도와 인프라 여건에 따라 퍼블릭과 프라이빗 환경을 함께 활용할 수 있다고 봤다. 퍼블릭 클라우드에서 소규모 검증을 진행한 뒤 애플리케이션을 자체 환경으로 옮기거나, 민감 데이터는 내부에 두고 외부 모델만 선택적으로 호출하는 방식이다. 클라우데라는 이러한 하이브리드 구조를 지원하는 한편, 중소·중견기업을 대상으로 서버와 데이터 플랫폼, 모델, 운영 도구를 묶은 'AI 인 어 박스' 사업도 국내 파트너와 추진하고 있다. 더불어 그는 비용을 판단할 때도 모델 호출료만 비교해서는 안 된다고 지적했다. AI 총소유비용(TCO)에는 GPU와 전력, 운영인력, 개발과 시스템 연동 비용까지 포함해야 하고 업무 특성에 따라 모델을 나눠 쓰는 방식이 필요하다고 봐서다. 이는 고난도 추론에 상용 모델을 활용하고, 반복 업무나 민감 데이터 처리에 오픈소스 또는 자체 모델을 적용하는 식이다. 최 지사장은 "초기 프로젝트나 수요 변동이 큰 업무는 퍼블릭 클라우드가 유리할 수 있지만 사용량이 많고 장기간 지속되는 추론 업무는 프라이빗 환경의 경제성이 높아질 수 있다"며 "업무별 사용량과 데이터 민감도에 따라 모델과 인프라를 조합해야 한다"고 밝혔다.그러면서 "AI 비용은 토큰과 GPU 인프라, 서비스 개발 등 세 가지 측면에서 함께 최적화해야 한다"며 "클라우데라는 상용·오픈소스·자체 모델을 유연하게 선택하고 인프라 활용과 개발 생산성을 높일 수 있도록 지원해 기업의 전체 AI TCO를 낮추는 데 집중할 것"이라고 덧붙였다. 이 같은 전략을 바탕으로 클라우데라코리아는 앞으로 제조와 방산, 금융 등 데이터 반출 제한과 보안 요구가 높은 산업을 중심으로 국내 프라이빗 AI 사업을 확대할 계획이다. 또 국내 파트너의 구축 역량을 강화하고 데이터 준비부터 추론과 운영까지 연결해 파일럿 단계에 머문 AI 프로젝트를 실제 서비스로 전환하는 데 집중한다는 방침이다. 그는 "기업들이 AI의 전체 구조를 이해하고 단계적으로 도입할 수 있도록 국내 파트너의 전문성을 높이는 데 힘쓸 것"이라며 "데이터와 모델, 인프라를 함께 연결해 기업의 AI 프로젝트가 실제 운영으로 이어지도록 지원하겠다"고 마무리했다.
