검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'토큰 비용'통합검색 결과 입니다. (7건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

AI 모델마다 성능·가격 다른데...기업은 어떻게 골라 쓸까

기업이 AI를 업무에 도입할 때 모든 작업에 가장 성능이 높은 모델을 사용할 필요는 없다. 간단한 문서 요약과 번역에는 저렴한 경량 모델로도 충분하다. 반면 복잡한 분석과 추론에는 고성능 모델이 필요하다. KT가 기업의 업무 유형과 비용 조건에 따라 AI 모델을 자동으로 선택하고 사용량까지 관리하는 토큰팩토리 사업에 나선 이유다. 원만호 KT AX플랫폼본부장은 27일 서울 광화문 KT 사옥에서 열린 기자간담회에서 기업용 AI 플랫폼 토큰팩토리를 시연하면서 주요 기능으로 ▲오토 모델 라우터 ▲토큰 절감 ▲가드레일 등을 꼽았다. 토큰팩토리는 기업이 하나의 응용프로그램 인터페이스(API)로 다양한 AI 모델을 이용할 수 있도록 지원하는 플랫폼이다. 모델별 성능과 이용료를 비교하고, 업무에 적합한 모델을 자동으로 연결한다. 기업이 사용한 토큰의 양과 비용을 확인하고 개인정보 유출을 방지하는 기능도 제공한다. KT가 제시한 핵심은 기업이 AI 모델을 일일이 비교하거나 가장 비싼 모델에 의존하지 않아도 된다는 점이다. AI 모델의 종류가 늘고 가격 체계가 복잡해지는 상황에서 기업이 품질과 비용을 함께 관리할 수 있도록 하는 데 초점을 맞췄다. 업무마다 다른 AI 모델, 무엇을 선택할까 이진형 KT AX사업본부장은 “기업이 AX를 고민할 때 단순히 비용이 저렴한 것만이 아니라, 업무에 적합하면서도 비용 효율적인 모델이 무엇인가 하는 점이 고민”이라며 “KT 토큰 팩토리는 요약이나 단순 번역 등 업무는 경량 모델을, 복잡 업무는 고성능 모델을 적용해 비용을 최적화한다”고 말했다. KT 토큰팩토리는 이용자 프롬프트에 따라 적합한 모델을 사용한다. KT 토큰팩토리 공식 홈페이지에선 오는 30일부터 70여 개 이상의 다양한 AI 모델을 하나의 API로 연동해 제공하고, 11월엔 500여 개 모델을 확충할 예정이다. 기업은 모델 탐색 화면에서 필터링 기능을 통해 원하는 모델을 선택할 수 있다. 특정 모델을 선택하면 상세한 스펙을 확인할 수 있다. 화면엔 개발사와 멀티모델 지원 여부, 입출력 단가, 캐시 적용 단가가 표기된다. 레이턴시와 처리량 등 실제 업무 성능을 확인할 수 있다. 모델 체험 화면에선 여러 모델 성능을 동시에 한눈에 확인할 수 있다. 가령 GPT, 큐엔, 미드 등 AI 모델을 고르고 프롬프트를 입력해 답변이 생성되면 화면 맨 우측 상단에 사용된 토큰 양과 응답 소요 시간이 표시되며, 프롬프트에 따른 결과물을 직접 비교할 수 있다. 이용자가 원하는 모델 범위를 선택하고, 품질과 비용에 대한 가중치를 설정할 수 있다. 품질을 높게 설정하면 성능이 뛰어난 고성능 모델을 우선 사용하므로 비용이 다소 상승할 수 있다. 반대로 비용 절감에 가중치를 두면 상대적으로 경제적인 모델이 사용된다. KT 자체 라우팅 기술인 오토 모델 라우터는 이용자가 적절한 가중치와 선호 모델을 선택하면, 조건에 맞춰 최적의 모델로 자동 라우팅한다. 원만호 본부장은 “사전에 다양한 모델별 품질 지표를 미리 평가해두고, 프롬프트가 입력됐을 때 실제로 모델을 다 돌려보지 않아도 입력된 프롬프트 품질 요구 수준을 미리 예측할 수 있다”며 “품질 기준을 충족하지 못하는 모델은 자동 탈락시키고, 설정된 가중치에 가장 적합한 모델을 스마트 모델 라우터가 자동 선정해 처리한다”고 설명했다. “AI 사용료 최대 25% 절감” 대시보드를 통해 API 이용 현황을 한눈에 파악할 수 있다. 원하는 기간 동안 처린된 프롬프트 횟수, 성공률, 총 토큰 사용량, 총 발생 비용을 조회할 수 있다. 특정 기간 가장 많이 사용된 모델이 무엇인지, 어떤 API 키와 사용자가 접속했는지 상세히 파악할 수 있으며, 일간 모델 사용량과 토큰 사용량도 조회할 수 있다. 전체 토큰 사용량 확인을 통한 예산 관리도 가능하다. 관리자는 전체 API 키 별 비용을 모니터링할 수 있다. 모델을 사용하는 API 키별로 월간, 일간 쿼터를 설정해 정해진 예산 범위 내에서 안정적으로 집행될 수 있도록 관리한다. KT는 자동 모델 선택에 더해 AI가 처리하는 토큰 자체를 줄이는 기술도 토큰팩토리에 적용했다. 토큰은 AI 모델이 입력과 출력을 처리하는 단위로, 일반적으로 사용량이 늘어날수록 비용도 증가한다. 토큰 절감 기술은 입력 문장의 불필요한 표현을 줄이는 프롬프트 압축과 출력 토큰 최적화로 구성된다. 이를테면 '다음 주 출장인데 월요일 오전 서울에서 부산으로 가는 KTX 열차를 찾아줘'라는 요청을 '다음 주 월요일 오전 서울-부산 KTX'로 압축하는 사례를 소개했다. 요청의 핵심 의미를 유지하면서 입력 토큰 수를 줄이는 방식이다. 원 본부장은 “내부적으로 테스트했을 때 최대 약 25%까지 절감되는 것을 확인했다”면서 “그만큼 토큰을 보다 비용 효율적으로 이용할 수 있도록 하는 기술”이라고 밝혔다. 김준석 KT 에이전틱AI랩장은 “프롬프트 압축으로 토큰 사용량을 약 20% 줄이고, 모델 라우팅을 통해 요청을 처리할 수 있는 저렴한 모델을 선택해 추가로 약 5%의 비용을 절감했다”고 설명했다. 즉, 실제 절감률은 기업이 사용하는 모델과 업무 유형, 입력 내용에 따라 달라질 수 있다. KT는 AI 모델 자체의 크기를 줄이는 최적화 기술도 적용하고 있다. 이 본부장은 “모델 경량화 기술을 활용해 성능 저하를 5% 미만으로 제한하면서 모델 크기를 최대 70%대까지 줄일 수 있다”고 말했다. 모델 크기가 작아지면 구동에 필요한 GPU 자원과 추론 비용을 낮출 수 있다. 기업이 AI 서비스를 대규모로 운영할 때 모델 사용료뿐 아니라 인프라 비용까지 줄일 수 있다는 것이다. 절감 효과를 확인하는 대시보드를 통해 관리자는 토큰 절감 기능을 적용한 뒤 실제로 줄어든 토큰의 양과 압축이 적용된 요청 비율을 확인할 수 있다. 기업 데이터와 보안은 어떻게 관리하나 기업이 여러 AI 모델을 도입할 때 발생하는 관리 문제도 해결 대상이다. 부서와 개발자마다 사용하는 모델이 다르면 전체 이용량을 파악하기 어렵고, 특정 조직에서 AI 사용료가 급증하더라도 원인을 확인하는 데 시간이 걸릴 수 있다. 토큰팩토리에서는 관리자가 개발자를 초대하고 API 키를 발급하고 관리할 수 있다. API 키별로 하루 또는 한 달 동안 사용할 수 있는 한도와 예산을 설정해 비용이 일정 수준을 넘지 않도록 통제하는 기능도 제공한다. 관리 대시보드에서는 전체 요청 건수와 처리 성공률, 토큰 사용량, 발생 비용을 확인할 수 있다. 가장 많이 사용된 AI 모델과 API 키, 이용자별 사용 현황도 조회할 수 있어 부서별 비용 관리에 활용할 수 있다. 보안 기능은 기업이 AI 모델을 사용하는 과정에서 입력하거나 생성하는 정보를 통제하는 데 초점을 맞췄다. 원 본부장은 시연에서 개인정보 필터링과 기업별 금칙어 설정, 사용 가능한 모델 제한, IP 접근 통제 기능을 소개했다. 주민등록번호 등 개인정보가 포함된 요청이나 답변을 차단하고, 기업이 지정한 금칙어가 입력되면 AI 모델이 해당 요청을 처리하지 않도록 설정할 수 있다. 기업은 국내에서 운영되는 AI 모델만 사용하도록 제한하거나 특정 모델을 사용 대상에서 제외할 수도 있다. 금융·공공 등 데이터 처리 위치와 보안 요건이 중요한 조직을 고려한 기능이다. 프롬프트는 기본적으로 KT 내부에 저장하지 않는다. 다만 기업이 내부 감사나 이용 이력 확인을 위해 기록 보관을 요구할 경우 선택적으로 저장할 수 있도록 했다. AI 에이전트의 내부 지시문을 탈취하려는 프롬프트 인젝션 공격에 대한 방어 기능도 적용했다. 외부 입력을 통해 시스템 프롬프트를 추출하거나 기존 지시를 우회하려는 요청을 차단하는 방식이다. 이 본부장은 “기업용 AI 서비스에서 보안과 데이터 관리가 중요하다”며 “KT가 직접 운영하는 모델에는 고객 데이터 비저장 비학습 원칙을 적용한다”고 밝혔다. 이어 “국내 데이터센터에서 직접 제공하는 모델은 국내에서 데이터를 처리할 수 있도록 구성했다”고 덧붙였다. 그는 또 “오픈라우터를 통해 연결되는 모델의 데이터 처리 지역은 각 모델 제공사의 운영 환경에 따라 달라진다”며 “기업은 보안 요구 수준에 따라 국내 운영 모델과 외부 모델을 구분해 선택할 수 있다”고 말했다. KT는 12월 토큰팩토리의 두 번째 업데이트를 진행하고, 내년에도 기능을 확대할 계획이다. 기업이 AI 모델을 선택하고 운영하는 과정에서 품질과 비용, 보안 조건을 한꺼번에 관리하도록 지원하는 것이 개발 방향이다.

2026.10.27 16:01홍지후 기자

신정규 래블업 대표 "AI도 전기처럼 쓰는 시대…복잡한 인프라 쉽게 바꿀 것"

"인공지능(AI)과 인프라는 갈수록 복잡해지고 있습니다. 래블업은 이 복잡한 운영을 직관적이고 간단하게 바꿔 누구나 지능을 계량하고 필요할 때 사용할 수 있도록 만들겠습니다." 신정규 래블업 대표는 29일 서울 코엑스에서 열린 연례 기술 컨퍼런스 'lab | up > /conf/6'에서 AI 산업 변화와 기술 전략에 대해 이같이 밝혔다. 신 대표는 AI가 연구·개발을 넘어 실제 산업과 서비스에 활용되면서 단순히 좋은 모델이나 그래픽처리장치(GPU)를 확보하는 것만으로는 충분하지 않다고 진단했다. 다양한 AI 모델과 가속기, 클라우드와 자체 인프라를 연결하고 사용량과 비용까지 하나의 환경에서 관리하는 역량이 중요해졌다는 설명이다. 특히 AI가 만들어내는 지능을 측정하고 관리하는 기준으로 토큰과 전력, 모델 자체의 지능을 제시했다. 같은 작업이라도 어떤 모델을 사용하느냐에 따라 필요한 토큰과 비용이 달라지는 만큼 AI를 산업적으로 활용하려면 이를 측정할 수 있어야 한다는 분석이다. 신 대표는 "동일한 토큰으로 얼마나 더 많은 지능을 압축해서 제공할 수 있는지가 굉장히 중요한 시점"이라며 "필요한 지능 수준과 문제 해결에 투입해야 하는 토큰량을 함께 계산할 수 있어야 한다"고 설명했다. 래블업은 이를 위한 핵심 제품으로 '백엔드닷AI'와 '컨티넘'을 제시했다. 백엔드닷AI는 다양한 AI 가속기와 대규모 클러스터에서 AI 모델의 학습과 서비스를 통합 운영·관리하는 AI 인프라 플랫폼이다. 컨티넘은 여러 AI 모델로 들어가는 요청을 한곳에서 관리하는 라우터와 이를 통합 관리하는 허브로 구성된다. 클라우드와 자체 구축한 AI 모델을 연결하고 요청을 자동으로 배분하는 동시에 조직과 팀별 토큰 사용량과 비용 등을 확인하도록 지원한다. 컨티넘 라우터의 단독 솔루션은 다음 달 공개할 예정이다. 신 대표는 "토큰이 전기처럼 사용된다고 하면 결국 계량기가 필요한 상황"이라며 "얼마나 절약됐는지, 어느 팀이 토큰을 얼마나 사용하고 있는지 확인할 수 있어야 한다"고 말했다. AI 에이전트 확산에 대응한 새로운 기술 개발에도 나선다. 래블업은 여러 AI 에이전트가 서버 자원을 안정적으로 나눠 사용할 수 있도록 마이크로 가상머신(VM)과 컨테이너를 결합한 '누빔(Neuvm)'을 개발 중이다. 기존 컨테이너 환경에서 발생하는 디스크 입출력(I/O)과 네트워크 대역폭 격리 문제를 해결하는 것이 목표로, 올해 말 베타 버전 공개를 준비 중이다. 사람과 여러 AI 에이전트가 함께 일할 수 있는 자체 AI 에이전트 플랫폼도 개발하고 있다. 에이전트 생성과 운영을 자동화하고 외부 서비스 호출과 자격 증명 등을 중앙에서 관리하는 구조다. 이를 활용해 사람과 AI 에이전트가 한 공간에서 협업할 수 있는 형태의 업무 공간 '스페이스(Space)'도 구현했다. 신 대표는 "갈수록 복잡해지는 AI의 수면 아래에서 일어나는 것들을 더 직관적이고 간단하게 바꿀 것"이라며 "모두가 지능을 계량하고 원할 때 사용할 수 있도록 하는 일을 지속 추진해 나가겠다"고 강조했다.

2026.09.29 11:27한정호 기자

[현장] 이용석 스노우플레이크 신임 지사장 "AI 도입 성패, 비용 관리에 달렸다"

이용석 스노우플레이크 신임 한국지사장의 취임 후 첫 메시지는 '인공지능(AI) 비용'이었다. 이 지사장은 27일 서울 코엑스에서 열린 '스노우플레이크 월드 투어 서울'에서 토큰 사용량이 통제 없이 치솟는 '토큰 맥싱'을 관리 도구로 잡아내겠다고 밝혔다. 지난주 취임 후 처음으로 대규모 고객 행사 무대에 오른 자리다. 토큰 맥싱은 무분별한 AI 활용으로 토큰 소비와 비구조적 데이터 비용이 통제 불능 수준으로 치솟는 현상을 뜻한다. 최근 기업 내에서 다수 직원과 에이전트가 제각각 거대언어모델(LLM)을 호출하며 비용이 통제 없이 불어나고 있다. 관리자 입장에서는 누가 어떤 모델을 얼마나 사용하는지조차 파악하기 어려운 실정이다. 이 지사장은 해법으로 스노우플레이크의 '코텍스 AI 게이트웨이'를 소개했다. 지난 7월 공개된 이 기능은 기업이 쓰는 AI 에이전트와 여러 LLM 사이에 놓여 요청을 중개하는 관문 역할을 한다. 여러 에이전트가 어떤 모델에 접속할지 한곳에서 통제하고 요청을 성격에 맞는 모델로 배분해 사용량을 최적화한다. 어떤 팀이 어떤 모델에 얼마를 쓰는지 추적하고 팀·에이전트별로 사용 한도와 예산도 설정할 수 있다. 스노우플레이크는 지난 18일 '동적 모델 라우팅' 기능도 공개했다. 작업 성격에 맞춰 품질과 비용의 균형이 가장 좋은 모델을 자동으로 골라주는 기능이다. 단순하고 반복적인 작업은 저렴하고 효율적인 모델로 깊은 추론이 필요한 작업은 최고 성능의 프런티어 모델로 보낸다. 스노우플레이크는 자체 테스트에서 이 방식으로 일부 작업의 토큰 비용을 최대 3분의 1 수준까지 줄였다고 설명했다. 이 지사장은 "얼마나 많은 LLM을 누가 사용하는지도, 어떤 데이터에 어떻게 접근하는지도 모르는 상황에서 비용과 성능·성과를 적절히 조합하기 위해 코텍스 AI 게이트웨이를 출시했다"고 말했다. AI 도입이 좌초하는 근본 원인으로는 데이터와 비용 문제를 지목했다. 그는 "많은 기업이 AI를 시도하지만 대부분 개념검증(PoC) 단계에서 멈춘다"며 "데이터를 밖으로 옮기고 별도 환경을 구축하고 보안을 다시 검증하는 사이에 처음의 동력을 잃기 때문"이라고 말했다. 이어 "사내 데이터를 밖으로 옮기지 않고 그 자리에서 AI를 구축해 PoC에 머무르지 않고 실제 운영으로 빠르게 전환하도록 지원하겠다"고 덧붙였다. 이 지사장은 한국 시장의 가파른 성장세도 소개했다. 2021년 11월 한국 지사 출범 후 4년 만에 매출 18배 성장을 기록하고 실사용 고객 수도 10배 이상 늘었다고 밝혔다. 국내 10대 그룹 중 8개 엔터프라이즈 그룹이 스노우플레이크를 쓰고 있고 넥슨·카카오·토스 등 디지털 네이티브 기업도 고객사로 참여하고 있다고 했다. 이 지사장은 엔터프라이즈 소프트웨어 분야에서 20년 이상 경력을 쌓은 영업·사업 전문가다. 스노우플레이크 합류 전 2020년부터 약 6년간 구글클라우드에서 대기업 고객을 대상으로 디지털전환(DX)과 시장진입 전략을 담당했고 이전에는 한국마이크로소프트에서 16년간 근무했다. 그는 "산업 전방위에 걸쳐 쌓아온 경험을 스노우플레이크의 기술력과 결합해 국내 기업 고객과 파트너사가 함께 성장하는 협업 생태계를 구축하고 데이터와 AI를 실질적인 비즈니스 성과로 연결하는 데 힘쓰겠다"고 말했다.

2026.08.27 15:08김동원 기자

[AI 리더스] "AI TCO, 데이터·인프라서 갈린다"…클라우데라 韓 지사장이 제시한 해법은?

"인공지능 전환(AX)은 디지털 전환(DX)과 다릅니다. 인공지능(AI)을 쓴다고 기업 데이터를 모두 퍼블릭 클라우드로 옮길 필요는 없습니다." 최승철 클라우데라코리아 지사장은 31일 지디넷코리아와 만나 기업들이 과거 DX 당시의 클라우드 이전 전략을 AX에도 그대로 적용해서는 안 된다고 강조했다. 내부 데이터를 외부 클라우드로 옮긴 뒤 AI 모델과 연결하면 데이터 이동·저장 비용이 늘고 보안과 규제 대응도 복잡해질 수 있어 데이터가 있는 환경으로 모델을 가져오는 방식이 더 효율적이라고 봐서다. 이 같은 부담은 AI를 실제 서비스로 확장하는 과정에서 더 커진다. 도입 초기에는 전문인력 부족과 빠른 기술 변화에 따른 불확실성이 크고, 운영 단계에 들어서면 모델 호출량과 데이터 전송량이 늘면서 비용 예측도 어려워진다. 민감 데이터를 외부 모델과 연결할 경우 데이터 유출과 감사 추적, 규제 준수 부담까지 가중될 수 있다. 이에 최 지사장은 모델을 직접 개발하는 사업자와 이미 학습된 모델을 업무에 활용하는 일반 기업이 인프라 전략을 각각 구분해야 한다고 봤다. 대규모 학습을 수행하는 모델 개발사와 달리 일반 기업은 외부 모델을 호출하거나 오픈소스 모델을 내부 환경에서 구동할 수 있어서다. 그는 "ERP·CRM 등 핵심 업무 데이터가 이미 사내에 있는데 모델을 사용한다는 이유만으로 이를 외부 클라우드로 옮기는 방식은 비용과 보안 측면에서 다시 계산해야 한다"며 "기업은 외부 상용 모델과 오픈소스 모델, 자체 모델을 업무별로 선택할 수 있는 구조를 준비해야 한다"고 말했다. 모델보다 데이터 먼저…준비 부족에 재작업 반복 많아 최 지사장은 AI 프로젝트를 실제 업무로 확장하려면 모델을 선택하기에 앞서 사내 데이터의 품질과 활용 여건부터 점검해야 한다고 강조했다. 데이터가 여러 부서와 시스템에 흩어져 있으면 정제와 통합, 접근 권한 설정에 추가 시간과 비용이 들 수 있어서다. 실제 기업 현장에서도 데이터 준비 부족이 AI 프로젝트의 운영 전환을 가로막는 요인으로 나타나고 있다. 클라우데라와 하버드비즈니스리뷰 애널리틱서비스 조사에 따르면 AI에 완전히 준비된 데이터를 갖춘 기업은 7%에 그쳤다. 또 데이터 품질과 접근 권한이 일관되게 관리되지 않아 AI 프로젝트를 실제 운영으로 확장하는 데 어려움을 겪는 기업이 많았다. 클라우데라가 국내 기업을 대상으로 진행한 조사에서도 AI 프로젝트가 기대한 성과를 내지 못한 원인으로 데이터 품질 문제가 32%를 차지했다. 데이터 통합과 접근·관리 문제도 각각 20% 안팎으로 집계됐다. 이를 두고 최 지사장은 국내 기업들이 데이터의 위치와 품질을 확인하기 전에 특정 모델부터 선택하는 경향이 있다고 지적했다. 또 모델 성능부터 시험한 뒤 업무 시스템과 연결할 경우 데이터 정제와 권한 설정, 시스템 통합 작업을 다시 해야 해 비용과 시간이 중복될 수 있다고 봤다. 그는 "좋은 모델도 정확한 기업 데이터를 공급받지 못하면 원하는 결과를 내기 어렵다"며 "어떤 데이터가 어디에 있고 누가 접근할 수 있는지 파악한 뒤 업무에 맞는 모델을 골라야 한다"고 설명했다. 최 지사장은 이를 해결하기 위해 모든 데이터를 하나의 플랫폼으로 옮길 필요는 없다고 주장했다. 또 기존 업무 시스템을 유지하면서 필요한 데이터만 공통된 권한과 관리 체계 아래 연결하는 방식이 비용과 운영 부담을 줄일 수 있다고 강조했다. 이 같은 구상에 따라 클라우데라는 아파치 아이스버그와 폴라리스 카탈로그를 활용해 여러 환경에 분산된 데이터를 불필요하게 복제하지 않고 관리하는 전략을 추진하고 있다. 여기에 모델컨텍스트프로토콜(MCP)을 적용해 AI 에이전트가 권한에 따라 필요한 데이터와 업무 도구에 접근할 수 있도록 지원하고 있다. 최 지사장은 "기업의 모든 데이터를 한곳에 옮기는 것은 현실적으로 쉽지 않다"며 "데이터가 여러 시스템에 남아 있더라도 공통된 권한과 거버넌스 아래 AI가 필요한 정보를 활용할 수 있는 구조를 갖춰야 한다"고 밝혔다. SaaS별 AI 확산…데이터·비용 다시 쪼개질 수도 최 지사장은 AI 에이전트가 고객관계관리(CRM)와 전사적자원관리(ERP), IT서비스관리 등 여러 업무 시스템을 넘나드는 만큼 특정 서비스형 소프트웨어(SaaS) 안에 데이터를 모으는 방식도 재검토해야 한다고 주장했다. 각 SaaS 공급사가 자체 데이터 플랫폼과 AI 에이전트를 결합하면 해당 제품 안에서는 데이터 활용과 업무 자동화가 쉬워질 수 있지만, 기업 전체로는 데이터가 공급사별로 다시 나뉠 수 있다고 봐서다. 또 기본 구독료에 AI 사용료와 데이터 처리비, 시스템 간 연동 비용까지 더해지면 비용 구조도 복잡해질 수 있다고 지적했다.최 지사장은 이 같은 움직임이 SaaS 기업들의 사업 방어 전략과도 관련이 있다고 분석했다. AI 에이전트가 여러 업무 시스템을 넘나들기 시작하면서, 공급사들이 기존에 확보한 업무 영역의 주도권을 유지하기 위해 데이터 관리 기능과 업무 흐름을 자사 플랫폼 안에서 강화하고 있다고 본 것이다. 또 그는 SaaS 기업들이 범용 데이터 플랫폼 시장에 직접 진출하기보다 고객관계관리(CRM)와 전사적자원관리(ERP) 등 기존에 확보한 업무 영역의 경쟁력을 높이는 데 초점을 맞추고 있다고 진단했다. 기업 입장에선 개별 SaaS의 AI 기능만 비교하기보다 여러 업무 시스템의 데이터를 함께 활용할 수 있는지 살펴야 한다고 강조했다. 최 지사장은 "SaaS 기업들이 데이터 영역을 강화하는 것은 자신들이 가진 업무 영역을 AI 에이전트로부터 지키기 위한 움직임"이라며 "범용 데이터 플랫폼 사업에 직접 뛰어들기보다 기존 사업의 경쟁력을 높이기 위한 수직계열화에 가깝다"고 말했다. "프라이빗 AI, 모델 설치 넘어 전 과정 통제해야" 최 지사장은 프라이빗 AI를 기업 데이터센터에 거대언어모델(LLM)을 설치하는 수준으로 봐서는 안 된다고 강조했다. 모델과 데이터, GPU 인프라, 접근 권한, 감사 기록, 추론과 에이전트 운영까지 하나의 통제 체계 안에서 관리해야 실제 기업 업무에 적용할 수 있다는 것이다. 기업 내부에서도 임직원과 협력사, 외주 인력에 따라 접근할 수 있는 정보가 다른 만큼 AI에도 같은 통제 원칙이 적용돼야 한다고 설명했다. 질문자의 권한에 따라 AI가 활용하는 데이터 범위를 제한하고 답변에 사용된 정보의 출처와 이동 경로도 추적할 수 있어야 한다는 판단에서다. 또 최 지사장은 기업의 데이터 민감도와 인프라 여건에 따라 퍼블릭과 프라이빗 환경을 함께 활용할 수 있다고 봤다. 퍼블릭 클라우드에서 소규모 검증을 진행한 뒤 애플리케이션을 자체 환경으로 옮기거나, 민감 데이터는 내부에 두고 외부 모델만 선택적으로 호출하는 방식이다. 클라우데라는 이러한 하이브리드 구조를 지원하는 한편, 중소·중견기업을 대상으로 서버와 데이터 플랫폼, 모델, 운영 도구를 묶은 'AI 인 어 박스' 사업도 국내 파트너와 추진하고 있다. 더불어 그는 비용을 판단할 때도 모델 호출료만 비교해서는 안 된다고 지적했다. AI 총소유비용(TCO)에는 GPU와 전력, 운영인력, 개발과 시스템 연동 비용까지 포함해야 하고 업무 특성에 따라 모델을 나눠 쓰는 방식이 필요하다고 봐서다. 이는 고난도 추론에 상용 모델을 활용하고, 반복 업무나 민감 데이터 처리에 오픈소스 또는 자체 모델을 적용하는 식이다. 최 지사장은 "초기 프로젝트나 수요 변동이 큰 업무는 퍼블릭 클라우드가 유리할 수 있지만 사용량이 많고 장기간 지속되는 추론 업무는 프라이빗 환경의 경제성이 높아질 수 있다"며 "업무별 사용량과 데이터 민감도에 따라 모델과 인프라를 조합해야 한다"고 밝혔다.그러면서 "AI 비용은 토큰과 GPU 인프라, 서비스 개발 등 세 가지 측면에서 함께 최적화해야 한다"며 "클라우데라는 상용·오픈소스·자체 모델을 유연하게 선택하고 인프라 활용과 개발 생산성을 높일 수 있도록 지원해 기업의 전체 AI TCO를 낮추는 데 집중할 것"이라고 덧붙였다. 이 같은 전략을 바탕으로 클라우데라코리아는 앞으로 제조와 방산, 금융 등 데이터 반출 제한과 보안 요구가 높은 산업을 중심으로 국내 프라이빗 AI 사업을 확대할 계획이다. 또 국내 파트너의 구축 역량을 강화하고 데이터 준비부터 추론과 운영까지 연결해 파일럿 단계에 머문 AI 프로젝트를 실제 서비스로 전환하는 데 집중한다는 방침이다. 그는 "기업들이 AI의 전체 구조를 이해하고 단계적으로 도입할 수 있도록 국내 파트너의 전문성을 높이는 데 힘쓸 것"이라며 "데이터와 모델, 인프라를 함께 연결해 기업의 AI 프로젝트가 실제 운영으로 이어지도록 지원하겠다"고 마무리했다.

2026.07.31 09:38장유미 기자

깃허브, '코파일럿 하네스' 성능 공개…"토큰 줄이고 모델 선택권 넓혀"

깃허브가 코파일럿의 에이전틱 하네스를 앞세워 인공지능(AI) 토큰 효율과 모델 선택권을 강화했다. 깃허브는 '깃허브 코파일럿 에이전틱 하네스'가 주요 소프트웨어(SW) 엔지니어링 벤치마크에서 오픈AI, 앤트로픽 같은 모델 개발사가 제공하는 전용 실행 도구와 비슷한 수준으로 작업을 해결했다고 28일 공식 홈페이지를 통해 밝혔다. 특히 동일한 모델·작업을 기준으로 비교했을 때 대부분의 구성에서 더 적은 토큰을 사용해 비용 효율성을 높인 것으로 전해졌다. 하네스는 AI 모델이 실제 개발 업무를 처리하도록 파일 탐색, 도구 실행, 작업 순서 관리를 돕는 기능을 갖췄다. 깃허브 코파일럿 에이전틱 하네스는 코파일럿 CLI를 비롯한 코파일럿 앱, 코파일럿 코드 리뷰 등 여러 기능에 공통 적용돼 코파일럿 전반 개발 작업을 지원한다. 깃허브는 하네스 성능을 검증하기 위해 공개 벤치마크와 내부 벤치마크를 동시에 활용했다. 공개 벤치마크에는 SWE-벤치 버리파이드, SWE-벤치 프로, 스킬스벤치, 터미널벤치가 포함됐다. 내부 벤치마크로는 윈도 컨테이너 환경에서 작업을 검증하는 윈-힐이 쓰였다. 비교 대상 모델은 앤트로픽 '클로드 소넷 4.6' '클로드 오퍼스 4.7', 오픈AI 'GPT-5.4' 'GPT-5.5'다. 깃허브는 코파일럿 CLI를 클로드 계열 모델의 경우 클로드 코드와 비교했으며, GPT 계열 모델은 코덱스 CLI와 비교했다. 분석 결과 토큰 효율성 측면에서는 코파일럿 하네스가 여러 벤치마크에서 모델 공급사 하네스와 비슷한 작업 완료율을 유지하면서도 대부분 구성에서 더 낮은 토큰 사용량을 보인 것으로 나타났다. 클로드 소넷 4.6과 클로드 오퍼스 4.7에서는 모든 비교 항목에서 코파일럿 CLI가 더 나은 성능을 보였고 더 적은 토큰을 사용한 것으로 집계됐다. GPT-5.4와 GPT-5.5에서는 SWE-벤치 버리파이드를 제외한 모든 항목에서 코파일럿 CLI가 더 나은 성능을 보인 것으로 확인됐다. SWE-벤치 버리파이드에서는 코파일럿 CLI가 각각 7%, 4% 낮은 성능을 보인 것으로 전해졌다. 작업 해결률에서는 코파일럿 에이전틱 하네스가 고정된 모델과 벤치마크 작업 기준으로 모델 공급사 하네스와 대체로 비슷한 수준을 기록했다. 깃허브는 일부 차이가 있었지만 모델 확률적 특성에 따른 실행 간 분산 범위 안에 있어 사실상 동등한 수준이라고 평가했다. 깃허브는 터미널벤치 2.0 분석에서 작업당 비용과 해결률을 비교했다. 이를 통해 각 에이전트·모델 조합을 최소 다섯 차례 실행해 결과 변동성을 확인했다. 코파일럿 하네스가 평가 구성 전반에서 작업 완료율과 작업당 비용 측면에서 다른 에이전트와 비슷하거나 앞선 것으로 나타났다. 깃허브는 다중 모델 지원을 코파일럿 하네스 핵심 차별점으로 제시했다. 코파일럿 에이전틱 하네스는 GPT와 클로드, 제미나이, 마이크로소프트AI(MAI) 계열의 20개 이상 프런티어 모델을 지원한다. 오픈소스와 로컬 모델을 위한 자체 키 사용도 제공한다. 사용자는 작업 성격과 비용 구조에 맞춰 모델을 직접 선택할 수 있다. 자동 모델 선택 기능을 활용하면 작업 의도와 모델 상태를 고려해 토큰 효율을 최적화할 수도 있다. 깃허브는 다중 모델 아키텍처가 모델 공급사 단일 하네스에서 제공하기 어려운 기능도 지원한다고 강조했다. 예를 들어 러버 덕은 서로 다른 모델 계열 간 비평을 활용해 한 모델이 다른 모델의 작업을 검토하도록 한다. 깃허브는 "깃허브 코파일럿 경쟁력이 모델 자체를 넘어 하네스와 운영 구조로 확장되고 있다"며 "낮은 토큰 비용과 다중 모델 선택권을 통해 개발자에게 유사한 작업 완료 성능을 제공할 수 있을 것"이라고 강조했다.

2026.06.29 09:34김미정 기자

AI 싸져도 기업 부담은 그대로…가트너 "토큰 샤용량 증가 때문"

인공지능(AI) 모델 추론 비용이 낮아져도 기업 부담까지 쉽게 줄어들지 않을 것이라는 전망이 나왔다. 30일 가트너가 공개한 분석 결과에 따르면 2030년까지 1조 파라미터 규모 AI 모델 추론 비용은 2025년 대비 90% 이상 감소할 것으로 나타났다. 동일 규모 모델 기준 비용 효율성은 2022년 대비 최대 100배 개선될 것이으로 분석횄다. 이런 변화는 반도체 성능 개선과 모델 설계 발전, 추론 특화 칩 확대, 엣지 디바이스 활용 증가 등에 따른 결과라는 평가가 이어지고 있다. 가트너는 최첨단 반도체를 사용하는 프런티어 시나리오와 기존 반도체를 혼합 사용하는 시나리오를 비교했다. 그 결과 혼합 방식은 비용 부담이 더 큰 것으로 나타났다. 가트너는 토큰 단가 하락이 곧바로 기업 비용 절감으로 이어지지는 않을 것으로 봤다. AI 에이전트 확산으로 작업당 토큰 사용량이 기존 대비 5배에서 최대 30배까지 늘어나 전체 추론 비용은 오히려 증가할 가능성이 크다는 분석이다. 특히 고급 추론 기능은 더 많은 연산 자원을 요구하는 구조로 알려졌다. 이에 기본 AI 기능은 저렴해지지만 고성능 추론을 위한 인프라와 시스템은 여전히 제한된 자원으로 남을 것이란 설명이다. 가트너는 기업 AI 경쟁력이 단일 모델이 아닌 멀티 모델 오케스트레이션 전략에 달릴 것으로 봤다. 반복 업무는 소형 모델이나 도메인 특화 모델로 처리하고, 복잡한 작업에만 고비용 프런티어 모델을 선택적으로 활용해야 한다는 의미다. 윌 소머 가트너 시니어 디렉터 애널리스트는 "기업은 범용 토큰 가격 하락을 고급 추론 역량 대중화로 오해해서는 안 된다"며 "현재 저렴한 토큰 비용으로 아키텍처 비효율을 가리는 기업은 향후 에이전트 기반 AI 확장 단계에서 한계에 직면하게 될 것"이라고 밝혔다.

2026.03.30 17:18김미정 기자

알리바바 "5년 내 AI 관련 매출 150조원으로 확대할 것"

알리바바 그룹이 향후 5년 내 인공지능(AI) 관련 연간 매출을 1000억 달러(약 148조 9000억원)로 5배 확대하겠다는 목표를 세웠다. 19일(현지시간) 블룸버그 등 외신에 따르면 에디 우 알리바바 그룹 최고경영자(CEO)는 이번 분기 실적 발표에서 “자사 AI 전략의 사업 목표는 매우 명확하다”며 “향후 5년 내 클라우드와 AI 외부 매출을 합쳐 1000억 달러를 넘기는 것이 목표”라고 밝혔다. 이같은 목표 제시를 통해 알리바바는 비용이 많이 드는 AI 사업에서 수익을 창출해야 할 필요성이 커졌음을 드러냈다. 알리바바는 이번 분기 순이익이 67% 감소하고, 매출 성장도 미미한 수준에 그쳤다. 다만, 우 CEO는 해당 목표 달성 방안에 대해 구체적인 계획을 언급하지는 않았는데 이는 연평균 최소 35% 성장해야 가능한 수준으로, 지난해 12월 분기 클라우드 부문 성장률과 비슷하다. 알리바바는 지난해 12월까지 3개월 간 매출이 전년 대비 2% 증가한 2848억 위안(약 61조 6193억원)을 기록했지만 시장 예상치에는 못 미쳤다. 순이익은 2024년 초 이후 가장 큰 폭으로 줄었으며, 이는 경쟁 심화 속에서 진행된 대규모 기획전 비용 증가의 영향이 컸다. 실적 부진은 알리바바가 방대한 AI 사업에서 수익을 창출하기 위해 대대적인 조직 개편을 추진하는 이유를 보여준다. 알리바바는 이번 주 기업 고객용 에이전트형 AI 서비스 '우쿵'을 출시했으며 클라우드 및 스토리지 서비스 가격도 최대 34% 인상했다. 알리바바는 세계 최대 클라우드 서비스 기업 중 하나로 범용 인공지능(AGI) 경쟁에서 중국 내 선두주자로 평가받는다. 투자 규모 면에서 가장 공격적인 기업으로 수년간 530억 달러(약 79조원) 이상의 AI 투자를 약속했다. 이는 중국 경쟁사보다 많지만, 내년까지 6500억 달러(약 968조원)를 투자할 예정인 미국 빅테크와 비교하면 여전히 작은 규모다. 알리바바 클라우드 사업은 그룹 내 가장 빠르게 성장하는 수익원으로 자리 잡았으며 AI 관련 제품 매출은 10개 분기 연속 세 자릿수 성장률을 기록했다. 현재 중국에서 오픈클로와 같은 에이전트형 AI에 대한 관심이 높아지면서 위챗 생태계를 보유한 텐센트가 유리한 위치를 확보했다. 텐센트는 방대한 사용자 데이터를 확보하고 있으며 위챗을 통해 다양한 앱 접근을 통제하고 있어 AI 확장에 유리하다는 평가를 받는다. 아울러, 딥시크, 문샷 AI, 미니맥스, 즈푸 등의 스타트업도 경쟁에 뛰어들고 있다. 이들은 주로 오픈소스 모델을 제공해 사용 비용이 낮아 업계 전반의 수익성을 압박하고 있다. 이와 관련해 블룸버그 인텔리전스는 알리바바의 에이전트형 AI 확대와 '토큰 허브' 구축이 단기적으로 AI 수익성 개선으로 이어지기는 어렵다고 분석하고 있다. 높은 연산 비용과 낮은 가격 구조로 인해 응용 프로그램 인터페이스(API)는 손실을 감수하는 구조이며, 클라우드 수요 증가만으로는 이커머스와 음식 배달 사업의 수익 압박을 상쇄하기 어렵다는 이유에서다. 알리바바의 AI 사업은 큐웬 모델 개발을 이끌던 핵심 인물 린쥔양의 퇴사에도 영향을 받았다. 이후 알리바바는 다시 기업용 AI 사업에 집중하며 조직 개편을 단행한 바 있다. '알리바바 토큰 허브'라는 새로운 사업부를 통해 대부분의 AI 관련 조직을 CEO 직속으로 통합했다. 게리 유 모건스탠리 애널리스트는 “강력한 토큰 사용량은 AI 수요의 폭발적 증가를 보여준다”며 “가장 큰 의미는 AI 수익화가 더욱 강화된다는 점”이라고 말했다.

2026.03.20 09:20박서린 기자