[AI는 지금] GPU만 빠르면 끝?…AI 에이전트 시대, '추론 SW'가 판 바꾼다

인공지능(AI) 에이전트 확산으로 AI 인프라 경쟁의 무게중심이 그래픽처리장치(GPU) 연산 성능에서 추론 소프트웨어와 서빙 시스템 전반으로 넓어지고 있다. 대화형 AI보다 훨씬 긴 컨텍스트를 유지하고 도구 호출과 반복 추론을 수행하는 AI 에이전트가 늘면서 KV 캐시 관리와 요청 스케줄링, 모델 병렬화 같은 소프트웨어 기술이 실제 서비스 성능과 비용을 좌우하는 요소로 떠오르고 있다. 26일 엔비디아에 따르면 차세대 AI 시스템 '베라 루빈 NVL72'는 세미애널리시스의 에이전틱 AI 벤치마크 '에이전트X'를 이용한 자체 시험에서 GB300 NVL72보다 메가와트당 AI 처리량이 최대 30배 높았다. 이번 수치는 엔비디아가 측정한 프리뷰 결과로, 현재 세미애널리시스의 검토를 기다리고 있다. 현재 세대인 GB300 NVL72에서도 성능 격차가 확인됐다. 딥시크 V4 프로 1.6T를 구동했을 때 H200 NVL8 대비 메가와트당 처리량이 최대 15배 높았으며, 키미 K3 2.8T에서는 비슷한 인터랙티브 성능을 기준으로 최대 80배까지 격차가 벌어졌다. 엔비디아는 GB300 NVL72를 사용할 경우 일부 조건에서 H200 NVL8보다 100만 토큰당 비용도 최대 10분의 1 수준으로 낮출 수 있다고 설명했다. 이번 결과에서 주목할 부분은 GPU 세대별 연산 성능 차이만은 아니다. 에이전트X가 기존 AI 벤치마크와 달리 실제 코딩 에이전트가 작동하는 방식을 재현하면서 AI 소프트웨어의 역할을 성능 평가에 본격적으로 끌어들였기 때문이다. 기존 추론 벤치마크는 8K 입력과 1K 출력처럼 길이가 정해진 요청을 반복해 GPU의 처리 성능을 측정하는 경우가 많았다. AI 에이전트는 이전 작업을 기억하면서 컨텍스트가 계속 길어지고 추론 도중 외부 도구를 호출하거나 다른 에이전트에 작업을 넘기기도 한다. 이를 두고 세미애널리시스는 "장문·멀티턴·높은 프리픽스 재사용과 서브에이전트 실행이 실제 AI 서비스 트래픽에서 중요해졌다"며 "그러면서 고정 길이 평가만으로 하드웨어와 소프트웨어 성능을 측정하기 어려워졌다"고 설명했다. 에이전트X는 이를 반영해 실제 클로드 코드 세션에서 발생한 요청 패턴을 재생한다. 턴이 진행될수록 컨텍스트가 누적되는 과정뿐 아니라 도구 호출로 모델이 대기하는 시간까지 반영하고 여러 에이전트가 동시에 작동할 때 처리량과 응답 속도가 어떻게 변하는지도 측정한다. 이에 따라 GPU 자체의 연산 속도뿐 아니라 추론 엔진과 캐시, 라우터가 얼마나 효율적으로 움직이는지가 결과에 영향을 미친다. 세미애널리시스는 에이전트X를 이용한 최적화 과정에서 vLLM의 프리픽스 캐시 적중률이 일부 조건에서 95%를 넘었으며 CPU로 KV 캐시를 오프로딩하는 방식에서는 재연산 대비 출력 처리량이 81.7% 높아진 사례도 공개했다. 세미애널리시스는 "실제 환경은 멀티턴·긴 컨텍스트와 높은 프리필 재사용, 서브에이전트 실행과 수많은 도구 호출로 구성된다"고 설명했다. 이번 일로 AI 소프트웨어 업체에도 향후 변화가 예상된다. 기존에는 쿠다(CUDA) 같은 GPU 프로그래밍 플랫폼과 vLLM·SGLang·텐서RT-LLM 등 추론 엔진의 연산 최적화가 주요 경쟁 영역이었다면, 에이전틱 AI에선 여러 소프트웨어 계층을 하나의 시스템으로 묶어 운영하는 능력이 중요해지고 있어서다. 특히 KV 캐시 관리가 핵심으로 부상하고 있다는 점은 눈여겨 볼 요소다. AI 에이전트가 작업을 수행할 때 이전 컨텍스트를 반복해서 다시 계산하지 않고 캐시에 저장된 데이터를 활용하면 GPU 연산량과 응답 시간을 줄일 수 있어서다. 반대로 동시에 많은 에이전트가 움직이면서 캐시를 제대로 관리하지 못하면 필요한 정보를 삭제하거나 같은 내용을 다시 계산하면서 GPU를 추가해도 성능이 충분히 나오지 않을 수 있다. 요청을 적절한 GPU로 배분하는 라우터와 스케줄러의 역할도 커지고 있다. 세미애널리시스의 에이전트X 시험에서는 엔비디아 추론 오케스트레이션 소프트웨어 '다이나모'의 라우팅 방식을 개선한 뒤 일부 조건에서 출력 처리량이 22.2% 증가했다. 다른 최적화에선 에이전트 세션 재생 시간이 20% 이상 단축됐다. 이는 하드웨어 교체 없이 소프트웨어 최적화만으로도 에이전틱 AI 추론 효율을 끌어올릴 수 있다는 점이 확인된 것으로 평가된다. 엔비디아도 이런 변화에 맞춰 하드웨어와 소프트웨어를 함께 묶는 전략을 강화하고 있다. GB300 NVL72의 72개 GPU를 NV링크로 연결하고 다이나모를 통해 프리필과 디코드 작업을 나누는 동시에 KV 캐시 상태와 서버 부하를 고려해 요청을 배분하는 방식이다. 이를 통해 엔비디아는 SGLang·vLLM·텐서RT-LLM과 MoE 최적화 기술까지 결합해 GPU 한 장의 성능보다 랙 단위 추론 효율을 높이는 데 초점을 두고 있다. 이에 따라 클라우드와 AI 서비스 사업자의 인프라 투자 기준도 달라질 가능성이 있다. 에이전트가 일반 챗봇보다 더 많은 토큰과 컴퓨팅 자원을 사용하는 만큼, GPU 도입 가격뿐 아니라 동일한 전력에서 얼마나 많은 사용자와 에이전트를 동시에 처리할 수 있는지가 서비스 비용을 좌우할 수 있어서다. 에이전트X도 초당 토큰 수에 더해 첫 토큰 생성 시간과 전체 지연시간, 사용자당 인터랙티브 성능, 메가와트당 처리량을 함께 평가하도록 설계됐다. 세미애널리시스는 추론 엔진과 라우터, KV 캐시 관리자, 데이터 전송 라이브러리, 클러스터 제어기가 서로 연동되는 구조를 새로운 AI 추론 환경의 핵심으로 보고 있다. 엔비디아 다이나모뿐 아니라 레드햇의 llm-d, AMD 인페라 등도 여러 추론 소프트웨어를 묶어 분산형 AI 시스템을 운영하는 방향으로 개발되고 있다. 세미애널리시스는 "에이전틱 추론은 칩이나 커널 수준의 문제가 아니라 시스템 전체의 문제"라고 강조했다.