검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'Rubin'통합검색 결과 입니다. (2건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[AI 고속도로] "네트워크만으론 부족"…시스코, AI 데이터센터 풀스택으로 영역 확대

시스코가 슈퍼마이크로와 손잡고 인공지능(AI) 데이터센터 사업을 네트워크 중심에서 랙스케일 풀스택 인프라로 확대한다. 엔비디아의 차세대 그래픽처리장치(GPU) 시스템에 서버·네트워크·액체냉각·보안·운영을 통합해 공급하면서 AI 데이터센터 시장의 경쟁도 개별 장비에서 통합 구축 역량 중심으로 빠르게 옮겨가는 모습이다. 시스코는 25일(현지시간) 공식 홈페이지를 통해 슈퍼마이크로와 손잡고 '엔비디아 기반 시스코 시큐어 AI 팩토리'를 랙스케일 AI 컴퓨팅 영역으로 확대한다고 발표했다. 슈퍼마이크로의 액체·공랭식 고밀도 서버를 자사 AI 인프라 포트폴리오에 포함하고 오는 10월부터 공급할 예정이다. 이번 협력으로 시스코는 기존 강점인 네트워크와 보안에 GPU 컴퓨팅과 냉각까지 결합한 통합 AI 인프라를 제공하게 됐다. 슈퍼마이크로는 고밀도 GPU 서버와 액체냉각 시스템을 맡고, 엔비디아는 GPU와 AI 소프트웨어를 공급하는 구조다. 지원 대상에는 엔비디아 '베라 루빈 NVL72'와 'HGX 루빈 NVL8'이 포함된다. 시스코는 자사 액체냉각 AI 네트워크 시스템과 슈퍼마이크로의 액체냉각 서버를 연결해 랙에서 네트워크 패브릭까지 아우르는 냉각 구조도 제공한다. 초거대 AI 모델 학습과 대규모 추론 환경에서 GPU뿐 아니라 전력과 냉각, 네트워크 효율이 성능과 비용을 좌우하는 상황을 겨냥한 구성이다. 시스코는 이번 확장을 통해 기업 고객뿐 아니라 네오클라우드와 소버린 클라우드 시장까지 공략한다. 엔비디아 클라우드 파트너(NCP) 규격에 맞춰 프런트엔드에는 시스코 '실리콘 원' 기반 스위치, 백엔드에는 엔비디아 '스펙트럼-X' 기반 시스코 스위치를 적용하고 이를 '넥서스 원'으로 통합한다. 시스코는 자사 스위치와 네트워크 운영체제를 활용해 NCP 규격을 충족하는 구조를 차별점으로 내세웠다. 시장에선 이번 협력이 AI 데이터센터 경쟁 구도를 한 단계 더 넓히는 계기가 될 것으로 보인다. 지금까지 델과 HPE, 레노버, 슈퍼마이크로 등이 GPU 서버를 중심으로 경쟁했다면, 앞으로는 서버와 네트워크, 냉각, 보안, 운영을 얼마나 빠르게 통합해 가동하느냐가 중요해질 가능성이 커졌다. 시스코도 직접 GPU 서버를 개발하기보다 슈퍼마이크로와 협력하는 방식을 택했다. 자사가 강점을 가진 네트워크와 보안, 운영 소프트웨어를 중심으로 전체 AI 인프라를 묶고 서버 전문 업체의 기술을 결합해 시장 진입 속도를 높이려는 전략으로 풀이된다. 이번 일은 슈퍼마이크로에도 긍정적인 효과가 있을 것으로 예상된다. 시스코의 글로벌 기업 고객과 판매망을 활용할 수 있는 데다 자사 고밀도 GPU 서버와 액체냉각 시스템이 시스코의 AI 인프라 포트폴리오에 포함되면서 판매 채널을 넓힐 수 있기 때문이다. 다만 양사는 구체적인 주문 규모와 매출 목표는 공개하지 않았다. 시스코는 인프라 구축 이후 운영 효율을 높이기 위한 서비스도 강화한다. 또 새 검증 서비스 'CVIS'를 통해 실제 구축된 시스템이 설계된 레퍼런스 아키텍처와 일치하는지 확인하고 대규모 AI 연구소를 통해 관련 도구와 소프트웨어 검증 역량도 확대할 계획이다. 더불어 엔비디아 AI 엔터프라이즈와 시스코 클라우드 컨트롤 기반 에이전틱옵스도 연계해 컴퓨팅과 네트워크 인터페이스 카드(NIC), 광통신, 네트워크 상태를 통합 관리하도록 지원한다. 지투 파텔 시스코 사장 겸 최고제품책임자(CPO)는 "우리는 역사상 가장 큰 데이터센터 구축 사이클 중 하나의 시작점에 있다"며 "모든 조직이 AI 확장을 서두르고 있지만 데이터 통제와 토큰 비용 관리, 실질적인 투자수익률을 함께 확보해야 한다"고 말했다.

2026.08.26 10:18장유미 기자

[AI는 지금] GPU만 빠르면 끝?…AI 에이전트 시대, '추론 SW'가 판 바꾼다

인공지능(AI) 에이전트 확산으로 AI 인프라 경쟁의 무게중심이 그래픽처리장치(GPU) 연산 성능에서 추론 소프트웨어와 서빙 시스템 전반으로 넓어지고 있다. 대화형 AI보다 훨씬 긴 컨텍스트를 유지하고 도구 호출과 반복 추론을 수행하는 AI 에이전트가 늘면서 KV 캐시 관리와 요청 스케줄링, 모델 병렬화 같은 소프트웨어 기술이 실제 서비스 성능과 비용을 좌우하는 요소로 떠오르고 있다. 26일 엔비디아에 따르면 차세대 AI 시스템 '베라 루빈 NVL72'는 세미애널리시스의 에이전틱 AI 벤치마크 '에이전트X'를 이용한 자체 시험에서 GB300 NVL72보다 메가와트당 AI 처리량이 최대 30배 높았다. 이번 수치는 엔비디아가 측정한 프리뷰 결과로, 현재 세미애널리시스의 검토를 기다리고 있다. 현재 세대인 GB300 NVL72에서도 성능 격차가 확인됐다. 딥시크 V4 프로 1.6T를 구동했을 때 H200 NVL8 대비 메가와트당 처리량이 최대 15배 높았으며, 키미 K3 2.8T에서는 비슷한 인터랙티브 성능을 기준으로 최대 80배까지 격차가 벌어졌다. 엔비디아는 GB300 NVL72를 사용할 경우 일부 조건에서 H200 NVL8보다 100만 토큰당 비용도 최대 10분의 1 수준으로 낮출 수 있다고 설명했다. 이번 결과에서 주목할 부분은 GPU 세대별 연산 성능 차이만은 아니다. 에이전트X가 기존 AI 벤치마크와 달리 실제 코딩 에이전트가 작동하는 방식을 재현하면서 AI 소프트웨어의 역할을 성능 평가에 본격적으로 끌어들였기 때문이다. 기존 추론 벤치마크는 8K 입력과 1K 출력처럼 길이가 정해진 요청을 반복해 GPU의 처리 성능을 측정하는 경우가 많았다. AI 에이전트는 이전 작업을 기억하면서 컨텍스트가 계속 길어지고 추론 도중 외부 도구를 호출하거나 다른 에이전트에 작업을 넘기기도 한다. 이를 두고 세미애널리시스는 "장문·멀티턴·높은 프리픽스 재사용과 서브에이전트 실행이 실제 AI 서비스 트래픽에서 중요해졌다"며 "그러면서 고정 길이 평가만으로 하드웨어와 소프트웨어 성능을 측정하기 어려워졌다"고 설명했다. 에이전트X는 이를 반영해 실제 클로드 코드 세션에서 발생한 요청 패턴을 재생한다. 턴이 진행될수록 컨텍스트가 누적되는 과정뿐 아니라 도구 호출로 모델이 대기하는 시간까지 반영하고 여러 에이전트가 동시에 작동할 때 처리량과 응답 속도가 어떻게 변하는지도 측정한다. 이에 따라 GPU 자체의 연산 속도뿐 아니라 추론 엔진과 캐시, 라우터가 얼마나 효율적으로 움직이는지가 결과에 영향을 미친다. 세미애널리시스는 에이전트X를 이용한 최적화 과정에서 vLLM의 프리픽스 캐시 적중률이 일부 조건에서 95%를 넘었으며 CPU로 KV 캐시를 오프로딩하는 방식에서는 재연산 대비 출력 처리량이 81.7% 높아진 사례도 공개했다. 세미애널리시스는 "실제 환경은 멀티턴·긴 컨텍스트와 높은 프리필 재사용, 서브에이전트 실행과 수많은 도구 호출로 구성된다"고 설명했다. 이번 일로 AI 소프트웨어 업체에도 향후 변화가 예상된다. 기존에는 쿠다(CUDA) 같은 GPU 프로그래밍 플랫폼과 vLLM·SGLang·텐서RT-LLM 등 추론 엔진의 연산 최적화가 주요 경쟁 영역이었다면, 에이전틱 AI에선 여러 소프트웨어 계층을 하나의 시스템으로 묶어 운영하는 능력이 중요해지고 있어서다. 특히 KV 캐시 관리가 핵심으로 부상하고 있다는 점은 눈여겨 볼 요소다. AI 에이전트가 작업을 수행할 때 이전 컨텍스트를 반복해서 다시 계산하지 않고 캐시에 저장된 데이터를 활용하면 GPU 연산량과 응답 시간을 줄일 수 있어서다. 반대로 동시에 많은 에이전트가 움직이면서 캐시를 제대로 관리하지 못하면 필요한 정보를 삭제하거나 같은 내용을 다시 계산하면서 GPU를 추가해도 성능이 충분히 나오지 않을 수 있다. 요청을 적절한 GPU로 배분하는 라우터와 스케줄러의 역할도 커지고 있다. 세미애널리시스의 에이전트X 시험에서는 엔비디아 추론 오케스트레이션 소프트웨어 '다이나모'의 라우팅 방식을 개선한 뒤 일부 조건에서 출력 처리량이 22.2% 증가했다. 다른 최적화에선 에이전트 세션 재생 시간이 20% 이상 단축됐다. 이는 하드웨어 교체 없이 소프트웨어 최적화만으로도 에이전틱 AI 추론 효율을 끌어올릴 수 있다는 점이 확인된 것으로 평가된다. 엔비디아도 이런 변화에 맞춰 하드웨어와 소프트웨어를 함께 묶는 전략을 강화하고 있다. GB300 NVL72의 72개 GPU를 NV링크로 연결하고 다이나모를 통해 프리필과 디코드 작업을 나누는 동시에 KV 캐시 상태와 서버 부하를 고려해 요청을 배분하는 방식이다. 이를 통해 엔비디아는 SGLang·vLLM·텐서RT-LLM과 MoE 최적화 기술까지 결합해 GPU 한 장의 성능보다 랙 단위 추론 효율을 높이는 데 초점을 두고 있다. 이에 따라 클라우드와 AI 서비스 사업자의 인프라 투자 기준도 달라질 가능성이 있다. 에이전트가 일반 챗봇보다 더 많은 토큰과 컴퓨팅 자원을 사용하는 만큼, GPU 도입 가격뿐 아니라 동일한 전력에서 얼마나 많은 사용자와 에이전트를 동시에 처리할 수 있는지가 서비스 비용을 좌우할 수 있어서다. 에이전트X도 초당 토큰 수에 더해 첫 토큰 생성 시간과 전체 지연시간, 사용자당 인터랙티브 성능, 메가와트당 처리량을 함께 평가하도록 설계됐다. 세미애널리시스는 추론 엔진과 라우터, KV 캐시 관리자, 데이터 전송 라이브러리, 클러스터 제어기가 서로 연동되는 구조를 새로운 AI 추론 환경의 핵심으로 보고 있다. 엔비디아 다이나모뿐 아니라 레드햇의 llm-d, AMD 인페라 등도 여러 추론 소프트웨어를 묶어 분산형 AI 시스템을 운영하는 방향으로 개발되고 있다. 세미애널리시스는 "에이전틱 추론은 칩이나 커널 수준의 문제가 아니라 시스템 전체의 문제"라고 강조했다.

2026.08.26 09:17장유미 기자