검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'Rubin'통합검색 결과 입니다. (3건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

[AI는 지금] AMD 추격에 '쿠다' 더 세졌다…엔비디아, AI SW 주도권 강화 가속

엔비디아가 인공지능(AI) 가속기 시장의 주도권을 지키기 위해 소프트웨어 경쟁력을 한층 강화하고 있다. 차세대 그래픽처리장치(GPU)인 '루빈' 출하가 시작된 가운데 쿠다(CUDA)의 개발 지원을 확대하고 공유 GPU 관리와 AI 코딩 기능까지 고도화하면서 기업과 개발자를 자사 생태계에 더욱 깊숙이 끌어들이려는 모양새다. 엔비디아는 지난 9일 '쿠다 툴킷 13.4'를 공개했다고 10일 밝혔다. 이번 버전에는 차세대 GPU '루빈' 아키텍처 지원을 비롯해 공유 GPU 관리, 쿠다 파이썬과 C++ 라이브러리, AI 개발 도구 관련 기능이 추가됐다. 루빈 지원은 개발자 프리뷰 형태로 제공된다. 이에 따라 개발자들은 정식 지원에 앞서 기존 애플리케이션과 라이브러리를 루빈 환경에 맞게 점검하고 이전 작업을 준비할 수 있다. 최근 루빈 공급이 시작된 가운데 엔비디아는 하드웨어 도입과 함께 이번 일로 소프트웨어 전환 준비까지 앞당기려는 분위기다. 다만 루빈 지원 기능은 아직 개발자 프리뷰 단계로, 성능 벤치마크나 성능 분석, 실제 서비스 배포 용도로는 권장되지 않는다. 엔비디아는 이번에 기업들이 보유한 GPU를 효율적으로 활용하기 위한 기능도 강화했다. 특히 '멀티 프로세스 서비스(MPS) V3'는 기존 MPS의 제어 계층을 개편해 하나의 GPU를 여러 작업이 공유할 때 자원 배분을 보다 세밀하게 설정할 수 있도록 한 것이 특징이다. 이번 일로 기업들은 스트리밍 멀티프로세서(SM)를 나눠 사용하거나 컨테이너별 GPU 메모리 한도를 설정할 수 있으며 작업의 실행 우선순위도 관리할 수 있다. 또 여러 AI 모델과 에이전트를 동시에 운영하는 기업이나 클라우드 사업자가 GPU 사용률을 높이면서 워크로드별 자원을 구분하는 데도 활용할 수 있다. 이 같은 기능은 기업의 AI 투자가 모델 학습에서 실제 서비스 운영으로 확대되면서 중요성이 커지고 있다. 고가 GPU를 특정 작업이 독점하기보다 여러 워크로드를 공유할 수 있을수록 같은 인프라에서 처리할 수 있는 AI 서비스가 늘어나기 때문이다. 이에 엔비디아도 쿠다의 역할을 GPU 프로그래밍뿐 아니라 공유 자원 관리까지 지속적으로 넓히고 있다. 개발자가 쿠다를 사용하는 방식도 이번 일로 단순해졌다. 쿠다 파이썬은 공개 API에 타입 정보를 제공해 통합개발환경(IDE)이나 코딩 에이전트가 함수 구조와 반환형 등을 파악하기 쉽게 만들었다. 쿠다 C++에서는 카피 이프(copy_if), 파인드 이프(find_if), 리듀스(reduce), 트랜스폼(transform) 등 개발자가 익숙한 표준 라이브러리 방식으로 GPU 병렬 연산을 처리할 수 있게 했다. AI 코딩 에이전트를 활용한 개발 환경도 확대했다. 엔비디아는 '엔사이트 AI(Nsight AI)'를 통해 최신 쿠다 문서와 코드 예제를 지원되는 AI 코딩 에이전트에 연결하는 '쿠다 MCP 서버'를 제공한다. 개발자가 문서를 직접 검색하는 부담을 줄이고 AI의 도움을 받아 쿠다 소프트웨어를 개발할 수 있도록 한 것이다. 운영체제 지원 범위도 넓혔다. 쿠다 13.4는 RTX 스파크 기기를 대상으로 윈도 온 Arm을 새롭게 지원한다. Arm 환경에서 리눅스를 넘어 윈도까지 쿠다 개발 영역을 확대한 것이다. 엔비디아가 소프트웨어 생태계를 강화하는 사이 AMD도 추격에 속도를 내고 있다. AMD는 지난달 27일 'ROCm 10'과 AI 기반 개발 환경 'ROCm.AI'를 정식 출시했다. ROCm.AI는 개발자가 기존 AI 개발 도구를 이용해 AMD 하드웨어에서 워크로드를 구축하고 실행·최적화할 수 있도록 지원한다. 이처럼 AMD가 개발 편의성과 호환성 강화에 공을 들이는 것도 기업의 가속기 선택에서 소프트웨어가 차지하는 비중이 커지고 있어서다. 이미 사용 중인 모델과 라이브러리, 개발도구를 다른 GPU 환경에서도 그대로 활용하기 어렵다면, 별도 검증과 최적화가 필요해 전환 비용이 커질 수 있다. 업계 관계자는 "AI 가속기는 단순히 칩 성능만 보고 바꾸기 어렵다"며 "기존 소프트웨어와 개발 환경을 얼마나 적은 비용으로 옮길 수 있느냐가 실제 도입 결정에 큰 영향을 줄 것"이라고 말했다.

2026.09.10 18:46장유미 기자

[AI 고속도로] "네트워크만으론 부족"…시스코, AI 데이터센터 풀스택으로 영역 확대

시스코가 슈퍼마이크로와 손잡고 인공지능(AI) 데이터센터 사업을 네트워크 중심에서 랙스케일 풀스택 인프라로 확대한다. 엔비디아의 차세대 그래픽처리장치(GPU) 시스템에 서버·네트워크·액체냉각·보안·운영을 통합해 공급하면서 AI 데이터센터 시장의 경쟁도 개별 장비에서 통합 구축 역량 중심으로 빠르게 옮겨가는 모습이다. 시스코는 25일(현지시간) 공식 홈페이지를 통해 슈퍼마이크로와 손잡고 '엔비디아 기반 시스코 시큐어 AI 팩토리'를 랙스케일 AI 컴퓨팅 영역으로 확대한다고 발표했다. 슈퍼마이크로의 액체·공랭식 고밀도 서버를 자사 AI 인프라 포트폴리오에 포함하고 오는 10월부터 공급할 예정이다. 이번 협력으로 시스코는 기존 강점인 네트워크와 보안에 GPU 컴퓨팅과 냉각까지 결합한 통합 AI 인프라를 제공하게 됐다. 슈퍼마이크로는 고밀도 GPU 서버와 액체냉각 시스템을 맡고, 엔비디아는 GPU와 AI 소프트웨어를 공급하는 구조다. 지원 대상에는 엔비디아 '베라 루빈 NVL72'와 'HGX 루빈 NVL8'이 포함된다. 시스코는 자사 액체냉각 AI 네트워크 시스템과 슈퍼마이크로의 액체냉각 서버를 연결해 랙에서 네트워크 패브릭까지 아우르는 냉각 구조도 제공한다. 초거대 AI 모델 학습과 대규모 추론 환경에서 GPU뿐 아니라 전력과 냉각, 네트워크 효율이 성능과 비용을 좌우하는 상황을 겨냥한 구성이다. 시스코는 이번 확장을 통해 기업 고객뿐 아니라 네오클라우드와 소버린 클라우드 시장까지 공략한다. 엔비디아 클라우드 파트너(NCP) 규격에 맞춰 프런트엔드에는 시스코 '실리콘 원' 기반 스위치, 백엔드에는 엔비디아 '스펙트럼-X' 기반 시스코 스위치를 적용하고 이를 '넥서스 원'으로 통합한다. 시스코는 자사 스위치와 네트워크 운영체제를 활용해 NCP 규격을 충족하는 구조를 차별점으로 내세웠다. 시장에선 이번 협력이 AI 데이터센터 경쟁 구도를 한 단계 더 넓히는 계기가 될 것으로 보인다. 지금까지 델과 HPE, 레노버, 슈퍼마이크로 등이 GPU 서버를 중심으로 경쟁했다면, 앞으로는 서버와 네트워크, 냉각, 보안, 운영을 얼마나 빠르게 통합해 가동하느냐가 중요해질 가능성이 커졌다. 시스코도 직접 GPU 서버를 개발하기보다 슈퍼마이크로와 협력하는 방식을 택했다. 자사가 강점을 가진 네트워크와 보안, 운영 소프트웨어를 중심으로 전체 AI 인프라를 묶고 서버 전문 업체의 기술을 결합해 시장 진입 속도를 높이려는 전략으로 풀이된다. 이번 일은 슈퍼마이크로에도 긍정적인 효과가 있을 것으로 예상된다. 시스코의 글로벌 기업 고객과 판매망을 활용할 수 있는 데다 자사 고밀도 GPU 서버와 액체냉각 시스템이 시스코의 AI 인프라 포트폴리오에 포함되면서 판매 채널을 넓힐 수 있기 때문이다. 다만 양사는 구체적인 주문 규모와 매출 목표는 공개하지 않았다. 시스코는 인프라 구축 이후 운영 효율을 높이기 위한 서비스도 강화한다. 또 새 검증 서비스 'CVIS'를 통해 실제 구축된 시스템이 설계된 레퍼런스 아키텍처와 일치하는지 확인하고 대규모 AI 연구소를 통해 관련 도구와 소프트웨어 검증 역량도 확대할 계획이다. 더불어 엔비디아 AI 엔터프라이즈와 시스코 클라우드 컨트롤 기반 에이전틱옵스도 연계해 컴퓨팅과 네트워크 인터페이스 카드(NIC), 광통신, 네트워크 상태를 통합 관리하도록 지원한다. 지투 파텔 시스코 사장 겸 최고제품책임자(CPO)는 "우리는 역사상 가장 큰 데이터센터 구축 사이클 중 하나의 시작점에 있다"며 "모든 조직이 AI 확장을 서두르고 있지만 데이터 통제와 토큰 비용 관리, 실질적인 투자수익률을 함께 확보해야 한다"고 말했다.

2026.08.26 10:18장유미 기자

[AI는 지금] GPU만 빠르면 끝?…AI 에이전트 시대, '추론 SW'가 판 바꾼다

인공지능(AI) 에이전트 확산으로 AI 인프라 경쟁의 무게중심이 그래픽처리장치(GPU) 연산 성능에서 추론 소프트웨어와 서빙 시스템 전반으로 넓어지고 있다. 대화형 AI보다 훨씬 긴 컨텍스트를 유지하고 도구 호출과 반복 추론을 수행하는 AI 에이전트가 늘면서 KV 캐시 관리와 요청 스케줄링, 모델 병렬화 같은 소프트웨어 기술이 실제 서비스 성능과 비용을 좌우하는 요소로 떠오르고 있다. 26일 엔비디아에 따르면 차세대 AI 시스템 '베라 루빈 NVL72'는 세미애널리시스의 에이전틱 AI 벤치마크 '에이전트X'를 이용한 자체 시험에서 GB300 NVL72보다 메가와트당 AI 처리량이 최대 30배 높았다. 이번 수치는 엔비디아가 측정한 프리뷰 결과로, 현재 세미애널리시스의 검토를 기다리고 있다. 현재 세대인 GB300 NVL72에서도 성능 격차가 확인됐다. 딥시크 V4 프로 1.6T를 구동했을 때 H200 NVL8 대비 메가와트당 처리량이 최대 15배 높았으며, 키미 K3 2.8T에서는 비슷한 인터랙티브 성능을 기준으로 최대 80배까지 격차가 벌어졌다. 엔비디아는 GB300 NVL72를 사용할 경우 일부 조건에서 H200 NVL8보다 100만 토큰당 비용도 최대 10분의 1 수준으로 낮출 수 있다고 설명했다. 이번 결과에서 주목할 부분은 GPU 세대별 연산 성능 차이만은 아니다. 에이전트X가 기존 AI 벤치마크와 달리 실제 코딩 에이전트가 작동하는 방식을 재현하면서 AI 소프트웨어의 역할을 성능 평가에 본격적으로 끌어들였기 때문이다. 기존 추론 벤치마크는 8K 입력과 1K 출력처럼 길이가 정해진 요청을 반복해 GPU의 처리 성능을 측정하는 경우가 많았다. AI 에이전트는 이전 작업을 기억하면서 컨텍스트가 계속 길어지고 추론 도중 외부 도구를 호출하거나 다른 에이전트에 작업을 넘기기도 한다. 이를 두고 세미애널리시스는 "장문·멀티턴·높은 프리픽스 재사용과 서브에이전트 실행이 실제 AI 서비스 트래픽에서 중요해졌다"며 "그러면서 고정 길이 평가만으로 하드웨어와 소프트웨어 성능을 측정하기 어려워졌다"고 설명했다. 에이전트X는 이를 반영해 실제 클로드 코드 세션에서 발생한 요청 패턴을 재생한다. 턴이 진행될수록 컨텍스트가 누적되는 과정뿐 아니라 도구 호출로 모델이 대기하는 시간까지 반영하고 여러 에이전트가 동시에 작동할 때 처리량과 응답 속도가 어떻게 변하는지도 측정한다. 이에 따라 GPU 자체의 연산 속도뿐 아니라 추론 엔진과 캐시, 라우터가 얼마나 효율적으로 움직이는지가 결과에 영향을 미친다. 세미애널리시스는 에이전트X를 이용한 최적화 과정에서 vLLM의 프리픽스 캐시 적중률이 일부 조건에서 95%를 넘었으며 CPU로 KV 캐시를 오프로딩하는 방식에서는 재연산 대비 출력 처리량이 81.7% 높아진 사례도 공개했다. 세미애널리시스는 "실제 환경은 멀티턴·긴 컨텍스트와 높은 프리필 재사용, 서브에이전트 실행과 수많은 도구 호출로 구성된다"고 설명했다. 이번 일로 AI 소프트웨어 업체에도 향후 변화가 예상된다. 기존에는 쿠다(CUDA) 같은 GPU 프로그래밍 플랫폼과 vLLM·SGLang·텐서RT-LLM 등 추론 엔진의 연산 최적화가 주요 경쟁 영역이었다면, 에이전틱 AI에선 여러 소프트웨어 계층을 하나의 시스템으로 묶어 운영하는 능력이 중요해지고 있어서다. 특히 KV 캐시 관리가 핵심으로 부상하고 있다는 점은 눈여겨 볼 요소다. AI 에이전트가 작업을 수행할 때 이전 컨텍스트를 반복해서 다시 계산하지 않고 캐시에 저장된 데이터를 활용하면 GPU 연산량과 응답 시간을 줄일 수 있어서다. 반대로 동시에 많은 에이전트가 움직이면서 캐시를 제대로 관리하지 못하면 필요한 정보를 삭제하거나 같은 내용을 다시 계산하면서 GPU를 추가해도 성능이 충분히 나오지 않을 수 있다. 요청을 적절한 GPU로 배분하는 라우터와 스케줄러의 역할도 커지고 있다. 세미애널리시스의 에이전트X 시험에서는 엔비디아 추론 오케스트레이션 소프트웨어 '다이나모'의 라우팅 방식을 개선한 뒤 일부 조건에서 출력 처리량이 22.2% 증가했다. 다른 최적화에선 에이전트 세션 재생 시간이 20% 이상 단축됐다. 이는 하드웨어 교체 없이 소프트웨어 최적화만으로도 에이전틱 AI 추론 효율을 끌어올릴 수 있다는 점이 확인된 것으로 평가된다. 엔비디아도 이런 변화에 맞춰 하드웨어와 소프트웨어를 함께 묶는 전략을 강화하고 있다. GB300 NVL72의 72개 GPU를 NV링크로 연결하고 다이나모를 통해 프리필과 디코드 작업을 나누는 동시에 KV 캐시 상태와 서버 부하를 고려해 요청을 배분하는 방식이다. 이를 통해 엔비디아는 SGLang·vLLM·텐서RT-LLM과 MoE 최적화 기술까지 결합해 GPU 한 장의 성능보다 랙 단위 추론 효율을 높이는 데 초점을 두고 있다. 이에 따라 클라우드와 AI 서비스 사업자의 인프라 투자 기준도 달라질 가능성이 있다. 에이전트가 일반 챗봇보다 더 많은 토큰과 컴퓨팅 자원을 사용하는 만큼, GPU 도입 가격뿐 아니라 동일한 전력에서 얼마나 많은 사용자와 에이전트를 동시에 처리할 수 있는지가 서비스 비용을 좌우할 수 있어서다. 에이전트X도 초당 토큰 수에 더해 첫 토큰 생성 시간과 전체 지연시간, 사용자당 인터랙티브 성능, 메가와트당 처리량을 함께 평가하도록 설계됐다. 세미애널리시스는 추론 엔진과 라우터, KV 캐시 관리자, 데이터 전송 라이브러리, 클러스터 제어기가 서로 연동되는 구조를 새로운 AI 추론 환경의 핵심으로 보고 있다. 엔비디아 다이나모뿐 아니라 레드햇의 llm-d, AMD 인페라 등도 여러 추론 소프트웨어를 묶어 분산형 AI 시스템을 운영하는 방향으로 개발되고 있다. 세미애널리시스는 "에이전틱 추론은 칩이나 커널 수준의 문제가 아니라 시스템 전체의 문제"라고 강조했다.

2026.08.26 09:17장유미 기자