검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'엔비디아 GPU'통합검색 결과 입니다. (99건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

지코어코리아, 한국에 엔비디아 H100 기반 데이터센터 개소

글로벌 퍼블릭 클라우드, 엣지 컴퓨팅 및 엣지AI 전문기업 지코어는 4일 서울 더플라자호텔에서 기자간담회를 개최하고 엔비디아 H100 기반의 AI 퍼블릭 클라우드 서비스를 한국시장에 출시한다고 밝혔다. 오는 15일 한국에 개소하는 지코어 데이터센터는 AI 학습에서 현존하는 가장 효과적인 GPU로 인정받는 엔비디아 H100 서버 40대를 설치한다. GPU 기준으로 320개다. 그 동안 국내 AI 기업은 AI 모델을 개발하고 학습시키는데 있어 필수적인, 고성능 GPU 확보에 큰 어려움을 겪고 있었다. 이제 한국의 AI 전문기업은 더 이상 대규모의 GPU를 확보하기 위해 수십주를 기다리거나 타국에 위치한 자원을 활용하지 않고, 초고성능 AI 컴퓨팅 자원을 지코어의 엣지 클라우드를 통해 쉽게 활용할 수 있다. 지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다. 유니파이드패브릭매니저(UFM)으로 관리되는 논블로킹 클러스터는 핫 스페어와 콜드 스페어를 각각 구성해 서비스 품질도 GDPR의 기준을 충족한다. 각 서버당 2TB에 달하는 메모리와 112개에 달하는 CPU코어로 대용량 데이터 처리 및 고성능 컴퓨팅 작업 환경을 제공한다. 서버당 12KW에 달하는 전력량 충족, 빠른 네트워크, 안전한 센터 설계 등으로 최상의 서비스 구현이 가능하다. 지코어는 이 서비스를 준비하면서 NHN클라우드와 데이터센터 선정에서부터 한국고객의 수요를 반영한 서비스 구성에 이르기까지 긴밀히 협업했다. NHN클라우드는 한국 AI산업의 역량이 급부상함에 따라 국내 고객들이 원하는 특수한 요구사항을 잘 파악하고 있는 만큼 지코어 서비스를 현지화하고 고객 맞춤형으로 구성하는데 있어서 큰 역할을 했다. NHN클라우드는 지코어의 데이터센터 운영에도 지속적으로 참여할 예정이다. 정현용 지코어코리아 한국지사장은 “한국은 AI 반도체, 시스템, 서비스 등 AI 기술 전반에 걸쳐 세계적으로 엄청난 성장 잠재력을 지니고 있는 국가”라며 “이제 국내 초고속 통신망 내에 위치한 지코어의 데이터센터는 물론, 전세계와 초저지연 네트워크로 상호 연결돼 있는 지코어의 글로벌 엣지 네트워크를 접목해 한국기업들이 글로벌 AI시장에서 선도적인 위치를 선점해 나갈 수 있기를 기대한다”고 말했다. 그는 “국내 AI시장 및 고객에 대한 전문적 이해와 경험을 보유한 NHN클라우드와의 지속적이고 긴밀한 협업을 통해 공공기관은 물론 연구소, 금융 및 제조업계 등을 비롯해 다양한 영역에서 급속히 증가하고 있는 국내 AI 수요에 빠르고 신속하게 대응해 나갈 것”이라고 강조했다. 김동훈 NHN클라우드 대표는 “국내는 물론 글로벌 AI 인프라 시장의 패러다임이 급격히 변화하고 있는 만큼, NHN클라우드는 광주 국가 AI 데이터센터를 포함해 판교 데이터센터(NCC1) 등 자사 데이터센터에 1천 개 이상의 엔비디아 H100으로 구축하는 등 국내 최대 규모 GPU 클러스터를 구축해 나가고 있다”고 밝혔다. 그는 이어 “지코어는 전세계 160개 이상의 PoP를 기반으로 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업으로, 엔비디아의 최신 GPU인 H100을 발빠르게 한국에 도입함으로써 국내 AI 시장의 도약을 위한 새로운 국면을 맞게 한 일등공신”이라며 “NHN클라우드는 지코어와의 파트너십을 통해 국내 AI 인프라 시장의 경쟁력을 강화하고, 글로벌 진출 및 시장 변화에 적극적으로 대응해 나갈 것”이라고 덧붙였다. 이날 기자간담회에 자크 플리스 주한 룩셈부르크 초대 대사 내정자가 참석해 룩셈부르크 소재의 글로벌 IT 기업인 지코어가 한국 기업고객들에게 혁신적인 기술을 전하고 협력 기회를 확대할 수 있기를 기대한다며 축사를 전했다. 지코어는 기업의 AI 도입과정 모든 단계에 도움을 주기 위해 완전 자동화된 AI 인프라, 다양한 관리도구, 안전하고 신뢰할 수 있는 보안체계 등을 갖춘 클라우드 플랫폼 환경을 서비스하고 있다.

2024.04.04 13:45김우용

"토종 AI칩, 엔비디아와 경쟁 위해 특화 시장 공략해야"

“엔비디아가 AI 반도체 시장에서 지배적인 입지에 있다고 해도 국내 기업이 경쟁을 포기하고 종속되면 안 됩니다. 국산 AI 반도체가 성공하려면 애플리케이션 맞춤형 저전력 NPU(신경망처리장치)를 개발하고 특화된 시장(니치 마켓)을 공략해야 합니다.” 김형준 차세대지능형반도체사업 단장은 지디넷코리아와 인터뷰에서 국산 AI 반도체 기술 개발에 대한 방향성에 대해 이같이 강조했다. 차세대지능형반도체사업단을 이끄는 수장인 김형준 단장은 반도체 소자 및 공정 전문가다. 김 단장은 1986년부터 서울대학교 재료공학부에서 교수 생활을 시작해 서울대학교 반도체공동연구소, 한국반도체디스플레이기술학회, 한국재료학회, 한국결정학회 등 다양한 학술 단체를 이끌었고, 2001년부터 2011년까지 국책 사업으로 진행된 '2010 시스템집적반도체개발사업단'에서 사업단장을 역임했다. 차세대지능형반도체사업단은 정부(과학기술정보통신부, 산업통상자원부)가 국내 차세대지능형 반도체 개발과 생태계 구축을 위해 2020년 9월 출범한 조직으로, 10년간 산·학·연간 협력을 돕는 가교 역할을 한다. 사업단으로부터 지원받은 AI 반도체는 사피온이 지난해 11월 출시한 'X330'과 퓨리오사AI가 올해 2분기에 출시하는 '레니게이트'를 비롯해 딥엑스, 텔레칩스 등이 대표적이다. ■ 국산 NPU, 저전력·가격 경쟁력 내세워 니치 마켓 공략 필요 AI 반도체 시장에서 엔비디아의 GPU(그래픽처리장치)는 80% 점유율을 차지한다. 엔비디아는 하드웨어뿐 아니라 '쿠다(CUDA)' 소프트웨어를 공급해 AI 반도체 시장을 장악할 수 있었다. 반면 국내 스타트업들은 GPU 보다 저전력에 특화된 분야에서 처리 능력이 뛰어난 NPU(신경망처리장치)에 주력하고 있다. 최근 애플, 아마존, 마이크로소프트(MS) 등 미국 빅테크 기업도 NPU 칩을 개발하는 추세다. “이런 상황에 국내 스타트업이 엔비디아와 경쟁 및 글로벌 시장에서 성공할 수 있을지에 대해 의구심이 든다”는 기자의 질문에 김 단장은 “엔비디아의 GPU도 AI 모델에 따라 여러 종류를 판매하고 있으므로, 국내 업체도 특정 추론 모델에 특화된 맞춤형 NPU 반도체를 만들어 니치 마켓을 공략해야 한다”고 답했다. 그는 이어 “AI 반도체가 지속 가능하려면 저전력이 되어야 한다”라며 “데이터센터에는 약 1만장 이상의 GPU가 탑재되며, 이로 인해 많은 전력이 소모된다는 지적이 따른다. 전 세계 데이터센터 소비량은 현재 남아프리카공화국의 전력 소비량과 비슷하다. 또 2027년 전 세계 데이터센터가 필요한 전력은 스웨덴의 1년 전력량과 맞먹는 85~134Twh가 될 전망이다. 이는 최근 업계가 저전력 NPU 반도체에 관해 관심이 높아지는 이유다”라고 설명했다. NPU는 GPU보다 저렴한 가격으로도 경쟁력을 갖출 수 있다. 엔비디아 GPU는 리드타임(주문해서 받기까지 기간)이 1년 이상 걸리고 1개 칩당 5천만원 이상으로 비싼 가격이다. 김 단장은 “일례로 인도네시아, 말레이시아, 베트남 등의 국가가 데이터센터를 만들고 싶어도 엔비디아 GPU의 비싼 가격으로 인해 선뜻 투자하기 어려울 것”이라며 “국산 NPU가 뛰어난 성능에 엔비디아 GPU보다 저렴한 가격에 공급한다면, 해당 시장을 개척할 수 있을 것”이라고 말했다. 또한 “우리나라가 예전에 F35 전투기를 개발할 당시, 구매하는 것보다 개발 비용이 수십 배 더 들었지만, 결국 기술 확보를 위해 개발에 착수하고 국산화에 성공했다. 그 결과 현재 전투기도 수출하는 국가가 되었다. 이렇듯 AI 반도체도 개발을 지속해야 하며, 결코 미국에 종속되어서는 안 된다”고 강조했다. ■ 실증 사업 통해 레퍼런스 확보 중요…엣지 시장에 기회 있을 것 국내 AI 반도체 기업은 데이터센터 실증 사업 통해 레퍼런스를 확보하는 것이 중요하다. 정부는 AI 반도체 육성을 위해 K-클라우드 사업을 전개하고 있으며, KT, 네이버 등의 데이터센터는 GPU 대신 국산 NPU를 도입해 일부 실증 테스트를 진행하고 있다. 김 단장은 “NPU 기업은 데이터센터 실증 테스트를 적극 활용해서 제품 경쟁력을 높이는 것이 필요하다”며 “레퍼런스를 바탕으로 국내뿐 아니라 해외에 NPU를 수출할 수 있을 것”이라고 조언했다. 언제쯤 국내 NPU 반도체가 해외의 주요 고객사에 수출될 수 있을지에 대한 질문에 김 단장은 “국내 스타트업의 칩 양산이 올해 본격화되기에 2026년에는 성공 여부가 판가름 날 것”이라며 “냉정하게 경쟁력이 없다고 판단되면 사업을 접어야 할 것”이라고 말했다. 그는 “하지만 데이터센터 외에도 공장 자동화, 모바일, 자율주행차 등 엣지 쪽에는 굉장히 많은 애플리케이션이 있다”라며 “특화된 시장을 겨냥해 AI 응용 칩을 만들면 반드시 기회가 있을 것으로 본다”고 전망했다.

2024.04.02 10:46이나리

HPE, 생성형 AI용 슈퍼컴퓨팅 포트폴리오 출시

HPE는 지난 18일 엔비디아 연례 컨퍼런스 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 업계 가장 통합적인 AI 네이티브 포트폴리오를 새롭게 업데이트 했다고 26일 발표했다. HPE와 엔비디아는 공동 엔지니어링한 풀스택 생성형 AI 솔루션을 선보였다. HPE 머신러닝 추론 소프트웨어 프리뷰 버전과 엔터프라이즈급 검생증강생성(RAG) 레퍼런스 아키텍처 등도 소개됐다. HPE와 엔비디아는 블랙웰 플랫폼 기반 제품 개발을 지원한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션이 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 제공된다. 해당 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 설치까지 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2-3배 더욱 신속히 진행할 수 있다. 디스커버 바스셀로나 2023 행사에서 선보였듯 HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 이제 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는HPE 그린레이크를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링해 사전 구성된 미세 조정 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 해당 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU로 사전 구성됐다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. 솔루션 도입 시AI 기술 격차를 해소하기 위해서 HPE 서비스 전문가들이 적합한 모델 조정 기술 등을 포함해 솔루션의 설계, 배포부터 관리까지 지원한다. HPE와 엔비디아는 기업들이 AI 및 ML 개념검증 단계에서 실제 애플리케이션 생산으로 넘어갈 수 있는 소프트웨어 솔루션을 제공하기 위해 협업하고 있다. HPE 고객들은 HPE 머신 러닝 추론 소프트웨어 솔루션을 프리뷰 버전으로 이용할 수 있으며 해당 소프트웨어를 이용해 기업들은 빠르고 안전하게 ML 모델을 대규모로 배포할 수 있다. 프라이빗 데이터를 이용하여 생성형 AI 애플리케이션을 빠르게 구축 및 배포해야 하는 기업들을 위해서 HPE는 엔비디아 네모 리트리머 마이크로 서비스 아키텍처에 기반한 엔터프라이즈 RAG용 레퍼런스 아키텍처를 개발했다. 해당 레퍼런스 아키텍처는 HPE 에즈메랄 데이터 패브릭 소프트웨어와 파일스토리지용 HPE 그린레이크로부터 추출한 종합적인 데이터 파운데이션을 기반으로 한다. 이외에도 데이터 준비, AI 훈련 및 추론 등을 지원하기 위해 해당 솔루션은 HPE 에즈메랄 유니파이드 애널리틱스 소프트웨어와 HPE의 AI 소프트웨어에서 모든 오픈소스 툴과 솔루션을 병합하여 사용할 수 있도록 했다. HPE 머신 러닝 데이터 매니지먼트 소프트웨어, HPE 머신 러닝 개발환경 소프트웨어, 신규 HPE 머신러닝 추론 소프트웨어 등도 이에 해당된다. HPE 소프트웨어는 HPE 슈퍼컴퓨팅과 생성형 AI 용 엔터프라이즈 컴퓨팅 솔루션 모두에서 이용가능해 고객은 생성형 AI 워크로드를 일정한 환경에서 관리할 수 있다. HPE는 향후 새롭게 발표된 엔비디아 블랙웰 플랫폼을 기반으로 제품을 개발할 계획이며 이러한 제품은 2세대 트랜스포머 엔진을 통합해 생성형 AI 워크로드를 가속한다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩, HGX 200, HGXB100 등이 장착된 HPE 제품에 관한 더욱 자세한 정보는 추후 공개될 예정이다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다”며 “AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것에서부터 엣지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”고 설명했다. 그는 “HPE와 엔비디아는 오랫동안 혁신을 위해 협력해왔다. 양사는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 강조했다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다”며 “엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 밝혔다.

2024.03.26 16:44김우용

슈퍼마이크로, 풀스택 생성형 AI 슈퍼클러스터 3종 출시

슈퍼마이크로컴퓨터(이하 슈퍼마이크로)는 생성형 AI의 도입을 가속화하기 위한 슈퍼클러스터 포트폴리오를 22일 발표했다. 최신 솔루션은 현재는 물론 미래의 거대언어모델(LLM) 인프라에도 적합한 핵심 빌딩 블록을 제공한다. 슈퍼마이크로 슈퍼클러스터 솔루션 3종은 현재 생성형 AI 워크로드에 사용 가능하다. 4U 수냉식 냉각 시스템 또는 8U 공냉식 냉각 시스템은 강력한 LLM 학습 성능은 물론 대규모 배치와 대용량 LLM 추론용으로 특별히 제작 및 설계됐다. 1U 공냉식 슈퍼마이크로 엔비디아 MGXTM 시스템을 갖춘 슈퍼클러스터는 클라우드 규모 추론에 최적화됐다. 슈퍼마이크로 4U 엔비디아 HGX H100/H200 8-GPU 시스템은 수냉식 냉각을 사용해 8U 공랭식 시스템의 밀도를 두 배로 높이고 에너지 소비량과 데이터센터 TCO를 낮춘다. 차세대 엔비디아 블랙웰 아키텍처 기반의 GPU를 지원하도록 설계됐다. 슈퍼마이크로 냉각 분배 장치(CDU)와 매니폴드(CDM)는 냉각된 액체를 슈퍼마이크로의 맞춤형 D2C 콜드 플레이트에 분배하기 위한 핵심 부품으로, GPU와 CPU를 최적의 온도로 유지하고, 성능을 극대화한다. 이러한 냉각 방식은 데이터센터의 총 전기 비용을 최대 40% 절감하고 물리적 공간도 절약할 수 있다. 엔비디아 HGX H100/H200 8-GPU를 탑재한 시스템은 생성형 Al 학습에 이상적이다. 엔비디아 NV링크 로 상호 연결된 고속 GPU와 더불어 넓은 GPU 메모리 대역폭 및 용량은 LLM 모델의 비용 효율적인 구동에 핵심적인 역할을 한다. 슈퍼마이크로의 슈퍼클러스터는 하나의 AI 슈퍼컴퓨터처럼 작동하는 대규모 GPU 리소스 풀을 생성한다. 조 단위의 토큰으로 구성된 데이터 세트로 학습된 대규모 기초 모델을 처음부터 구축하거나 클라우드 규모의 LLM 추론 인프라를 구축할 때, 비차단 400Gbps 패브릭을 갖춘 스파인 및 리프 네트워크 토폴로지를 사용한다면 32개 노드에서 수천 개의 노드까지 원활하게 확장할 수 있다. 슈퍼마이크로는 수냉식 냉각을 활용하는 테스트를 통해 배포 전에 운영 효율성과 효과를 철저하게 검증한다. 슈퍼마이크로의 엔비디아 MGX 시스템 설계는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 통해 생성형 AI의 주요 병목 현상을 해결하는 미래형 AI 클러스터에 대한 청사진을 제시할 것이다. 이때 병목 현상은 운영비용을 절감하기 위해 고성능 추론 배치 규모로 LLM을 실행하는 GPU 메모리 대역폭과 용량을 의미한다. 256노드 클러스터는 쉽게 구축 및 확장이 가능한 클라우드 규모의 대규모 추론 성능을 지원한다. 랙 5개에 4U 수냉식 냉각 시스템 또는 랙 9개에 8U 공랭식 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 엔비디아 H100/H200 텐서 코어 GPU 256개를 탑재한다. 수냉식 냉각의 경우 공냉식 256 GPU 및 32노드 솔루션과 동일한 설치 면적에서 512 GPU, 64노드를 지원한다. 확장 가능한 유닛 하나에 엔비디아 H100을 포함한 20TB HBM3 또는 엔비디아 H200을 포함한 36TB HBM3e을 탑재한다. 1대1 네트워킹으로 각 GPU에 최대 400Gbps를 제공하며, 최대 조 단위의 매개변수로 LLM을 학습시키기 위한 GPU 다이렉트 RDMA 및 스토리지를 활성화한다. 엔비디아 퀀텀-2 인피니밴드, 엔비디아 스펙트럽-X 이더넷 플랫폼 등 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭으로 연결된다. 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭을 구성한다 .엔비디아 AI 엔터프라이즈 5.0 소프트웨어로 대규모 AI 모델 구축을 가속화하는 새로운 엔비디아 NIM 추론 마이크로서비스를 지원한다. 랙 9개에 1U 공냉식식 냉각 엔비디아 MGX 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 256개의 GH200 그레이스 호퍼 슈퍼칩을 장착하며, 최대 144GB의 HBM3e + 480GB의 LPDDR5X 통합 메모리로, 하나의 노드에 70B+ 매개변수 모델을 수용할 수 있다. 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭을 지원하며, 노드당 최대 8개의 내장 E1.S NVMe 스토리지 장치를 제공한다. 엔비디아 블루필드-3 DPU와 맞춤형 AI 데이터 파이프라인 스토리지 패브릭으로 각 GPU에 많은 처리량과 짧은 지연 시간의 스토리지 액세스를 제공한다. 엔비디아 AI 엔터프라이즈 5.0 소프트웨어를 제공한다. 슈퍼마이크로의 슈퍼클러스터 솔루션은 GPU-GPU 연결을 위해 달성할 수 있는 네트워크 성능을 갖췄으며, LLM 훈련, 딥 러닝, 그리고 대용량 및 대규모 배치 추론에 최적화됐다. 현장 배포 서비스와 결합된 슈퍼마이크로의 L11 및 L12 검증 테스트는 고객에게 매끄러운 사용 경험을 제공한다. 고객은 플러그 앤 플레이 확장형 유닛을 통해 데이터센터에 쉽게 구축하고 더 빠르게 결과를 얻을 수 있다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 "AI 시대에 컴퓨팅 단위는 단순히 서버 수가 아닌 클러스터로 측정된다”며 “슈퍼마이크로는 글로벌 제조량을 월 5,000개의 랙으로 확장해 그 어느 때보다 빠르게 완전한 생성형 AI 클러스터를 제공할 수 있다"고 설명했다. 그는 "확장 가능한 클러스터 빌딩 블록에 64노드 클러스터는 400Gb/s 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹을 갖춰 72TB의 HBM3e및 512개의 엔비디아 HGX H200 GPU를 지원한다”고 밝혔다 이어 “슈퍼마이크로의 슈퍼클러스터 솔루션은 엔비디아 AI 엔터프라이즈 소프트웨어와 결합됐다”며 “그 결과 오늘날 최대 조 단위의 매개변수로 LLM을 학습하는 기업 및 클라우드 인프라에 이상적”이라고 덧붙였다. 카우츠브 상하니 엔비디아 GPU 제품 부문 부사장은 "엔비디아의 최신 GPU, CPU, 네트워킹 및 소프트웨어 기술은 시스템 제조사가 글로벌 시장을 위한 다양한 차세대 AI 워크로드를 가속화할 수 있도록 지원한다"며 “슈퍼마이크로는 블랙웰 아키텍처 기반 제품에 엔비디아 가속 컴퓨팅 플랫폼을 활용해 데이터센터에 쉽게 구축 가능한 최첨단 서버 시스템을 제공하고 있다"고 밝혔다.

2024.03.22 18:06김우용

데이터브릭스-엔비디아, 기술 통합 강화

데이터브릭스는 엔비디아와 협력을 확대하고 기술 통합을 강화한다고 21일 밝혔다. 엔비디아 GTC 2024 컨퍼런스에서 양사는 데이터브릭스의 데이터 인텔리전스 플랫폼의 데이터 및 AI 워크로드 최적화에 박차를 가할 계획이라고 강조했다. 이 협력은 최근 엔비디아가 데이터브릭스 시리즈I 투자에 참여한 것의 연장선이다. 데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다. 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다. 데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU를 사용한다. 이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다. 한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다. 데이터브릭스 모자이크 AI 모델 서빙의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다. 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공하고, 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다. 데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함되어 있다. 사용자는 이러한 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다. 데이터브릭스와 엔비디아는 데이터 인텔리전스 플랫폼의 모멘텀을 강화해 보다 다양한 조직이 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “이번 파트너십 확장으로 엔비디아의 가속 컴퓨팅 및 소프트웨어를 통해 데이터브릭스의 워크로드를 가속화하고 고객에 보다 많은 가치를 제공할 수 있게 돼 기쁘다"며 “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다"고 밝혔다. 그는 "쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산"이라며 “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다"고 강조했다.

2024.03.21 09:35김우용

오라클, 엔비디아와 '소버린 AI' 제공 협력 발표

오라클은 엔비디아와 협력 관계를 확장해, 전 세계 고객들을 대상으로 소버린 AI 솔루션을 제공하기 위한 계획을 20일 발표했다. 이 협력을 통해 오라클의 분산형 클라우드와 AI 인프라스트럭처, 생성형 AI 서비스는 엔비디아의 가속 컴퓨팅 및 생성형 AI 소프트웨어와 결합해 각국 정부 및 기업의 AI 팩토리 배포를 지원한다. 양사의 AI 팩토리는 광범위한 운영 통제 기능을 통해 클라우드 서비스를 국가 또는 기업 조직의 안전한 자체 지역 내 로컬 환경에서 운영하고, 이를 통해 경제 성장을 촉진하고 다각화하기 위한 주권 목표를 지원한다. OCI 전용 리전과 오라클 알로이, 오라클 EU 소버린 클라우드, 오라클 정부 클라우드 등에 배포 가능한 오라클의 기업용 AI 서비스는 엔비디아의 풀스택 AI 플랫폼과 결합돼 데이터의 운영과 위치 및 보안에 대한 제어력을 강화하여 고객의 디지털 주권을 지원하는 최첨단 AI 솔루션을 제공한다. 현재 세계 각국은 자국의 문화적, 경제적 목표를 달성하기 위해 AI 인프라 투자를 늘려 나가고 있다. 기업 고객들은 26개국에 위치한 66개의 오라클 클라우드 리전을 통해 인프라 및 애플리케이션 전반에 걸쳐 100여 개 클라우드 및 AI 서비스에 접근할 수 있고, 이를 통해 IT 마이그레이션, 현대화 및 혁신을 추진할 수 있다. 양사의 통합 오퍼링은 유연한 운영 통제 기능을 바탕으로 퍼블릭 클라우드를 통하거나 특정한 위치의 고객사 데이터센터에 직접 배포 가능하다. 오라클은 고객이 원하는 모든 장소에서 로컬 방식으로 AI 서비스 및 자사의 완전한 클라우드 서비스를 제공할 수 있는 유일한 하이퍼스케일러다. OCI는 배포 유형과 관계없이 동일한 서비스 및 가격 정책을 일관되게 제공하여 클라우드 서비스 이용을 보다 간단하게 계획하고 이전 및 관리할 수 있도록 한다. 오라클의 클라우드 서비스는 엔비디아 가속 컴퓨팅 인프라와 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼 등 다양한 엔비디아 스택을 활용하고 있다. 엔비디아 텐서RT, 엔비디아 텐서RT-LLM, 엔비디아 트리톤 추론 서버 등 엔비디아 추론 소프트웨어를 기반으로 구축되어 최근 발표된 엔비디아 NIM 추론 마이크로서비스도 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼에 포함된다. 스위스 뱅킹 소프트웨어 제공업체인 아발록은 자체 데이터센터에서 완전한 OCI 퍼블릭 클라우드 리전을 운용하기 위해 OCI 전용 리전을 도입했다. 아발록의 마틴 부치 최고 기술 책임자는 "OCI 전용 리전은 최신 클라우드 인프라에 대한 액세스를 제공하면서도 데이터 보존을 최대한 제어하려는 아발록의 노력과 부합한다"며 "이는 우리가 은행과 자산 관리사의 디지털 혁신을 지속적으로 추진하는 데 큰 도움이 된다”고 설명했다. 뉴질랜드의 선도적인 정보 관리 서비스 제공업체인 팀 아이엠은 뉴질랜드 최초로 현지 기업이 소유 및 운영하는 하이퍼스케일 클라우드인 팀 클라우드를 구축하기 위해 오라클 알로이를 도입했다. 팀 아이엠의 이언 로저스 CEO는 "클라우드의 성능은 십분 활용하면서도 뉴질랜드 국경 내에서 데이터 무결성을 유지할 수 있는 독자적인 하이퍼스케일 클라우드 솔루션에 대한 뉴질랜드 기업들의 수요가 갈수록 증가하고 있다"며 "팀 아이엠은 오라클 알로이와 더불어, 엔비디아 AI 플랫폼을 자사 클라우드 서비스에 통합할 수 있는 가능성을 통해 공공 분야 및 민간 기업, 뉴질랜드 원주민 단체들이 디지털 환경의 복잡성을 해소하고 디지털 혁신 과정을 최적화하는 과정에 기여할 수 있는 클라우드 서비스 제공업체로 자리 매김했다"고 밝혔다. 오라클은 엔비디아 GTC에서 발표된 최신 엔비디아 그레이스 블랙웰 컴퓨팅 플랫폼을 자사의 OCI 슈퍼클러스터 및 OCI 컴퓨트 서비스 전반에 도입함으로써 지속적으로 증가하는 고객의 AI 모델에 대한 요구사항에 대응해 나갈 계획이다. OCI 슈퍼클러스터는 새로운 OCI 컴퓨트 베어 메탈 인스턴스와 초저지연 RDMA 네트워킹, 고성능 스토리지를 통해 훨씬 더 빠른 속도를 제공할 전망이다. OCI 컴퓨트에는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩과 엔비디아 블랙웰 B200 텐서 코어 GPU가 모두 탑재된다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩은 컴퓨팅의 새로운 시대를 선도할 획기적 성능을 제공한다. 전 세대 GPU 대비 최대 30배 빠른 실시간 대규모 언어 모델(LLM) 추론, 25배 낮은 TCO, 25배 적은 에너지 소모량 등을 자랑하는 GB200은 AI 학습, 데이터 처리, 엔지니어링 설계 및 시뮬레이션 등의 작업 성능을 대폭 강화해 준다. 엔비디아 블랙웰 B200 텐서 코어 GPU는 가장 높은 성능이 요구되는 AI, 데이터 분석, 고성능 컴퓨팅(HPC) 워크로드를 처리하기 위해 설계됐다. 또한 검색 증강 생성(RAG) 추론 배포를 위한 엔비디아 네모 리트리버를 비롯한 엔비디아 NIM 및 쿠다-X 마이크로서비스는 OCI 고객이 자체 데이터를 사용해 생성형 AI 코파일럿 및 기타 생산성 도구에 더 많은 인사이트를 제공하는 동시에, 해당 도구들의 정확성을 향상시키는 작업에도 도움이 될 것으로 보인다. 점점 더 복잡해지는 AI 모델에 대한 고객의 수요 증가에 부응하기 위해 오라클과 엔비디아는 OCI 상에서 구동되는 엔비디아 DGX 클라우드 서비스에 엔비디아 그레이스 블랙웰 슈퍼칩을 추가할 예정이다. 고객들은 LLM의 매개변수가 조 단위에 달하게 된 현 시점에 보다 에너지 효율적인 학습 및 추론을 지원하기 위해 양사가 함께 설계한 슈퍼컴퓨팅 서비스인 엔비디아 DGX 클라우드를 통해 새로운 GB200 NVL72 기반 인스턴스에 액세스 할 수 있다. DGX 클라우드 클러스터의 전체 구성에는 2만개 이상의 GB200 가속기와 엔비디아 CX8 인피니밴드 네트워킹이 포함돼 더욱 탁월한 확장성 및 성능을 갖춘 클라우드 인프라를 제공할 예정이다. 해당 클러스터는 5세대 NV링크가 탑재된 72개의 블랙웰 GPU NVL 72와 36개 그레이스 CPU로 구성된다. 사프라 카츠 오라클 CEO는 "AI가 전 세계의 비즈니스, 산업 및 정책을 재편함에 따라, 국가와 기업 조직은 가장 중요한 데이터를 안전하게 보호하기 위해 디지털 주권을 강화해야 한다"며 "오라클은 엔비디아와의 지속적인 협력 관계와 클라우드 리전을 로컬 차원에서 신속히 배포할 수 있는 독보적인 역량을 통해 전 세계에서 보안에 대한 타협과 우려 없이 AI를 활용할 수 있도록 보장할 것"이라고 밝혔다. 젠슨 황 엔비디아 설립자 겸 CEO는 "생성형 AI가 혁신을 주도하는 시대에 데이터 주권은 문화적, 경제적 필수 요소"라며 "엔비디아의 가속 컴퓨팅 및 생성형 AI 서비스와 결합된 오라클의 통합 클라우드 애플리케이션 및 인프라 서비스는 각 국가 및 지역이 데이터 주권을 바탕으로 스스로 미래를 직접 설계할 수 있는 유연성과 보안을 제공한다."라고 강조했다. 오라클과 엔비디아가 공동 제공하는 소버린 AI 솔루션은 발표와 함께 바로 사용 가능하다.

2024.03.20 10:45김우용

레노버, 엔비디아와 하이브리드 AI 솔루션 공개

레노버는 18일(현지시간) 개최된 엔비디아 GTC에 참가하고 신규 하이브리드 AI 솔루션을 발표했다. 지난 레노버 테크 월드에서 발표한 엔비디아와 파트너십을 기반으로 양사는 기업들로 하여금 AI 시대에 필수적인 컴퓨팅 기술을 갖추고 새로운 AI 활용 사례를 효율적으로 개발 및 구현할 수 있도록 지원할 예정이다. 양사의 엔지니어링 협력을 통해 이번 하이브리드 AI 솔루션은 포켓에서 클라우드에 이르는 고객 데이터에 AI를 효과적으로 활용할 수 있도록 만들어졌다. 이로써 레노버는 '모두를 위한 AI' 비전에 한 걸음 더 가까워졌을 뿐 아니라, 생성형 AI를 위한 획기적인 아키텍처의 시장 출시를 지원하게 됐다. 이제 개발자들은 엔비디아 AI 엔터프라이즈 소프트웨어 실행에 최적화된 레노버 하이브리드 AI 솔루션을 통해 엔비디아 NIM 및 네모 리트리버와 같은 마이크로 서비스에 액세스할 수 있게 된다. 전 세계 산업들이 방대한 데이터를 분석하기 위해 AI를 사용하기 시작하면서, 컴퓨팅 집약적인 워크로드를 처리하기 위한 전력효율성도 강조되고 있다. 레노버는 효율적인 고성능 컴퓨팅(HPC)을 구현하는데 앞장서 왔으며, 엔비디아 GPU 디자인이 적용된 HPC는 그린500 리스트 1위를 차지했다. 레노버 넵튠 다이렉트 수냉식 기술을 적용한 해당 디자인은 고열 및 다중 GPU 환경에서도 낮은 온도를 유지하여 컴퓨팅 성능을 가속화한다. 레노버는 확장된 레노버 씽크시스템 AI 포트폴리오를 새롭게 공개하며, 대규모 AI 워크로드를 효율적으로 처리해 내는 데 있어 획기적인 이정표를 세웠다. 해당 포트폴리오는 두 개의 엔비디아 8방향 GPU 시스템을 탑재하고 있으며, AI 구현을 가속하기 위한 전력 효율성 및 거대 컴퓨팅 능력을 갖추고 있다. 생성형 AI, 자연어 처리(NLP) 및 대규모 언어 모델(LLM) 개발을 위해 설계됐으며, 엔비디아 HGX AI 슈퍼컴퓨팅 플랫폼에는 엔비디아 H100, H200 텐서 코어 GPU, 신규 엔비디아 그레이스 블랙웰 GB200 슈퍼칩, 엔비디아 퀀텀-X800 인피니밴드 및 스펙트럼-X800 이더넷 네트워킹 플랫폼이 포함되어 있다. 레노버 씽크시스템 AI 서버는 엔비디아 B200 텐서 코어 GPU를 탑재해 생성형 AI의 새로운 막을 열었다. 엔비디아 블랙웰 아키텍처는 생성형 AI 엔진, 엔비디아 NV링크 인터커넥트 및 향상된 보안 기능을 갖추고 있는 점이 특징이다. 또한, B200 GPU는 최대 25배 더 빠른 실시간 추론 성능으로 1조 매개변수를 갖춘 언어 모델을 지원한다. 이는 AI, 데이터 분석 및 HPC 워크로드에 최적 설계됐다. 신규 레노버 씽크시스템 SR780a V3 서버는 1.1대의 전력효율지수(PUE)를 갖춘 5U 시스템으로, 설치 공간을 절약할 수 있는 점이 특징이다. 한편, CPU와 GPU에는 레노버 넵튠 다이렉트 수냉식 기술과 엔비디아 NV스위치 기술을 사용해 발열 문제없이 최대 성능을 유지할 수 있다. 10년간 사용된 레노버 넵튠 다이렉트 수냉식 기술은 온수 루프를 재활용하여 데이터 센터 시스템을 냉각하고, 기존 공랭 방식에 비해 최대 40%의 전력 소비 절감 및 3.5배의 열효율을 향상시킨다. 레노버 씽크시스템 SR680a V3 서버는 듀얼 소켓 공랭 시스템으로, 엔비디아 GPU와 인텔 프로세서를 탑재하여 AI를 최대 활용할 수 있도록 설계됐다. 해당 시스템은 방대한 계산 능력을 제공하며, 업계 표준 19인치 서버 랙 타입으로써 과도한 공간을 차지하거나 선반을 필요로 하지 않는 고밀도 하드웨어로 구성됐다. 레노버 PG8A0N 서버는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩을 탑재한 AI용 1U 서버이자 가속기용 개방형 수냉식 기술을 갖췄다. GB200은 45배 더 빠른 실시간 LLM 추론 성능과 더불어 40배 더 낮은 총소유비용(TCO), 40배 더 적은 에너지로 구동된다. 레노버는 엔비디아와의 긴밀한 협업을 통해 AI 트레이닝, 데이터 처리, 엔지니어링 설계 및 시뮬레이션을 위한 GB200 랙 시스템을 제공할 예정이다. 고객들은 레노버가 지닌 엔비디아 인증 시스템 포트폴리오를 통해 '엔비디아 AI 엔터프라이즈'를 사용할 수 있게 된다. 이는 프로덕션급 AI 애플리케이션 개발 및 배포를 위한 엔드 투 엔드 클라우드 네이티브 소프트웨어 플랫폼이다. 또한, 엔비디아 AI 엔터프라이즈에 포함된 엔비디아 NIM 추론 마이크로 서비스를 레노버 엔터프라이즈 인프라에서 실행함으로써, 고성능 AI 모델 추론을 할 수 있다. 레노버 씽크시스템 AI 서버 포트폴리오에는 중앙 집중화된 리소스 관리 시스템을 제공하는 '레노버 엑스클라리티 관리 시스템'과 AI 모델 개발 및 훈련, HPC 워크로드를 위한 클러스터된 컴퓨팅 리소스 사용을 간소화하는 통합 플랫폼 '레노버 리코(LiCO)'가 포함되어 있다. 또한, 4세대 및 5세대 인텔 제온 스케일러블 프로세서를 지원하며, 고전력 GPU를 위한 써멀 헤드룸을 갖췄다. 레노버는 워크스테이션에서 클라우드에 이르기까지 엔비디아 OVX와 엔비디아 옴니버스 설계, 엔지니어링 및 구동을 지원하고 있다. 기업들이 맞춤형 AI, HPC 및 옴니버스 애플리케이션을 신속하게 구축할 수 있도록 레노버는 엔비디아 MGX 모듈형 레퍼런스 디자인을 통해 신속하게 모델을 구축하고 있다. 이로써 맞춤형 모델을 제공받은 CSP 업체들은 가속화된 컴퓨팅을 통해 AI 및 옴니버스 워크로드를 대규모 처리할 수 있게 된다. 엔비디아 H200 GPU를 기반으로 한 해당 시스템은 테라바이트급의 데이터를 처리하는 AI 및 고성능 컴퓨팅 애플리케이션을 통해 과학자와 연구자들이 직면한 문제를 해결할 수 있도록 돕는다. 레노버는 엔비디아와 협력을 통해 대규모 AI 트레이닝, 미세 조정, 추론 및 그래픽 집약적 워크로드 처리를 위한 최대 4개의 RTX 6000 에이다 제너레이션 GPU를 제공해 데이터 사이언스 워크스테이션을 강화했다. 이는 자동화된 워크플로를 통해 AI 개발자의 생산성을 향상시킨다. 엔비디아 AI 워크벤치)를 갖춘 신규 레노버 워크스테이션은 소프트웨어 툴로써 추론, 대규모 시뮬레이션, 까다로운 워크플로를 위한 강력한 AI 솔루션을 개발 및 배포할 수 있도록 돕는다. 엔비디아 AI 워크벤치는 모든 개발자로 하여금 생성형 AI 및 머신 러닝 개발을 지원한다. 이제 레노버 씽크스테이션과 씽크패드 워크스테이션에서 이용 가능한 신규 엔비디아 A800 GPU는 AI용으로 특별히 설계돼, 모든 종류의 AI 워크플로를 활용하는 조직들을 위해 안전하고 프라이빗한 데이터 사이언스 및 생성형 AI 지원 환경을 제공한다. 커크 스카우젠 레노버 인프라스트럭처 솔루션 그룹(ISG) 사장은 “레노버와 엔비디아는 전 세계 비즈니스를 위한 증강 지능의 경계를 허물고 있다”며 “생성형 AI를 지원하는 최첨단 하이브리드 AI 솔루션 포트폴리오를 통해 데이터가 있는 어느 곳이든 AI 컴퓨팅을 활용할 수 있게 됐다”고 밝혔다. 그는 “우리는 실시간 컴퓨팅, 전력 효율성, 배포 용이성 개선을 기반으로 새로운 AI 활용 사례가 시장에 나올 수 있는 변곡점에 놓여있다”며 “레노버는 엔비디아와 파트너십을 통해 효율성, 성능, 비용 측면에서 획기적인 발전을 이루어 모든 산업 군에서 AI 애플리케이션 활용을 가속화할 것”이라고 강조했다. 밥 피트 엔비디아 엔터프라이즈 플랫폼 부문 부사장은 “AI는 기업들이 데이터를 통해 새로운 인사이트를 얻고 생산성을 향상시킬 수 있는 강력한 힘”이라며 “엔비디아 기술과 통합된 레노버의 새로운 엔터프라이즈 AI 솔루션은 AI를 위한 컴퓨팅 성능을 강화하는 데 있어 중추적인 이정표일 뿐만 아니라, 기업들이 생성형 AI를 활용할 수 있도록 신뢰도 있는 하이브리드 시스템을 제공한다”고 밝혔다.

2024.03.19 13:54김우용

델테크놀로지스, 엔비디아 기반 'AI 팩토리 솔루션' 공개

델테크놀로지스는 엔비디아와 전략적 협력을 강화하고 '델 AI 팩토리 위드 엔비디아' 솔루션을 출시한다고 19일 밝혔다. '델 AI 팩토리 위드 엔비디아'는 델의 생성형 AI 솔루션 포트폴리오 중 하나로, 기업과 기관들이 자체 보유한 데이터와 AI 툴, 그리고 온프레미스 인프라를 보다 안전하고 빠르게 통합하여 생성형 AI 투자 효과를 극대화하도록 돕는 것을 골자로 한다. 델과 엔비디아는 긴밀한 협력을 통해 델의 엔드투엔드 생성형 AI 솔루션 포트폴리오를 강화하고, 고객들이 비즈니스 혁신을 가속화하는 한편 생산성을 높일 수 있도록 지원에 나선다. '델 AI 팩토리 위드 엔비디아'는 델의 서버, 스토리지, 클라이언트 디바이스, 소프트웨어 및 서비스와 엔비디아의 AI 인프라 및 소프트웨어 팩키지를 결합한 통합형 솔루션이다. 고속 네트워크 패브릭을 기반으로 구성된다. 엄격한 테스트와 검증을 거친 랙 단위 설계가 가능하며, 이를 통해 데이터로부터 가치 있는 통찰력과 성과를 이끌어낼 수 있도록 돕는다. 이 솔루션은 또한 엔터프라이즈 데이터 보안 분야의 기존 오퍼링들을 비롯해 보안 및 개인 정보 보호를 위한 델의 서비스 오퍼링과 함께 활용할 수 있다. '델 AI 팩토리 위드 엔비디아'는 모델 생성 및 튜닝에서부터 증강, 그리고 추론에 이르는 생성형 AI의 전체 수명주기에 걸쳐 다양한 AI 활용 사례와 애플리케이션을 지원한다. 델이 제공하는 프로페셔널 서비스를 활용해 조직에서는 전략을 세우고, 데이터를 준비하여 구현하고 적용하기 까지의 과정을 가속할 수 있으며, 조직 전반의 AI 역량을 향상시킬 수 있다. 이 솔루션은 기존의 채널 파트너를 통해 구매하거나, '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 델테크놀로지스는 엔비디아와 협력해 '엔비디아 그레이스 블랙웰 슈퍼칩'을 기반으로 하는 랙 스케일 고밀도 수랭식 아키텍처를 채용할 예정이다. 이 시스템은 엔터프라이즈 AI 워크로드의 성능 집적도 향상을 위한 기반으로서 차세대 생태계를 지원하게 된다. 델 파워엣지 XE9680 서버는 '엔비디아 B200 텐서 코어 GPU'를 포함한 신규 엔비디아 GPU 모델을 지원할 예정이며, 이를 통해 최대 15배 높은 AI 추론 성능과 TCO 절감을 기대할 수 있다. 델 파워엣지 서버는 엔비디아 블랙웰 아키텍처 기반의 다른 여러 GPU와 H200 텐서 코어 GPU, 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹 플랫폼도 지원할 예정이다. '검색 증강 생성을 위한 델과 엔비디아의 생성형 AI 솔루션'은 '엔비디아 AI 엔터프라이즈'의 새로운 마이크로서비스를 활용해 사전 검증된 풀스택 솔루션을 제공함으로써 RAG(검색 증강 생성) 기술 도입을 가속한다. 자체 보유한 고유 데이터 및 지식 베이스와 같이 사실에 근거한 새로운 데이터 세트를 통해 생성형 AI 모델 품질을 개선하고 결과 정확도를 높일 수 있다. '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 자체적으로 도메인 맞춤형 AI 모델을 구축하려는 기업 및 기관들을 위해 사전 검증된 풀스택 솔루션을 제공한다. 이와 함께 '생성형 AI를 위한 델 프로페셔널 서비스'는 포트폴리오 전반에 대한 통합, 관리, 보호를 지원하여 비즈니스 성과를 더 빠르게 달성할 수 있게끔 돕는다. 델 구현 서비스는 델의 신규 RAG 솔루션 및 모델 훈련을 비롯해 보안 위험을 평가하고 영향을 최소화하도록 돕는 '생성형 AI 데이터 보호를 위한 자문 서비스' 등을 포함한다. 젠슨 황 엔비디아 설립자 겸 CEO는 "AI 팩토리는 향후 산업군 별로 인텔리전스를 창출하는 핵심 역할을 할 것"이라며 "엔비디아와 델은 함께 기업이 AI 팩토리를 통해 기업들이 자체 보유한 고유의 데이터를 강력한 인사이트로 전환할 수 있도록 지원하고 있다”고 밝혔다. 김경진 한국델테크놀로지스 총괄 사장은 “엔터프라이즈 고객들은 복잡한 AI 요구에 대응하고 이를 빠르게 해결할 수 있는 솔루션을 갈망하고 있다”며 “양사의 노력으로 탄생한 턴키 솔루션은 데이터와 사용 사례를 원활하게 통합하고, 맞춤형 생성 AI 모델 개발을 간소화한다”고 덧붙였다. '델 AI 팩토리 위드 엔비디아'는 기존 채널 파트너를 통하거나, 또는 '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 엔비디아 H200 텐서 코어 GPU를 탑재한 델 파워엣지 XE9680 서버는 델 회계연도 2분기(5월~7월)에 출시되며, 엔비디아 B200 및 B100 GPU를 탑재한 XE9680 서버는 4분기(11월~내년 1월) 내에 출시될 예정이다. 'RAG를 위한 델과 엔비디아의 생성형 AI 솔루션'은 현재 기존 채널 파트너와 델 에이펙스를 통해 전 세계에서 구입할 수 있으며, '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 4월에 출시될 예정이다. 'RAG를 위한 델 구현 서비스'는 5월 31일부터 한국을 비롯한 일부 지역에서 제공되며, '모델 훈련을 위한 델 인프라스트럭처 구축 서비스'와 '델 생성형 AI 데이터 보안을 위한 자문 서비스'는 3월 29일부터 한국을 비롯한 일부 국가에서 출시될 예정이다.

2024.03.19 13:47김우용

래블업, 엔비디아 GTC 2024에 실버스폰서로 참가

래블업은 오는 18일부터 21일까지 미국 새너제이 컨벤션센터에서 열리는 엔비디아의 'GTC 2024' 컨퍼런스에 실버 스폰서로 참가한다고 14일 밝혔다. 엔비디아의 GTC 행사는 5년 만에 대면 행사로 개최된다. 30만 명 이상의 참가자가 온·오프라인으로 참여할 것으로 기대되는 GPU 분야에서 가장 큰 기술 행사다. 래블업은 이번 컨퍼런스에서 AI 기술의 최전선에 서 있는 두 가지 주제에 대해 발표할 예정이다. 첫 번째 발표 'From Idea To Crowd: Manipulating Local LLMs At Scale'을 래블업 신정규 대표와 김준기 CTO가 진행하며, 이 세션에서 양자화, QLoRA 등의 리소스 절약 및 모델 압축 기술과 vLLM, TensorRT-LLM 결합을 통해 백엔드닷AI가 어떻게 대규모 로컬 LLM을 효율적으로 조작하는지 소개한다. 이는 AI 모델의 성능을 최적화하고, 리소스 사용을 최소화하는 혁신적인 접근 방식을 제공할 예정이다. 김준기 CTO는 두 번째 발표인 'Personalized Generative AI: Operation and Fine-Tuning in Household Form Factors'를 20일에 진행한다. 이 세션에서 클라우드 및 개인 PC의 GPU를 이용하여 사용자 맞춤형 생성형 AI를 개발하고 서비스할 수 있는 방법을 시연한다. AI 기술을 일상 생활에 더욱 밀접하게 통합하는 개인화된 AI의 새로운 가능성을 제시할 예정이다. 래블업은 전시부스에서 APAC 지역 유일의 엔비디아 DGX레디 소프트웨어인 백엔드닷AI 엔터프라이즈를 시연한다. 백엔드닷AI는 엔비디아 DGX 시스템 및 기타 GPU 가속 컴퓨팅 리소스의 성능을 극대화하며, 사용자 환경을 변경하지 않고도 GPU 사용성을 높여주는 AI 인프라 운영 플랫폼이다. 부스에서 생성 AI 개발을 간소화하고 자동화하는 ML옵스 소프트웨어 플랫폼인 '패스트트랙'으로 파운데이션 모델을 다양한 산업 분야에 특화하거나 나만의 챗봇으로 자동 미세 조정하는 실시간 시연도 제공된다. 래블업 측은 “MWC에 이어 이번 GTC에서 엔비디아 및 델, AMAX, 웨카 같은 글로벌 파트너사와 협력을 강화하며 함께 본격적인 글로벌 진출을 꾀할 예정”이라고 밝혔다.

2024.03.14 10:50김우용

30만 AI 개발자 모인다...엔비디아 'GTC 2024' 임박

엔비디아는 지난 4일 '엔비디아(NVIDIA) GTC 2024'를 앞두고 APAC(아시아·태평양) 지역 온라인 사전 인터뷰를 진행했다고 8일 밝혔다. 인터뷰에는 그레그 에스테스 엔비디아 기업 마케팅, 개발자 프로그램 부문 부사장이 참석해 GTC 2024의 준비 과정과 특별히 주목할 만한 세션 등을 언급했다. 세계 최대 AI 개발자 콘퍼런스 GTC는 오는 18일부터 21일까지 미국 캘리포니아주 새너제이에서 개최된다. 팬데믹 이후 5년만에 대면 행사로 돌아온 GTC는 온라인으로도 참석 가능한 하이브리드 형태로 진행된다. 900개의 세션, 250개 이상의 전시, 수십 개의 기술 워크샵 등으로 구성됐으며 30만 명 이상의 전세계 개발자 커뮤니티 회원들이 참석할 것으로 기대된다. 엔비디아는 이번 GTC가 지난 해에 비해 2배 이상의 규모로 진행되는 만큼 행사를 위해 준비를 했으며 성공적인 행사가 될 것이라고 전했다. 특히 젠슨 황 엔비디아 창립자 겸 CEO의 기조연설은 1만명 이상 수용 가능한 SAP 센터에서 진행된다. 젠슨 황 CEO 기조연설은 이달 19일 오전 5시(한국 시간)에 생중계되며, 이후 온디맨드(On-demand)로 제공된다. 또한 디즈니 리서치, 구글 딥마인드, 존슨앤드존슨 이노베이티브 메디슨, 스탠포드 대학교 등 조직 내 리더들이 진행하는 세션을 포함해 약 60개 이상의 강좌가 준비돼 있다. 대기업부터 스타트업, 개발자부터 AI에 관심이 있는 개인 등이 각자의 다양한 요구에 맞게 강좌를 선택할 수 있으며 온라인으로도 수강 가능하다. 그레그 에스테스는 글로벌 차원에서 AI 발전을 위한 엔비디아의 역할을 묻는 질문에 "GTC는 개발자와 컴퓨팅 생태계가 함께 모여 서로를 끌어올릴 수 있는 세계 최고의 장소"라며 "여러 산업의 선도 기업들과 수천 명의 학생들이 최고의 AI를 경험하기 위해 이곳을 찾는다. 엔비디아는 그들을 하나로 모으는 호스트인 것을 매우 자랑스럽게 생각한다"고 말했다.

2024.03.08 13:38장경윤

엔비디아, 4분기 매출 265% 급증…AI 서버로 '퀀텀 점프'

글로벌 팹리스 엔비디아가 또 다시 '어닝 서프라이즈'를 달성했다. 폭발적인 인공지능(AI) 서버 수요 증가세에 따른 효과로, 회사는 올해 상반기에도 당초 예상을 뛰어넘는 매출을 달성할 수 있을 것으로 내다봤다. 엔비디아는 22일 2023 회계연도 4분기(2024년 1월 종료) 매출이 221억 달러로 전년 동기에 비해 265% 증가했다고 발표했다. 이는 전분기에 비해서도 22% 늘어난 것이며 증권가 전망치 204억 달러를 크게 웃돌았다. 같은 분기 주당 순이익(GAAP 기준)도 4.93달러로 전분기 대비 33%, 전년동기 대비 765% 늘어났다. 엔비디아 호실적의 주역은 데이터센터 사업이다. 해당 분기 데이터센터 사업 매출은 184억 달러로 전분기 대비 27%, 전년동기 대비 409% 증가했다. 젠슨 황 엔비디아 최고경영자(CEO)는 "가속컴퓨팅 및 생성형 AI가 티핑 포인트(특정 현상이 급속도로 커지는 지점)에 도달했다"며 "국가, 산업을 가리지 않고 전 세계적으로 수요가 급증하고 있다"고 밝혔다. 엔비디아는 올 상반기 실적에 대해서도 긍정적인 전망을 내비쳤다. 회사는 2024 회계연도 1분기(2024년 4월 종료) 매출 예상치로 전분기 대비 8% 증가한 240억 달러를 제시했다. 이 전망치 역시 증권가 예상보다 9% 가량 상회한 수치다. 현재 엔비디아는 AI 산업의 핵심인 고성능 그래픽처리장치(GPU)와 이를 기반으로 한 AI 가속기 시장을 사실상 독과점하고 있다. 올해에도 3나노미터(nm) 기반의 신규 제품 'B100' 출시를 목표로 하는 등, 시장 지배력 유지를 위한 행보를 이어가고 있다.

2024.02.22 08:50장경윤

시스코-엔비디아, 'AI 네트워킹' 동맹 체결

시스코와 엔비디아가 인공지능(AI) 네트워킹 인프라 동맹을 체결했다. 시스코는 지난주 암스테르담에서 개최한 '시스코 라이브'에서 엔비디아와 AI 인프라 솔루션 파트너십을 발표했다. 이 파트너십에 따르면, 시스코는 엔비디아 GPU 클러스터에 특수목적 이더넷 네트워킹 기반 솔루션을 제공한다. 엔비디아의 GPU 클러스터를 이더넷 인프라로 확장할 수 있는 솔루션이다. 엔비디아의 텐서코어 GPU는 시스코 UCS-X 시리즈, UCS-X 시리즈 다이렉트 등 시스코 UCS M7 세대 랙 및 블레이드 서버에서 사용가능하다. 각종 AI 관련 프레임워크와 사전훈련 모델, 개발 도구 등을 포함하는 엔비디아 AI 엔터프라이즈를 시스코를 통해 사용할 수 있다. 시스코는 엔비디아와 참조 아키텍처를 공동 검증하고 고객에게 제공한다. 생성 AI 추론을 위한 플렉스포드, 플래시스택용 시스코검증설계(CVD, Cisco Validated Design)를 시작으로 여러 검증 아키텍처가 출시될 예정이다. 시스코는 넥서스 대시보드, 시스코 인터사이트 등을 사용해 엔비디아 GPU 클러스터 운영을 간소화한다. 시스코 사우전드아이즈와 시스코 가시성 플랫폼이 AI 인프라 모니터링을 제공한다. AI 인프라의 핵심인 GPU의 성능을 높이려면 여러 GPU를 연결하는 네트워킹 기술이 필요하다. 여기서 GPU 연결에 노드 내부와 노드 외부 등 두 종류의 네트워킹이 요구된다. LLM 환경은 기존 네트워크 물량 대비 최소 3~4배의 네트워킹 물량이 필요하다. 손실없는 완벽한 논블로킹 네트워킹 구조를 요구하므로, 네트워킹 장비와 케이블 수가 문자그대로 '기하급수'로 증가한다. 엔비디아의 경우 표준 아키텍처에 의하면, DGX 같은 전용 서버 한 대에 GPU를 8개씩 장착할 수 있다. 8개의 GPU는 노드 내 연결은 엔비디아의 NV링크란 독점 기술을 쓴다. 그리고 GPU 서버를 여러대 연결하는 노드 외 연결은 고대역폭 인피니밴드나 이더넷 스위치를 이용한다. 엔비디아는 H100 GPU의 노드 연결에 400Gbps의 고대역폭 네트워킹을 기본 사양으로 권고한다. 엔비디아는 고사양 GPU 신제품을 내놓을 때마다 대폭의 네트워킹 사양 업그레이드를 요구해왔다. V100 GPU에서 A100으로 넘어가면서 네트워킹 사양을 100Gbps에서 200Gbps로 올렸다. 성능 요구치는 초당 300GB에서 600GB로 올렸다. H100의 성능 요구치는 초당 900GB에 이른다. 만약 네트워킹 사양을 부족하게 구성하면 아무리 많은 GPU를 구비한다 해도 LLM 학습이나 추론 성능이 떨어질 수밖에 없다. 빠른 AI 서비스를 출시하려면 고비용의 대규모 AI 인프라 도입에서 특히 각 연산 요소 간 통신에 필요한 네트워킹이 필수적이다. 현재 엔비디아 GPU 클러스터링의 네트워킹 인프라는 인피니밴드 중심이다. 델오로그룹 분석에 의하면, 전세계 엔비디아 기반 AI 인프라의 90%는 엔비디아 멜라녹스의 인피니밴드를 사용중인 것으로 추정된다. 인피니밴드가 이더넷을 압도하며 AI 인프라에 활용된 건 고대역폭과 안정성 때문이다. 하지만 기술의 발전으로 인피니밴드로만 구현가능했던 부하분산, 안정성, 고대역폭, 저지연시간 등의 요건이 이더넷에서도 충족가능해졌다. AI 인프라는 다수의 GPU 간 병렬 연산을 빠르게 수행하기 위해 다양한 부하분산 기술을 필요로 한다. RDMA, GPU 간 P2P, GPU 다이렉트스토리지 등이 활용된다. 이중 대표적인 오프로딩 기술인 RDMA는 워크로드 내 존재하는 다수의 프로토콜 계층을 건너뛰는 제로카피 기술 'DMA'를 네트워킹까지 확장한 것이다. RDMA는 서버 간 혹은 서버와 스토리지 간 간섭없는 메모리 접근을 제공해 GPU 간 병렬 연산 능력을 극대화한다. 시스코의 경우 실리콘원 G200 스위치 ASIC을 통해 고급 혼잡 관리, 패킷 스프레이 기술, 링크 장애 조치 등 AI 환경에 유용한 여러 기능을 제공한다. 이 ASIC의 경우 전력 효율도 우월해 인피니밴드 대비 운영비용을 더 절감할 수 있다. 인피니밴드보다 이더넷을 AI 인프라에 활용할 경우 운영 인력 확보도 더 용이해진다. 인피니밴드와 달리 이더넷은 표준 기술이고 경쟁 시장이기 때문에 개방적이면서 누구나 쉽게 구축 및 운영할 수 있다. 이미 이더넷으로 구축된 외부 서비스와 연동도 더 쉽다. 운영 인력의 저변도 매우 넓다. 척 로빈스 시스코 회장 겸 최고경영자는 “AI는 우리가 일하고 생활하는 방식을 근본적으로 변화시키고 있으며, 이러한 규모의 변화로 인해 기업은 인프라를 재고하고 재구축해야 한다는 것을 역사를 통해 알 수 있다”며 "엔비디아와 훌륭한 파트너십을 강화하면 기업은 AI 솔루션을 대규모로 구축, 배포, 관리 및 보호하는 데 필요한 기술과 전문 지식을 갖추게 될 것”이라고 밝혔다. 젠슨 황 엔비디아 CEO는 "모든 기업이 생성 AI를 통해 비즈니스를 혁신하기 위해 경쟁하고 있다"며 “시스코와 긴밀히 협력해 기업이 평생 가장 강력한 기술인 AI의 혜택을 받는 데 필요한 인프라를 그 어느 때보다 쉽게 확보할 수 있도록 만들고 있다”고 강조했다.

2024.02.13 11:56김우용

젠슨 황 엔비디아 "세계 각국, AI 인프라 독자 구축해야"

젠슨 황 엔비디아 CEO가 세계 각국이 독자적인 AI(인공지능) 인프라를 구축해야 함을 강조했다고 로이터통신 등이 12일 보도했다. 이날 두바이에서 열린 '세계정부정상회의(WGS) 2024'에 참석한 황 CEO는 "AI의 경제적 잠재력을 활용하면서 자국의 문화를 보호하려면 모든 국가가 자체 AI 인프라를 보유해야 한다"며 "다른 국가가 그런 일을 하도록 허용해서는 안 된다"고 말했다. 그는 이어 "가능한 한 빨리 AI 산업의 주도권을 잡고, 업계를 활성화하고, 인프라를 구축하는 것은 전적으로 각국 정부에 달렸다"고 덧붙였다. AI 산업의 위험성에 대해서는 "과도한 두려움"이라는 입장을 밝혔다. 황 CEO는 "자동차, 항공 등 다른 신기술 및 산업도 성공적으로 규제된 바 있다"며 "AI에 대한 공포를 부추기면서 아무 것도 하지 않도록 장려하는 사람들은 실수를 하고 있다고 생각한다"고 강조했다. 현재 엔비디아는 AI 구현의 핵심으로 꼽히는 고성능 서버용 GPU(그래픽처리장치) 분야에서 압도적인 시장 점유율을 차지하고 있다. 덕분에 최근 엔비디아의 시가총액은 1조8천200억 달러까지 상승하면서 지난 2002년 이후 처음으로 아마존을 앞지르기도 했다.

2024.02.13 08:49장경윤

"엔비디아, GPU 생산에 인텔 패키징 기술도 활용"

엔비디아가 서버용 GPU 생산량 확대를 위해 이르면 올해 2분기부터 대만 TSMC 이외에 인텔 3차원 반도체 적층 기술을 활용할 전망이다. 대만 경제일보(經濟日報)는 31일(현지시간) 업계 관계자를 인용해 이같이 보도했다. 엔비디아가 현재 시장에 공급하는 A100/H100 등 서버용 GPU는 TSMC의 2.5차원 반도체 적층 기술인 'CoWoS'(칩 온 웨이퍼 온 서브스트레이트)로 생산된다. 엔비디아는 현재 TSMC CoWoS 처리 역량 중 90% 가량을 고성능 GPU 생산에 활용한다. 그러나 수요 폭증에 처리량이 따라가지 못해 공급 지연 현상이 발생하며 일부 회사는 AMD나 인텔 등 경쟁사 CPU·GPU로 전환을 시도하기도 한다. 경제일보는 "지난 해 12월 기준 TSMC의 월간 CoWoS 패키지 처리 역량은 웨이퍼 4만 장 가량이며 인텔이 가지고 있는 3차원 반도체 적층 기술 포베로스(FOVEROS) 활용시 추가로 월간 5천 장을 처리할 수 있을 것"이라고 전망했다. 단, 인텔은 엔비디아 GPU를 구성하는 칩 생산에 관여하지 않는다. TSMC와 기타 파운드리가 생산한 GPU와 HBM 메모리 등 구성 요소를 미국 오레곤과 뉴멕시코 주 소재 시설로 보내 최종 제품으로 완성하는 방식이다. 경제일보는 "엔비디아가 TSMC에 이어 인텔 포베로스 기술까지 활용하면 서버 시장의 공급 적체 해소에 도움을 줄 것"이라고 평가했다.

2024.02.01 10:04권봉석

AI 네트워킹, 인피니밴드에서 이더넷으로 대세 바뀐다

챗GPT 등장 후 생성형 인공지능(AI) 기반 서비스가 모든 산업군에 변화를 만들고 있다. AI 기술은 모든 산업의 새로운 먹거리로 인식되는 상황이다. 대기업, 인터넷서비스기업, 클라우드 기업 등은 AI 시장을 선점하려 대대적인 물량 투자와 함께 기업 인프라를 개혁하고 있다. 오늘날 AI 기술은 챗GPT 이전과 이후로 나뉜다고 할 정도다. 챗GPT를 뒷받침하는 트랜스포머 아키텍처는 인간과 소통하듯 '자연스러운' 대규모언어모델(LLM)을 만들어냈다. 그리고 이 '자연스러움'을 더욱더 인간처럼 구현하려면 방대한 규모의 고성능 GPU 클러스터 인프라가 필수적이다. AI 인프라의 근간인 GPU, 서버, 스토리지, 네트워크 등은 수많은 제품을 요구하는 고비용 서비스다. LLM의 경우 GPU 갯수를 늘릴수록 학습 시간을 획기적으로 늘릴 수 있는 구조다. 예를 들어 2년 전 나온 GPT-3.5의 경우 1만개의 GPU로 서비스된다. GPT-3.5를 GPU 한개로 학습시킨다면 약 355년이 필요하다. AI 인프라 기술 그 자체는 전과 크게 달라지지 않았다. AI 인프라가 작은 연산 자원을 대규모로 한대 묶어 성능을 획기적으로 높이는 고성능컴퓨팅(HPC) 기술을 근간으로 한다. HPC 기술은 처음에 CPU를 중심으로 발전하다 21세기 들어 GPU 클러스터로 발전했다. 현재 LLM 학습과 추론을 위한 GPU 시장은 엔비디아 독주 체제다. 엔비디아 텐서코어 H100이나 A100 GPU는 칩셋 하나당 5천만원 내외의 단가로 거래되고, 그마저도 공급부족으로 품귀현상을 보인다. 주문한다고 해도 구하기 쉽지 않고, 가격도 고공행진중이다. 오픈AI의 GPT, 구글 제미나이, 메타 라마 등 유명 LLM의 발전과 출시는 GPU의 빅테크 쏠림과 공급부족 현상을 한층 부추기고, 일반 수요자를 더 안달나게 만든다. 이런 독점 체제를 깨기 위해 AMD, 인텔 등이 경쟁 제품을 속속 출시중이다. ■ AI 인프라에서 네트워킹이 왜 중요한가 AI 인프라의 핵심인 GPU의 성능을 높이려면 여러 GPU를 연결하는 네트워킹 기술이 필요하다. 여기서 GPU 연결에 노드 내부와 노드 외부 등 두 종류의 네트워킹이 요구된다. 엔비디아의 경우 표준 아키텍처에 의하면, DGX 같은 전용 서버 한 대에 GPU를 8개씩 장착할 수 있다. 8개의 GPU는 노드 내 연결은 엔비디아의 NV링크란 독점 기술을 쓴다. 그리고 GPU 서버를 여러대 연결하는 노드 외 연결은 고대역폭 인피니밴드나 이더넷 스위치를 이용한다. 엔비디아는 H100 GPU의 노드 연결에 400Gbps의 고대역폭 네트워킹을 기본 사양으로 권고한다. 엔비디아는 고사양 GPU 신제품을 내놓을 때마다 대폭의 네트워킹 사양 업그레이드를 요구해왔다. V100 GPU에서 A100으로 넘어가면서 네트워킹 사양을 100Gbps에서 200Gbps로 올렸다. 성능 요구치는 초당 300GB에서 600GB로 올렸다. H100의 성능 요구치는 초당 900GB에 이른다. 만약 네트워킹 사양을 부족하게 구성하면 아무리 많은 GPU를 구비한다 해도 LLM 학습이나 추론 성능이 떨어질 수밖에 없다. 빠른 AI 서비스를 출시하려면 고비용의 대규모 AI 인프라 도입에서 특히 각 연산 요소 간 통신에 필요한 네트워킹이 필수적인 것이다. 고성능 AI 인프라 수용을 위한 네트워킹은 전통적인 워크로드 수용을 위한 인프라보다 거대할 수밖에 없는 구조다. 노드 내 GPU 간 연산 능력은 4개의 GPU를 내부 버스를 통해 P2P로 연결하는 NV링크 또는 서버 내 8개의 GPU를 연결하기 위해 NV스위치를 통해 극대화 가능하다. 여러 GPU 노드를 클러스트링하고 각 GPU 노드들의 통신 간 병목현상을 최소화하려면 GPU 당 한개의 고성능의 네트워크인터페이스카드(NIC)를 할당하게 된다. 각 NIC는 400Gbps 대역폭을 수용할 수 있어야 한다. GPU 한개에 1대의 400Gbps급 스위치를 연결하게 된다. 400Gbps가 제공되는 고사양의 스위치를 근간으로 2티어에서 3티어 구조의 '리프스파인(Leaf-spine)' 아키텍처를 구성하므로 대형 GPU 노드 클러스터의 경우 최소 수십대의 400Gbps급 스위치가 기본 제공돼야 한다. 엔비디아의 멀티 GPU 클러스터 상품인 '슈퍼팟(SuperPOD)'의 경우 32대의 DGX H100 노드를 최대 256개의 GPU 클러스터링으로 연결하며, 이론적으로 최대 57.8 TBps의 데이터 연산 성능을 제공하게 돼 있다. 따라서 기존 네트워크 물량 대비 최소 3~4배의 네트워킹 물량이 필요해진다. LLM의 경우 손실없는 완벽한 논블로킹 네트워킹 구조를 요구하므로, 네트워킹 장비와 케이블 수가 문자그대로 '기하급수'로 증가한다. ■ 왜 인피니밴드보다 이더넷인가 AI 인프라는 다수의 GPU 간 병렬 연산을 빠르게 수행하기 위해 다양한 부하분산 기술을 필요로 한다. RDMA, GPU 간 P2P, GPU 다이렉트스토리지 등이 활용된다. 이중 대표적인 오프로딩(Off-Loading)기술인 RDMA(Remote Direct Memory Access)는 워크로드 내 존재하는 다수의 프로토콜 계층을 건너뛰는 제로카피 기술 'DMA(Direct Memory Access)'를 네트워킹까지 확장한 것이다. RDMA는 서버 간 혹은 서버와 스토리지 간 간섭없는 메모리 접근을 제공해 GPU 간 병렬 연산 능력을 극대화한다. 인피니밴드나 RDMA오버컨버지드이더넷(RoCE)를 통해 활용가능하다. 수백개 GPU가 병렬처리를 통해 수백, 수천 시간을 학습하고 빠르게 서비스를 제공하려면 네트워크의 안정성도 중요하다. 잠깐의 방해도 재연산을 하게 만들 수 있다. 과거 네트워킹 기술의 성능과 안정성 면에서 인피니밴드가 이더넷보다 앞선 것으로 여겨져왔다. 인피니밴드가 이더넷의 대역폭을 월등히 앞섰기 때문에 HPC 분야에서 주료 인피니밴드를 활용했었다. 엔비디아 DGX 서버도 이더넷보다 인피니밴드를 장려한다. 안정성의 측면에서 인피니밴드는 패킷 무손실을 전제하지만, 이더넷은 어느정도의 패킷손실을 전제로 한다. LLM 인프라가 HPC 기술을 바탕에 두기 때문에 GPU 클러스터의 네트워킹은 인피니밴드를 주로 쓴다. 만약 앞서 계산했듯 기존 비즈니스 워크로드 대비 3~4배 많은 네트워킹 인프라 물량을 인피니밴드로 구성하면 비용 부담이 적지 않다. 특히 인피니밴드 기술은 제조사 간 경쟁이 사라진 독점 기술이다. 과거 인피니밴드 솔루션을 개발하고 공급해오던 기업들이 하나둘 대형 업체에 흡수되거나 사라졌는데, 마지막 독립 업체로 남아 있던 멜라녹스도 엔비디아에 인수됐다. 지금은 엔비디아가 인피니밴드 기술을 독점 공급하는 상황이다. 공개 표준 기술이 아니므로 인피니밴드 핵심 기술은 비공개다. 발전 방향이나 정도가 엔비디아 결정에 100% 달려있다. 비용 구조도 엔비디아 종속적이다. 심지어 인피니밴드 스위치 공급 부족 현상이 GPU 공급부족보다 더 심각하다는 말까지 나온다. 비용, 기술 모두 특정업체 종속적인 상황에서 인피니밴드는 외부의 여러 워크로드를 LLM에 연동하기 힘들게 하는 장애물이 된다. 인피니밴드를 다룰 줄 아는 전문가는 매우 희귀하며, 기술적 어려운 정도도 매우 높다. AI 인프라에서 인피니밴드가 당연시 된 건 이더넷 기술에 대한 오해 때문이기도 하다. 얼마전까지 인피니밴드는 속도 면에서 이더넷을 앞섰으며, 400Gbps란 대역폭은 인피니밴드의 전유물처럼 여겨졌었다. 하지만, GPU 제조사인 엔비디아도 네트워킹 영역의 무게중심을 인피니밴드에서 이더넷으로 이동하고 있을 정도다. 대부분의 기존 AI 네트워크 인프라는 인피니밴드라는 프로토콜과 특정 업체가 시장을 독점했지만, 이젠 표준 기반 기술을 통해 비용 이슈 제거 및 편리한 운영 관리가 가능한 표준 기반의 RDMA 방식인 RoCE가 인피니밴드 기술을 대체할 것으로 기대된다. 근래 들어 이더넷 진영은 400G, 800G 제품을 선보이면서 인피니밴드와 동등한 성능을 제공하게 됐다. 지금은 인피니밴드나 이더넷이나 현존하는 NIC과 스위치 포트에서 낼 수 있는 최대한의 대역폭이 400Gbps로 똑같다. 이젠 인피니밴드와 이더넷 모두에서 어느정도 동급 성능을 기대할 수 있을 정도로 이더넷 기술의 진화는 뚜렷해졌고 엔비디아의 GPU 성능 테스트 도구인 NCCL을 이용해 인피니밴드와 RoCE를 비교 테스트 결과를 보더라도 대역폭과 지연시간이 동등하거나 약간의 차이만 보일정도로 AI 인프라 영역에서의 이더넷 기술의 상당한 신뢰성을 제공할 수 있는 프로토콜로 발전하고 있다. RoCEv2(버전2)는 인피니밴드의 헤더와 RDMA 기술을 그대로 탑재했으며, TCP 제거, UDP 활용 등을 통해 이더넷 스위치의 지연시간을 개선하고 있다. 안정성 면에서도 PFC, ECN 등 이더넷의 표준 기술로 패킷 손실을 최대한 상쇄할 수 있다. 무엇보다 이더넷은 표준 기술이고 치열한 경쟁을 보이는 시장이기 때문에 개방적이면서 누구나 쉽게 구축 및 운영할 수 있다. 이미 이더넷으로 구축된 외부 서비스와 연동도 더 쉽다. 운영 인력의 저변도 매우 넓다. 기술 로드맵상으로도 인피니밴드와 이더넷은 800Gbp란 같은 방향을 가리키고 있는데, 오히려 이더넷의 대역폭 증가가 인비니밴드를 앞선 상황이다. 인피니밴드의 800G 이후 계획은 시점을 확정하지 않은 반면, 이더넷의 800G는 이미 상용화됐다. 2025년이면 1.6Tbps 기반 패브릭 기술 제품도 출시될 것으로 예상된다. 이같은 흐름속에 시스코는 LLM 인프라용 제품으로 넥서스 시리즈 스위치를 제공하고 있다. 네트워킹 프로비저닝과 모니터링에 쓰이는 오케스트레이션 툴 '넥서스 대시보드'는 대규모 AI 인프라의 빠른 구축과 관리를 위해 턴키 기반 자동화와 로스리스 안정성을 보장하는 가시성을 제공한다. 또한 지연시간에 민감한 AI 트래픽의 가시성을 제공하는 분석 도구와 솔루션도 이용가능하다. 시스코는 특히 전용 SoC 칩으로 넥서스 스위치를 구동해 인피니밴드 장비보다 더 적은 전력으로 고성능 AI 인프라를 구동할 수 있다고 강조한다. AI 인프라에서 서서히 독점의 시대가 저물고 있다. 개방형 표준 제품과 기술이 갈수록 높아지는 AI 인프라 투자 및 운영 비용을 절감하고 기업 경쟁력을 높이는 열쇠가 될 것이다.

2024.01.30 16:07김우용

젠슨 황 엔비디아 CEO, '수출규제' 압박 속 中 4년 만에 방문

젠슨 황 엔비디아 최고경영자(CEO)가 4년 만에 중국을 찾아 선전, 상하이, 베이징 소재의 엔비디아 현지 사무실을 방문했다고 블룸버그통신 등이 22일 보도했다. 보도에 따르면 젠슨 황 CEO는 중국 전통 의상을 입고 직원들과 함께 춤을 추는 등 새해 맞이 행사를 진행했다. 이에 대해 익명의 관계자는 블룸버그통신에 "그가 다른 임원들과 회의를 가졌는 지는 확실하지 않다"고 말했다. 엔비디아 역시 "젠슨 황 CEO가 직원들과 함께 춘제(중국의 설)을 축하했다"며 구체적인 설명은 하지 않았다. 다만 업계는 이번 젠슨 황 CEO의 방문이 미국의 대중(對中) 반도체 수출 규제 수위가 극에 달한 시점에서 이뤄졌다는 점에 주목하고 있다. 앞서 미국은 지난 2022년 9월 'A100', 'H100' 등 엔비디아의 고성능 AI 반도체에 대한 중국 수출을 금지한 바 있다. 해당 제품들이 중국의 군사용 목적으로 사용될 위험성이 있다는 우려에서였다. 이에 엔비디아는 기존 제품에서 성능을 대폭 낮춘 대체품을 중국에 공급해 왔으나, 미국은 지난해 10월 이들 제품에 대해서도 수출을 금지시켰다. 지난 몇 분기 동안 엔비디아의 전체 데이터센터 매출에서 중국 및 기타 지역이 차지하는 비중은 20~25% 수준으로 알려져 있다. 그만큼 중국은 엔비디아의 주요한 시장 중 한 곳으로 자리해 왔다. 젠슨 황 CEO도 지난해 말 싱가포르에서 진행한 기자회견에서 "자사의 계획은 미국 정부와 협력해 새로운 규정을 준수하는 새 제품을 만드는 것"이라고 언급하는 등 중국 시장 확대에 대한 의지를 지속 드러내고 있다.

2024.01.23 09:15장경윤

韓 토종 AI칩 팹리스, 대량 양산·매출 실현 준비 마쳤다

국내 AI 반도체 스타트업들이 올해 본격적인 매출 확대를 추진한다. 기존 시제품, 초도 물량 제작을 넘어 실제 양산을 위한 협력사 선정을 끝마친 것으로 알려졌다. 22일 업계에 따르면 국내 서버용 AI 반도체 팹리스 기업들은 올해 대량 양산을 위한 준비를 마쳤다. 퓨리오사AI는 지난해 말 대만의 주요 컴퓨터 부품 제조기업 에이수스(ASUS)와 양산 공급 계약을 체결했다. 이번 계약은 퓨리오사AI의 1세대 NPU(신경망처리장치)인 '워보이'를 에이수스가 카드 형태로 제작하는 것이 주 골자다. 나아가 퓨리오사AI의 2세대 칩 '레니게이드'의 카드 제품도 에이수스를 활용할 계획이다. 레니게이드는 5나노미터(nm), HBM3(4세대 고대역폭메모리) 등 최선단 기술을 탑재한 것이 특징으로, 올 2분기 중 출시될 예정이다. 퓨리오사AI의 사례는 국내 AI 반도체 기업들의 양산화 준비가 마무리단계에 임박했다는 점에서 의의가 있다. 현재 서버용 AI 반도체 시장은 해외 거대 팹리스인 엔비디아가 고성능 GPU(그래픽처리장치)로 시장을 독과점하고 있다. 이에 맞서 국내외 팹리스 기업들은 GPU 대비 연산 성능 및 효율성이 높은 NPU로 시장 진입을 추진하고 있다. 사피온, 리벨리온, 퓨리오사AI 와 같은 국내 기업들도 글로벌 벤치마크를 통해 각 사의 칩이 지닌 뛰어난 성능을 입증해 왔다. 다만 이들 기업이 고객사에 실제로 제품을 공급하기 위해서는 NPU를 PCB(인쇄회로기판) 위에 여러 인터페이스 기능과 함께 집적한 카드 형태로 만들어야 한다. 백준호 퓨리오사AI 대표는 "에이수스는 엔비디아의 카드 제품을 양산해 온 OEM 기업으로, 엄격한 양산 기준을 갖춘 만큼 업계의 신뢰성이 높다"며 "이번 계약으로 퓨리오사AI도 그간의 소량 생산에서 벗어나, 차세대 제품에 대한 대량 양산 체계를 구축하게 됐다는 점에서 의미가 있다"고 설명했다. 리벨리온은 대만 등의 부품기업과 카드 제품을 양산을 논의 중인 것으로 알려졌다. 그간 리벨리온은 5나노 공정 기반의 NPU '아톰'을 시제품으로 소량 제작해 왔으며, 올 1분기부터는 본격적인 양산에 돌입한다. 박성현 리벨리온 대표는 "1만~2만장 수준으로 제품을 대량 양산하기 위해서는 신뢰성이 높은 모듈업체를 공급망으로 확보해야 한다"며 "상용화 측면에서 중요한 과제"라고 말했다. 사피온 역시 만반의 준비를 갖췄다. 사피온 관계자는 "사피온은 글로벌 서버 제조사와 협력해 밸리데이션이 완료된 인퍼런스 서버를 즉시 사용할 수 있도록 제공하고 있다"고 밝혔다. 한편 국내 서버용 AI 반도체 기업들은 중장기적으로 매출을 확장하기 위한 서버 사업도 고려하고 있다. 서버 사업은 데이터센터의 네트워크 서비스 전반을 구현 가능한 모듈(POD)을 공급하는 것으로, 칩 및 카드를 대량 공급하는 데 유리하다. 업계 관계자는 "상당 수의 국내외 IT 기업들이 POD보다는 서버까지 턴키로 공급해주길 원하고 있어, 국내 AI반도체 기업들도 결국에는 서버 사업으로 나아가야할 것"이라며 "향후 이를 위한 서버 기업과의 협업이 활발히 이뤄질 것으로 예상된다"고 말했다.

2024.01.22 13:38장경윤

中 군부·국영기관, 美 제재에도 엔비디아 칩 사들였다

중국 군대, 국영 인공지능 연구기관 및 대학이 미국의 수출 규제 대상인 엔비디아의 반도체를 지난 1년간 소량 구매했다고 로이터통신이 15일 보도했다. 로이터통신이 검토한 중국 현지의 입찰 서류에 따르면, 미국이 중국에 대한 최첨단 반도체 수출을 금지(2022년 9월)한 이후에도 수십 개의 중국 기관이 엔비디아의 반도체를 구매했다. 일례로 중국 하얼빈공대와 중국전자과기대는 각각 지난 2022년 12월 및 2023년 5월에 엔비디아의 고성능 AI 반도체인 'A100'를 구매했다. 두 대학은 안보상의 이유로 미국의 수출 규제 명단에 오른 기관들이다. 또한 칭화대학교 및 중국산업정보기술부 산하 연구소가 A100 보다 성능이 뛰어난 'H100' 칩을 구매했다. 중국 장쑤성 우시에 본사를 둔 익명의 인민해방군 조직도 구매자 명단에 포함돼 있었다. 로이터통신은 "수출 규제에도 불구하고, 미국 반도체가 중국의 AI 및 군사용 연구개발에 활용되는 것을 완전히 차단하기는 어려운 상황"이라며 "다만 구매 수량이 적기 때문에 LLM(거대언어모델) 구축과는 거리가 멀 것"이라고 밝혔다. 중국 기관들이 엔비디아의 칩을 구매한 경로는 구체적으로 확인되지 않았다. 다만 미국의 규제 이후 형성된 중국 내 암시장이 연루됐을 가능성이 제기된다. 암시장 내 공급자들은 시장에 출시되는 재고 일부를 가져오거나 해외 법인을 통한 우회 수입으로 엔비디아 칩을 확보하고 있다. 이와 관련 엔비디아는 "고객사가 제3자에게 칩을 불법으로 재판매하는 사실이 드러나면 즉각적이고 적절한 조치를 취할 것"이라고 밝혔다.

2024.01.15 15:51장경윤

엔비디아, AI 연산 강화한 지포스 RTX 40 슈퍼 GPU 3종 공개

[라스베이거스(미국)=권봉석 기자] 엔비디아가 9일(현지시간 8일 오전) 연산 성능을 강화한 새 GPU인 지포스 RTX 40 슈퍼 시리즈 3종을 공개했다. 지포스 RTX 40 슈퍼는 엔비디아가 2022년 9월 공개한 PC용 GPU인 지포스 RTX 40 시리즈를 개량했다. 연산을 수행하는 쿠다(CUDA) 코어 수를 늘리는 한편 AI 연산 성능에 큰 영향을 미치는 메모리 입출력 속도를 강화했다. 지포스 RTX 4080 슈퍼는 4K(3840×2160 화소) 해상도에서 레이트레이싱 지원을 강화한 제품이다. AI 처리 속도는 836 테라플롭스이며 DLSS를 적용하면 전작인 지포스 RTX 3080 Ti 대비 최대 두 배 속도를 낸다. 가격은 999달러(약 132만원)이며 오는 31일부터 공급된다. 지포스 RTX 4070 Ti 슈퍼는 메모리 용량을 최대 16GB까지 확장했다. 게임 성능은 전세대 제품인 지포스 RTX 3070 Ti 대비 1.6배 높으며 DLSS 3 적용시 2.5배까지 높아진다. 가격은 799달러(약 105만원)이며 오는 24일부터 공급된다. 지포스 RTX 4070 슈퍼는 지포스 RTX 4070 대비 쿠다 코어 수를 20% 늘렸다. 지포스 RTX 3090보다 전력 소모는 적지만 성능은 더 향상됐다는 것이 엔비디아 설명이다. 가격은 599달러(약 79만원)이며 오는 17일부터 공급된다. 에이수스, 기가바이트, MSI, PNY 등 주요 그래픽카드 제조사는 이날 공개된 신규 GPU 3종을 탑재한 그래픽카드를 전세계 시장에 순차 공급할 예정이다. 국내 판매 가격은 미정. 엔비디아는 공식 웹사이트와 일부 업체를 통해 RTX 4080 슈퍼와 4070 슈퍼 탑재 파운더스 에디션 그래픽카드도 한정 수량 판매 예정이다. 엔비디아는 이날 "두께 16mm, 화면 크기가 14인치인 제품부터 18인치 제품까지 지포스 RTX GPU를 내장한 노트북이 레노버, HP, 델테크놀로지스, 에이수스, 삼성전자 등 주요 제조사를 통해 출시될 것"이라고 밝히기도 했다.

2024.01.09 01:30권봉석

Prev 1 2 3 4 5 Next