검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'블랙웰'통합검색 결과 입니다. (62건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

엔비디아, '블랙웰' AI칩 브랜드 정비…첨단 패키징·HBM 수요 촉진

엔비디아가 출시를 앞둔 고성능 GPU의 라인업을 재정비하고, AI 데이터센터 시장을 적극 공략할 계획이다. 이에 따라 대만 주요 파운드리인 TSMC의 첨단 패키징 수요도 크게 늘어날 것으로 전망된다. 22일 시장조사업체 트렌드포스에 따르면 엔비디아는 최근 '블랙웰' 울트라 제품을 'B300' 시리즈로 브랜드를 변경했다. 블랙웰은 엔비디아가 지난 3월 공개한 최신형 AI 반도체다. TSMC의 4나노미터(nm) 공정 및 첨단 패키징을 기반으로, 이전 세대(H100) 대비 데이터 연산 속도를 2.5배가량 높였다. 블랙웰 시리즈는 전력 소모량에 따라 B100, B200 등의 모델로 나뉜다. 두 모델은 HBM3E(5세대 고대역폭메모리) 8단 제품이 탑재된다. 나아가 엔비디아는 상위 모델인 B200 울트라를 설계하고, 여기에 HBM3E 12단을 적용하기로 한 바 있다. 이번 리브랜딩에 따라, B200 울트라는 B300으로 이름이 바뀌었다. '그레이스' CPU와 결합된 'GB200 울트라' 모델은 'GB300'으로 불린다. 기존 AI 반도체에서 성능을 일부 하향 조정한 'B200A 울트라'와 'GB200A 울트라' 역시 각각 'B300A', 'GB300A'로 변경됐다. B300 시리즈는 내년 2분기와 3분기 사이에 출시될 것으로 예상된다. 기존 B200과 GB200 등은 올 4분기부터 내년 1분기 사이 양산이 시작될 전망이다. 트렌드포스는 "엔비디아는 당초 서버 고객사를 위해 B200A를 출시할 계획이었으나, 설계 과정에서 B300A로 전환해 성능을 하향 조정한 GPU의 수요가 예상보다 약하다는 것을 나타냈다"며 "또한 GB200A에서 GB300A로 전환하는 기업의 경우 초기 비용이 증가할 수 있다"고 설명했다. 또한 엔비디아의 고성능 GPU 출시는 TSMC의 'CoWoS' 패키징 수요를 크게 촉진할 것으로 분석된다. CoWoS는 TSMC가 자체 개발한 2.5D 패키징이다. 칩과 기판 사이에 인터포저라는 얇은 막을 삽입해, 패키징 면적을 줄이고 칩 간 연결성을 높인 것이 특징이다. 트렌드포스에 따르면 올해 CoWoS 수요는 전년 대비 10% 이상 증가할 것으로 예상된다. 트렌드포스는 "최근 변화에 비춰볼 때 엔비디아는 CoWoS-L 기술을 활용하는 북미 서버 고객사에 B300 및 GB300 제품을 공급하는 데 집중할 가능성이 높다"고 밝혔다. CoWoS-L는 로컬실리콘인터커넥트(LSI)라는 소형 인터포저를 활용하는 기술이다.

2024.10.23 10:01장경윤

'델' 주도 AI 서버 시장, 엔비디아 최신 칩 등장 속 판도 변화 올까

생성형 인공지능(AI) 시장 확대와 맞물려 AI 가속기 기반 서버 수요가 폭발하면서 관련 업체들이 고객 확보 경쟁에 본격 나섰다. 각 업체들은 최신 AI 칩을 기반으로 한 신무기를 잇따라 선보이며 점유율 확대에 사활을 건 분위기다. 16일 블룸버그통신에 따르면 델 테크놀로지스는 엔비디아의 AI 가속기인 '블랙웰' 칩을 탑재한 서버를 다음 달부터 일부 고객에게 발송한다. 내년 초부터는 일반 고객에게도 제공될 예정이다. '블랙웰'은 기존 엔비디아 AI 칩인 'H100', 'H200' 등 호퍼(Hopper)를 이을 최신 칩으로, 올해 11월부터 본격적인 양산에 들어간다. 'GB200'은 엔비디아가 블랙웰 아키텍처로 생산된다. 블랙웰 AI 서버 시스템인 'GB200 NVL72'는 이미 출하되고 있는 상태로, 2개의 블랙웰 GPU와 엔비디아의 CPU인 그레이스를 하나로 연결한 GB200 슈퍼칩 36개로 구성됐다. 가격은 380만 달러에 달하며 엔비디아 'GB200' 출하의 대부분을 차지할 것으로 전망됐다. 델 테크놀로지스는 'GB200 NVL72' 시스템을 기반으로 한 파워엣지 'XE9712'를 현재 일부 고객들에게 샘플용으로 공급하고 있다. '블랙웰' 칩은 지난 8월 패키징 결함으로 출시가 다소 늦어질 것으로 예상됐으나 최근 본격 생산되기 시작하며 수요가 폭발적으로 늘어나고 있는 상태다. 특히 마이크로소프트, 오픈AI 등 빅테크들이 AI 데이터센터 구축을 위해 '블랙웰'을 대량 주문하면서 이미 12개월치 생산 물량이 매진됐다. 이 같은 상황에서 델 테크놀로지스는 엔비디아와의 끈끈한 협력 관계를 바탕으로 '블랙웰' 초기 물량 확보에 성공하며 AI 서버 시장에서 입지를 더 탄탄히 구축할 수 있게 됐다. 아서 루이스 델 테크놀로지스 인프라스트럭처 부문 사장은 "'블랙웰' 칩이 포함된 AI 기반 서버는 다음 달 일부 고객에게 보내져 내년 초에 일반 공급될 것"이라며 "다양한 서비스 및 제품으로 차별화한 덕분에 엔비디아의 최신 칩을 조기에 공급 받을 수 있었다"고 설명했다. 델 테크놀로지스는 현재 AI 작업용 고성능 서버 판매 사업 확장에 주력하고 있는 상태로, '블랙웰' 외에 AMD의 기술을 탑재한 AI 특화 서버 신제품 'XE7745'도 전날 공개해 고객들의 선택 폭을 넓혔다. 이 제품은 4U 공냉식 섀시에서 최대 8개의 이중 폭 또는 16개의 단일 폭 PCIe GPU와 AMD 5세대 에픽 프로세서를 지원한다. 이 제품은 AMD 5세대 에픽 프로세서를 탑재한 '델 파워엣지 R6715'와 '델 파워엣지 R7715' 서버와 함께 내년 1월까지 순차적으로 출시된다. 경쟁사인 HPE는 엔비디아 '블랙웰'의 대항마로 여겨지는 AMD의 '인스팅트 MI325X' 가속기를 탑재한 'HPE 프로라이언트 컴퓨트(ProLiant Compute) XD685'를 새로운 무기로 꺼내들었다. 이 서버는 대규모 언어 모델(LLM) 학습, 자연어 처리(NLP), 멀티모달 학습 등 고성능 인공지능(AI) 클러스터를 신속하게 배포할 수 있도록 설계된 제품이다. 또 5U 모듈형 섀시로 다양한 GPU, CPU, 구성 요소, 소프트웨어 및 냉각 방식을 수용할 수 있는 유연성을 갖추고 있다. 이번 일을 기점으로 HPE는 AMD와의 협력을 통해 앞으로 AI 서비스 제공업체, 정부, 대규모 AI 모델 개발자들이 요구하는 유연하고 고성능의 솔루션을 제공해 AI 경쟁에서 우위를 점하겠다는 목표를 가지고 있다. 트리시 댐크로거 HPE HPC 및 AI 인프라 솔루션 부문 수석 부사장은 "AMD와 협력해 HPE 프로라이언트 컴퓨트 XD685로 AI 혁신을 확장할 것"이라며 "AI 모델 개발자 시장의 수요에 부응하며 산업 전반에서 과학과 공학의 혁신을 가속화할 것"이라고 말했다. 슈퍼마이크로 역시 AMD '인스팅트 MI325X' 기반의 새로운 서버를 최근 선보였다. 이번에 출시한 'H14' 서버 포트폴리오는 슈퍼마이크로의 하이퍼 시스템, 트윈 멀티노드 서버 및 AI 추론 GPU 시스템을 포함하고 있다. 또 모든 제품이 공냉식 또는 수냉식 옵션으로 제공된다. 찰스 리앙 슈퍼마이크로 CEO는 "'H14' 서버는 에픽 9005 64코어 CPU를 탑재해 2세대 에픽 7002 시리즈 CPU를 사용하는 자사 'H11' 서버 대비 2.44배 더 빠른 성능을 제공한다"며 "고객은 데이터센터의 총면적을 3분의 2 이상 줄이고 새로운 AI 처리 기능을 추가할 수 있다"고 설명했다. 이처럼 각 업체들이 AI 시장을 노리고 잇따라 성능을 높인 새로운 서버를 출시하면서 업계에선 시장 판도에 변화가 생길 지 주목하고 있다. 전 세계 서버 시장은 현재 델테크놀로지스가 주도하고 있는 상태로, HPE와 슈퍼마이크로가 뒤를 잇고 있다. 특히 현재 5~7%가량의 점유율을 차지하고 있는 슈퍼마이크로는 GPU 기반 AI 서버 시장에서 존재감을 높이며 델 테크놀로지스를 점차 위협하고 있다. 미즈호증권 비제이 라케시 애널리스트에 따르면 2022~2023년 AI 서버 시장 내 슈퍼마이크로의 점유율은 80~100%에 달했다. 다만 델 테크놀로지스도 최근 들어 AI 서버 매출을 점차 늘리고 있다. 올해 5~7월에는 31억 달러가 출하됐고, 지난해 5월부터 올해 4월까지는 60억 달러가량의 AI 서버가 판매됐다. 업계 관계자는 "AI 서비스에 대한 수요가 증가함에 따라 자연스럽게 AI 서버에 대한 수요도 함께 늘어나고 있다"며 "우수한 설계 능력과 강력한 AI 파트너십을 바탕으로 존재감을 드러내고 있는 슈퍼마이크로가 향후 델, HPE 등 경쟁사들의 점유율을 빼앗을 가능성이 높다"고 말했다. 아거스리서치 애널리스트들은 "슈퍼마이크로는 AI 시대를 선도하는 컴퓨터 및 서버 업체"라며 "지난 1년간 큰 폭의 이익을 얻었는데 앞으로도 수년 동안 강력한 매출 성장과 마진 확대, 주당순이익(EPS) 가속화에 대비하고 있다"고 평가했다.

2024.10.16 11:51장유미

엔비디아 시총 또 역대최고…3조4천억 달러 돌파

인공지능(AI) 칩 수요가 증가하면서 엔비디아의 주가가 역대 최고치를 기록했다. 엔비디아 주가는 14일(현지시간) 전 거래일보다 2.4% 가량 상승한 138.07달러에 마감하면서 6월18일 기록한 종전 최고가 135.58달러를 넘어섰다.CNBC 등 외신들이 보도했다. 올 들어 엔비디아 주가는 거의 180% 상승했으며 2023년 초 이후 9배 이상 급등한 상태다. 이날 시가총액도 3조4천억 달러로 늘어나면서 시총 1위 애플과의 격차도 좁혔다. 애플의 시가총액은 3조5천억 달러 수준이다. AI 반도체 대장주인 엔비디아는 2022년 11월 오픈AI의 챗GPT가 출시되면서 시작된 생성형 AI 열풍의 최대 수혜자다. 엔비디아의 그래픽 처리장치(GPU)는 챗GPT를 비롯한 고급 AI 모델을 만들고 배포하는 데 사용된다. 현재 마이크로소프트, 메타, 구글, 아마존을 비롯한 많은 회사들이 AI를 위한 대규모 컴퓨터 클러스터를 구축하기 위해 엔비디아 GPU를 대량 구매하고 있다. 이 회사들은 모두 이번 달 말까지 분기별 실적을 보고할 예정이다. 빅테크 기업들이 이번 달 실적 발표를 앞두고 AI 인프라에 대한 지출 계획에 대한 업데이트가 발표될 것으로 전망되면서 이에 대한 기대감 때문으로 엔비디아의 주가가 상승하고 있는 것으로 분석됐다. 또, 엔비디아는 최근 차세대 AI GPU인 블랙웰 수요가 ”미친 수준”이라며, "4분기에 이 신제품에서 수십억 달러의 매출을 기대하고 있다"라고 밝힌 바 있다. 이에 이번 분기부터 양산에 돌입하는 블랙웰 수요에 대한 기대감이 작용하는 것으로 풀이된다. 투자은행 미즈호의 분석가에 따르면, 기술 대기업들이 매년 AI 구축에 지출하는 수십억 달러 중 상당 부문이 엔비디아에 투자되고 있는 것으로 알려졌다. 엔비디아는 AI 학습 및 추론 칩 시장의 약 95%를 장악하고 있다. 엔비디아의 매출은 지난 5분기 동안 매 분기마다 2배 이상 증가했으며, 그 중 3분기 동안에는 적어도 3배 이상 증가한 것으로 알려져 있다. 시장조사업체 LSEG에 따르면, 올해 남은 기간 동안 성장은 약간 둔화될 것으로 예상되며, 분석가들은 회계연도 3분기(8~10월) 전년 동기 대비 약 82% 증가한 329억 달러에 이를 것으로 예상하고 있다.

2024.10.15 08:41이정현

젠슨 황 엔비디아 CEO, 내년 CES 2025서 기조연설 나서

젠슨 황 엔비디아 CEO가 내년 1월 초 미국 네바다 주 라스베이거스에서 열리는 CES 2025 기간 중 기조연설을 진행한다. CES를 주최하는 미국 소비자기술협회(CTA)가 7일(미국 현지시간) 이렇게 밝혔다. 젠슨 황은 2019년 1월 이후 CES 기조연설을 직접 진행한 적이 없다. 2020년 이후 올 초까지 제프 피셔 엔비디아 GPU 사업부문 수석부사장이 이를 담당했다. 젠슨 황 CEO는 기조연설에서 올 연말부터 출하 예정인 서버용 AI GPU '블랙웰'(Blackwell)의 도입 사례와 진척 상황, PC용 GPU인 지포스 RTX 50 시리즈 등을 소개할 것으로 예상된다. 게리 샤피로 CTA CEO는 "내년 CES 2025의 기조연설자로 젠슨 황을 맞이하게 되어 매우 기쁘다"면서 "젠슨은 기술 업계의 진정한 비저너리이다. 그의 통찰과 혁신은 세상과 경제를 발전시키고 CES 오디언스에게 영감을 줄 것"이라고 밝혔다. CES 2025는 내년 1월 7일부터 10일까지 4일간 미국 네바다 주 라스베이거스에서 열린다. 지난 9월 말부터 업계 관계자와 미디어 종사자 대상으로 현장참가 등록접수를 시작했다. 내년에는 라스베이거스 컨벤션센터(LVCC) 웨스트홀에 다양한 이동 수단을 다루는 '모빌리티 스테이지'를 포함해 양자 컴퓨팅, 에너지 전환 등 전시관 및 프로그램이 신설된다. 젠슨 황 CEO는 공식 개막 하루 전인 1월 6일 오후 6시 30분(미국 현지시각, 한국시각 7일 오전 11시 30분) 기조연설을 진행한다. 기조연설은 엔비디아 공식 유튜브 채널 등을 통해 실시간 중계된다.

2024.10.08 08:44권봉석

"엔비디아, 블랙웰 일부 제품 개발 중단 추정"

엔비디아가 이르면 올 4분기부터 주요 고객사에 공급할 서버용 AI GPU '블랙웰' 제품 중 서버용 랙 두 개에 최대 72개 GPU를 수납하는 'GB200 NVL36×2' 출시를 잠정 중단했다는 관측이 나왔다. 궈밍치 홍콩 텐펑증권 애널리스트는 2일 자신이 운영하는 미디엄 계정에 공급망 조사 결과를 토대로 "엔비디아는 랙 두 개를 활용하는 'GB200 NVL36×2' 대신 랙 하나에 같은 수의 GPU를 수납할 수 있는 'GB200 NVL72'에 집중할 것"이라고 밝혔다. 엔비디아 블랙웰은 두 개의 블랙웰 GPU와 72코어 그레이스 CPU를 결합한 AI 가속기 'GB200'을 여러 개 늘리는 방식으로 구성된다. GPU 연결에는 엔비디아 독자 개발 기술인 NV링크(NVLink)가 동원된다. 궈밍치는 "엔비디아는 GB200 공개 당시 NVL36, NVL72, NVL36×2 등 세 가지 형태를 동시 개발하고 있었지만 기술적인 문제로 NVL36×2 대신 서버용 랙을 한 개만 쓰는 NVL72만 공급할 것"이라고 전망했다. 이어 "NVL72는 데이터센터 공간을 줄이고 추론 효율을 높이며 마이크로소프트 등 대형 고객사도 NVL36×2보다는 NVL72를 선호한다. 그러나 평균 132킬로와트(kW)에 이르는 전력 소모와 냉각 문제 등이 걸림돌"이라고 덧붙였다. 궈밍치는 공급망 관계자에게 수집한 정보를 바탕으로 "엔비디아는 GB200 NVL72 양산 시기를 내년 상반기로 예상했지만 실제로는 내년 하반기까지 연기될 수 있다"고 전망했다.

2024.10.02 08:53권봉석

젠슨 황 엔비디아 "필요시 TSMC 외 파운드리 이용할 수도"

인공지능(AI) 반도체 선두업체인 엔비디아의 젠슨 황 최고경영자(CEO)가 대만 TSMC 외에 다른 업체에 AI 칩 생산을 맡길 수 있다고 언급했다. 이는 삼성전자 파운드리에 위탁할 가능성으로 해석된다. 블룸버그통신에 따르면 젠슨 황 CEO는 11일(현지시간) 미국 캘리포니아주 샌프란시스코 팰리스 호텔에서 열린 골드만삭스 그룹 주최 테크 컨퍼런스 기조연설에서 "TSMC의 민첩성과 우리의 요구에 대응하는 능력이 우수하기에 (그들을) 사용하고 있다"라며 "다만, 필요하다면 다른 업체를 사용할 수 있다"고 말했다. 현재 첨단 공정에서 칩을 생산할 수 있는 파운드리는 TSMC와 삼성전자 뿐이다. 따라서 황 CEO가 언급한 다른 업체는 삼성전자로 여겨질 수 있는 부분이다. 다만, 황 CEO는 다른 업체를 이용할 경우 품질 저하가 이어질 수 있다는 점도 우려했다. 그는 "엔비디아는 기술의 대부분을 자체적으로 개발하고 있으며, 이를 통해 다른 공급업체로 주문을 전환할 수 있다. 하지만 이런 변화는 칩의 품질을 떨어뜨릴 가능성이 크다"고 밝혔다. 엔비디아는 AI 반도체 시장에서 80% 점유율을 차지하며, '호퍼' 시리즈(H100·H200)와 차세대 칩 '블랙웰'을 모두 TSMC에 맡기고 있다. 이날 황 CEO는 "최신 칩 블랙웰에 대한 시장의 수요가 강력하다"라고 강조하며 2025년 회계연도 4분기(2024년 11월부터 2025년 1월까지) 기준 블랙웰에서 수십억달러의 수익을 올릴 것으로 기대했다. 엔비디아 AI 반도체의 대부분은 매출은 마이크로소프트, 메타 등의 데이터센터에 의존하고 있다. 이에 그는 "기업들이 가속 컴퓨팅을 받아들이는 것 외에 선택의 여지가 없다"며 일축했다. 그러면서 "우리(엔비디아) 기술은 기존의 데이터 처리를 가속할 뿐만 아니라 기존 기술로는 처리할 수 없는 AI 작업도 처리할 수 있다"며 자신감을 보였다. 이날 뉴욕증시에서 엔비디아 주가는 전날 대비 8.03% 급등한 116.78달러에 거래를 마치며 6주 만에 가장 높은 상승률을 보였다.

2024.09.12 10:45이나리

롯데에너지머티, 엔비디아에 동박 공급 '목전'…AI 수혜 입나

롯데에너지머티리얼즈가 인공지능(AI) 가속기 1위 기업인 엔비디아에 동박 공급 절차를 밟고 있는 것으로 확인됐다. 3일 관련 업계에 따르면 롯데에너지머티리얼즈는 엔비디아의 차세대 AI 가속기용 그래픽연산장치(GPU) '루빈'에 동박을 공급하기 위한 제품 심사를 받고 있다. 최종 고객사인 엔비디아 승인에 앞서, 엔비디아에 동박적층판(CCL)을 납품하는 국내 기업에 제품 승인을 받은 상태다. 루빈은 엔비디아가 오는 4분기 출시를 예고한 AI 가속기용 GPU '블랙웰'의 후속 제품으로 오는 2026년 출시를 앞뒀다. 루빈은 엔비디아 AI 가속기용 GPU 중 처음으로 6세대 고대역폭메모리(HBM4)가 탑재되는 제품이다. AI가속기용 GPU에는 네트워크용 초저조도 동박이 탑재된다. 고속 데이터 전송이 필요한 서버, 라우터, 스위치 같은 고성능 장비에 사용되며 50GHz의 고속 신호 전송 과정에서 신호 손실이 적고 나노 표면처리 기술을 적용해 접착력도 강력한 점이 특징이다. 롯데에너지머티리얼즈는 HVLP 4세대 동박으로 국내 CCL 기업에 제품 승인을 받았다. HVLP 3세대 동박까지인 시중 네트워크용 초저조도 동박의 다음 세대 제품으로 HVLP 3세대 대비 처리면 조도가 낮다. 앞서 롯데에너지머티리얼즈는 지난달 7일 2분기 실적 컨퍼런스콜에서 고객사를 밝히진 않았지만, AI 가속기용 동박 납품 상황을 공유했다. 당시 김연섭 롯데에너지머티리얼즈 대표는 “업계 최초로 AI가속기 모델 향으로 HVLP 4세대 동박의 국내 고객사 최종 퀄테스트를 통과했다”며 “북미 엔드유저의 최종 퀄테스트 통과가 임박했고 내년부터는 본격적으로 북미 엔드유저의 차세대 AI 가속기에 HVLP 4세대 동박을 공급할 예정”이라고 했다. 아울러 HVLP 5, 6세대 제품도 개발을 마쳐 고객사 퀄테스트를 받고 있다고도 덧붙였다. 롯데에너지머티리얼즈 관계자는 "고객사 관련 내용은 확인이 어렵다"고 답했다. 업계에 따르면 엔비디아 블랙웰의 경우 다른 국내 기업인 솔루스첨단소재가 네트워크용 초저조도 동박 단일 공급사로 채택됐다. 차세대 제품인 루빈의 경우 롯데에너지머티리얼즈가 동박 납품에 보다 속도를 내고 있는 것이다. 솔루스첨단소재 관계자는 루빈 관련해 “CCL 기업에 샘플을 공급해 테스트를 받고 있다"며 “벤더사 관련해 결정된 사항은 아무 것도 없으며, 중간 고객사를 거쳐 최종 고객사가 승인해 벤더사를 확정하기까진 약 1~2년의 시간이 걸린다”고 했다. 생성AI로 대두된 AI 기술력 확보 경쟁이 장기 지속돼 루빈 등 AI 가속기용 GPU 시장이 계속 활황을 맞을 경우 동박업계 수혜도 기대된다. 후지 키메라 종합 연구소에 따르면 HVLP 1~4세대를 아우른 네트워크용 초저조도 동박시장 글로벌 규모는 올해 1조1천억원에서 2028년 2조 5천200억원까지 확대될 전망이다.

2024.09.03 14:00김윤희

엔비디아 2Q 호실적에도 주가 하락…삼성·SK하이닉스 동반↓

엔비디아가 28일(현지시간) 2분기 실적에서 시장 전망치를 상회하는 실적을 내고도 주가는 시간외 거래에서 급락했다. 이에 영향을 받아 SK하이닉스와 삼성전자도 동반 약세를 보이고 있다. 29일 오전 11시 29분 기준 삼성전자는 전일 대비 2천200원(2.88%) 내린 7만4천200원에 거래되고 있다. SK하이닉스도 전일 대비 1만600원(5.91%) 급락한 16만8천700원에 거래 중이다. SK하이닉스와 삼성전자는 엔비디아에 고대역폭 메모리(HBM)을 납품한다. 인공지능(AI) 대장주인 엔비디아가 지난 2월, 5월 실적을 발표할 때마다 주가가 급등하고, AI와 메모리 기업의 주가에 영향을 끼쳐왔다. 이번 엔비디아 실적 발표에서도 삼성전자와 SK하이닉스를 비롯해 국내 반도체주는 줄줄이 급락을 보였다. 이는 엔비디아의 분기 실적이 시장의 기대에 미치지 못한 것과 더불어 블랙웰 칩 생산 지연에 대한 우려 때문으로 풀이된다. 엔비디아는 2분기 컨콜에서 블랙웰 지연설에 대해 부인하며 4분기에 출시할 예정이라고 밝혔다. 다만, 블랙웰 생산에서 결함으로 인해 마스크를 변경했다는 점은 인정했다. 엔비디아 회계연도에서 4분기는 11월~익년 1월에 해당되므로, 블랙웰은 내년 1월에 출시될 수 있다는 의미다. 블랙웰 출시 지연은 메모리 업체의 HBM 공급 물량 계획에 차질을 초래할 수 있다. SK하이닉스는 엔비디아 블랙웰에 HBM3E 8단을 공급하며, 삼성전자는 현재 퀄테스트(품질테스트)를 받는 중이다. 엔비디아는 올 2분기에 300억4천만 달러(40조1천785억원)의 매출로 전년 동기 대비 122% 증가했다. 시장조사업체 LSEG가 전망한 월가 예상치 매출 287억 달러를 웃돈 실적이다. 2분기 영업이익은 186억 4천200만 달러(약 24조9천336억원)로 전년 동기 대비 2.74배 늘어났다. 엔비디아는 올 3분기 매출은 325억 달러에 이를 것으로 전망했다. 이 역시 월가 전망치 317억 달러를 상회하는 수준이다. 이에 엔비디아 주가는 뉴욕 증시 정규장에서 2.10% 하락 마감한 뒤 실적 발표 후 시간 외 거래에서 6.89% 하락했다.

2024.08.29 11:43이나리

엔비디아 "블랙웰 GPU 수율 개선 위해 마스크 변경"

엔비디아가 28일(현지시간) 2분기(5-7월, 회계연도 기준 2025년 2분기) 실적발표를 통해 올 연말 출시할 AI 가속용 GPU '블랙웰'(Blackwell) 생산 절차 중 일부를 개선했다고 밝혔다. 블랙웰은 엔비디아가 'GTC 2024'에서 공개한 차세대 AI 가속용 GPU로 오는 4분기부터 공급 예정이다. 대만 TSMC의 4나노급 공정(N4P)으로 만든 반도체 다이(Die) 두 개를 연결해 만든 칩이며 2천80억 개의 트랜지스터를 집적했다. 이달 초 미국 디인포메이션과 대만 공상시보는 소식통을 인용해 "블랙웰 출시 시기가 생산 과정 중 발견된 문제로 내년 1분기로 지연됐다"고 보도했다. 그러나 엔비디아는 "블랙웰 시제품이 여전히 공급되고 있으며 생산에 문제가 없다"는 입장을 고수했다. 이날 콜렛 크레스 엔비디아 CFO(최고재무책임자)는 "블랙웰 GPU 생산 수율 개선을 위해 마스크(Mask)를 변경했다"고 밝혔다. 마스크는 반도체 생산 공정에서 실리콘에 회로 패턴을 새기기 위해 쓰이는 유리판이며 한 번 만들어지면 수정이 불가능하다. 엔비디아가 '이미 설계를 마친(테이프아웃) 블랙웰 GPU에서 모종의 문제점을 발견해 이를 개선해야 했다'고 우회적으로 시인한 것이다. 엔비디아는 이날 블랙웰 GPU로 수행한 ML퍼프(MLPerf) 테스트 결과도 제출했다고 밝혔다. ML퍼프는 전세계 AI 관련 반도체·소프트웨어 기업과 학계 등이 참여하는 컨소시엄 'ML커먼스'(MLCommons)가 주관하는 머신러닝 성능 측정 지표다. 엔비디아 뿐만 아니라 인텔 등 주요 제조사가 CPU와 GPU 성능 측정 결과를 제출한다. 엔비디아는 "블랙웰 GPU는 ML퍼프의 '추론 v4.1'(Inference v4.1) 테스트에 포함된 메타 라마2 700억개 매개변수 벤치마크에서 H100 대비 4배 이상의 성능을 냈다"고 밝혔다. 엔비디아는 지난 해 11월 공개한 호퍼 기반 AI 가속기인 H200이 예정대로 출시돼 미국 클라우드 컴퓨팅 스타트업 코어위브(CoreWeave)에 공급됐다고 밝혔다. H200은 H100 GPU를 업그레이드한 제품이며 SK하이닉스가 공급한 HBM(고대역폭메모리)인 HBM3e 141GB를 탑재했다. H100 대비 메모리 용량은 1.8배, 대역폭은 1.4배 늘어났다. 엔비디아가 ML퍼프에 제출한 벤치마크 자료에 따르면, H200 GPU 8개로 구성한 클러스터는 모든 워크로드에서 H100 대비 최대 1.5배 이상 높은 성능을 낸다.

2024.08.29 08:46권봉석

엔비디아, 2분기 영업익 24조…전년比 2.74배 증가

엔비디아가 28일(현지시간) 2분기(5-7월, 회계연도 기준 2025년 2분기) 실적을 발표했다. 매출은 300억 4천만 달러(약 40조 1천785억원), 영업이익은 186억 4천200만 달러(약 24조 9천336억원)로 전년 동기 대비 각각 2.22배, 2.74배 늘어났다. 엔비디아는 지난 5월 1분기(2-4월) 실적 발표 당시 올 2분기 매출을 280억 달러(약 38조 2620억원)로 예상했다. 그러나 실제 매출은 자체 예상을 7% 이상 초과 달성한 300억 달러를 기록했다. 2분기 매출 대부분은 AI 가속용 GPU를 공급하는 데이터센터 부문에서 나왔다. 데이터센터 부문 매출은 263억 달러(약 35조 1천762억원)로 2분기 전체 매출의 87%에 달하며 전년 동기 대비 2.5배 늘어났다. 데스크톱PC·노트북용 지포스 GPU를 공급하는 게이밍 부문 매출은 29억 달러(약 3조 8천787억원)로 전년 대비 16% 증가했다. 각종 설계 분석 등에 쓰이는 쿼드로 등 워크스테이션 칩 매출은 4억 5천400만 달러(약 6천72억원), 자동차와 로봇 부문 매출은 3억4천600만 달러(약 4천627억원)로 집계됐다. 젠슨 황 최고경영자(CEO)는 "(현행 제품인) 호퍼 기반 GPU 수요가 여전히 강력하며 차세대 GPU '블랙웰' 관련 관심도 크다"며 "글로벌 데이터센터가 가속 컴퓨팅과 생성 AI에 맞춰 지속적으로 현대화하는 과정에서 기록적인 실적을 달성했다"고 밝혔다. 엔비디아는 올 3분기(8-10월) 매출을 325억 달러(약 43조 4천687억원)로 예상했다. 분기별 배당금은 지난 6월 초순 액면분할에 따라 주당 10센트에서 1센트로 바뀌었으며 오는 10월 1일 지급될 예정이다(배당락일 9월 12일).

2024.08.29 07:35권봉석

엔비디아, 차세대 AI GPU '블랙웰' 지연설 부인

엔비디아가 차세대 GPU '블랙웰' 출시 지연설을 부인했다. 이달 초 미국 디인포메이션과 블룸버그가 소식통을 인용해 "블랙웰 출시 시기가 내년 1분기로 연기됐다"고 보도한 내용을 우회적으로 반박했다. 엔비디아는 반도체 업계 학술행사 '핫칩스 2024'를 앞두고 진행된 사전 브리핑에서 "블랙웰 GPU는 원활히 생산돼 사내 데이터센터에서 구동 중이며 연말에 차질 없이 공급될 것"이라고 밝혔다. ■ TSMC N4P 기반 블랙웰 GPU, 3월 첫 공개 블랙웰 GPU는 지난 3월 GTC 2024 행사에서 처음 공개된 엔비디아 차세대 AI 가속용 GPU다. 대만 TSMC의 4나노급 공정(N4P)으로 만든 반도체 다이(Die) 두 개를 연결해 만든 칩이며 2천80억 개의 트랜지스터를 집적했다. 다이 두 개는 초당 10TB(테라바이트)의 데이터를 주고 받으며 하나의 칩처럼 작동하며 블랙웰 두 개와 그레이스(Grace) CPU 한 개로 최소 단위인 GB200 한 개가 구성된다. 젠슨 황 엔비디아 CEO는 지난 6월 컴퓨텍스 기조연설에서 "GTC 2024에서 공개한 블랙웰은 개발 단계 제품이며 현재는 블랙웰이 순조롭게 양산에 들어갔다"며 실제 제품을 공개하기도 했다. ■ 디인포메이션·공상시보, 블랙웰 출시 지연설 제기 이달 초 미국 디인포메이션과 대만 공상시보는 소식통을 인용해 "블랙웰 출시 시기가 내년 1분기로 지연됐다"고 보도했다. 디인포메이션은 공급망 관계자를 인용해 "엔비디아가 블랙웰의 설계에 문제를 겪고 있으며 메타, 마이크로소프트, 구글 등 주요 고객사에 이미 통보를 마친 상태"라고 설명했다. 대만 공상시보는 "엔비디아의 핵심 협력사인 TSMC가 블랙웰 GPU를 연결하는 인터커넥트의 결함을 발견했다는 설이 있지만 이를 확인하기는 어렵다. 그러나 마이크로소프트 등 주요 고객사가 블랙웰 기반 AI 클러스터를 만들겠다는 계획이 내년 중반 이후로 미뤄질 가능성이 있다"고 보도했다. 이에 대해 엔비디아는 "호퍼 기반 H시리즈 수요가 여전히 크며 블랙웰 시제품 공급이 시작됐고 하반기부터 계획대로 양산에 들어갈 것이다. 시장의 루머에는 답변하지 않는다"고 밝혔다. 엔비디아 서버용 랙(복수의 서버를 저장할 수 있는 특수 프레임)을 제작하는 대만 폭스콘 역시 지난 14일 2분기 실적발표 자료를 통해 "GB200 랙 개발 일정이 순조롭게 진행되고 있다"며 "폭스콘이 확실히 첫 공급업체가 될 것이고, 출하는 올 4분기에 시작될 것"이라고 설명했다. ■ 엔비디아 "블랙웰 양산·출시 일정 변함 없다" 엔비디아는 25일(미국 현지시간)부터 3일간 미국 캘리포니아 주 스탠포드대학교에서 열리는 반도체 업계 학술행사 '핫칩스 2024'(Hot Chips 2024)를 앞두고 진행한 온라인 브리핑에서 블랙웰 출시 지연설을 반박했다. 엔비디아는 23일 진행된 'AI 미디어 프리브리핑'에서 "블랙웰 GPU는 원활히 생산돼 사내 데이터센터에서 구동 중이며 이미 밝힌 바와 같이 양산에 들어가 올 연말 고객사에 전달될 것"이라고 설명했다. 엔비디아는 브리핑 중 블랙웰 기반 서버 블레이드 사진과 함께 실제 설치된 사내 서버실 사진도 공개했다. ■ "블랙웰 출시 지연 사실이라 해도 영향 적어" 엔비디아는 오는 28일(미국 현지시간) 2분기 실적을 발표 예정이다. 해당 기간 전까지 주가에 크게 영향을 미칠 수 있는 사안에 대해서는 구체적으로 언급하지 않는 것이 관례다. 그러나 차세대 제품인 블랙웰 GPU 지연설이 악영향을 미친다는 판단 아래 이례적으로 이를 반박한 것으로 추정된다. 2분기 실적 발표에서도 블랙웰 출시 일정 관련 어떤 형태로든 언급이 있을 것으로 보인다. 미국 뉴욕 소재 시장조사업체인 멜리우스 리서치는 "엔비디아 매출 중 전세대 제품인 호퍼 기반 H100과 H200이 메타 라마4(Llama 4), 오픈AI GPT-5 등 LLM(거대언어모델) 훈련에 대거 투입되고 있으며 블랙웰 출시가 지연되더라도 엔비디아의 손실은 극히 낮을 것"이라고 추정했다.

2024.08.26 16:39권봉석

폭스콘 "엔비디아 GB200 서버, 계획대로 4분기 출하"

대만 폭스콘이 엔비디아의 최신형 AI 가속기 'GB200'을 당초 계획대로 올 4분기 출하될 것이라고 14일(현지시간) 밝혔다. 폭스콘은 2분기 실적발표 자료를 통해 "GB200 랙(복수의 서버를 저장할 수 있는 특수 프레임) 개발 일정이 순조롭게 진행되고 있다"며 "폭스콘이 확실히 첫 공급업체가 될 것이고, 출하는 올 4분기에 시작될 것"이라고 설명했다. GB200은 엔비디아가 지난 3월 공개한 최신형 GPU인 '블랙웰' 기반의 AI 가속기다. 블랙웰은 4나노미터(nm) 공정을 채택하고, 트랜지스터를 2천80억 개 집적한 것이 특징이다. 두 개의 블랙웰 GPU와 72코어의 그레이스 CPU를 결합하면 GB200이 된다. 폭스콘은 세계 최대 위탁생산업체로서, 엔비디아의 GB200을 도입해 서버 랙을 제작하고 있다. 이달 초 미국 테크 전문매체 디인포메이션 등에서는 엔비디아의 GB200이 설계 결함으로 수율에 문제가 생겼다고 보도한 바 있다. 당시 디인포메이션은 "엔비디아가 마이크로소프트 등 고객사에 GB200의 결함 사실을 알렸다"며 "내년 1분기까지 블랙웰 칩의 대량 출하가 이뤄지지 않을 것으로 예상된다"고 밝혔다. 폭스콘의 이번 발표는 엔비디아를 둘러싼 불안을 잠재우려는 의도로 해석된다. 폭스콘은 "올해 AI 서버가 자사 전체 서버 수익의 40%를 기여할 것이라는 견해를 고수한다"며 "AI 서버에 대한 강력한 수요는 내년에도 지속돼, 향후 폭스콘의 차기 1조 달러 수익 산업이 될 것"이라고 밝혔다.

2024.08.16 08:58장경윤

엔비디아, AI 칩 '블랙웰' 설계 결함 발견...공급 내년으로 지연

엔비디아가 차세대 AI 가속기 '블랙웰(코드명)'이 설계 결함으로 공급이 내년 1분기로 지연된다는 보도가 나왔다. 3일(현지시간) 미국 테크 전문매체인 디인포메이션은 소식통 2명을 인용해 "블랙웰이 설계 결함으로 인해 3개월 이상 출시가 지연될 수 있다"고 보도했다. 같은날 블룸버그 또한 해당 소식을 인용 보도하며 큰 이슈로 다뤘다. 디인포메이션은 "블랙웰 GPU를 연결하는 프로세서 다이에서 문제가 발생했다"라며 "엔비디아는 칩 생산을 담당하는 TSMC와 문제를 해결하고 있는 중이다. 2025년 1분기까지 블랙웰의 대량 양산이 쉽지 않을 것으로 보인다"고 덧붙였다. 블랙웰은 엔비디아가 지난 3월 GTC 행사에서 공개한 차세대 AI 가속기다. 제품명은 'B100', 'B200'으로 올 하반기부터 순차적 출시를 앞두고 있었다. 블랙웰은 2080억개 트랜지스터가 집적돼 있어 전작인 'H100' 보다 AI 성능이 4배 개선되고 에너지 비용을 절감할 수 있어 데이트센터의 업체의 주문이 쏟아졌다. 그러나 이번 공급 지연으로 브랙웰을 선주문한 마이크로소프트, 메타, 구글 등이 큰 피해를 입을 것으로 보인다. 익명을 요청한 마이크로소프트 직원은 "엔비디아가 이번주에 블랙웰 시리즈가 결함으로 생산이 지연됐음을 알렸다"고 전했다. 이번 생산 지연은 고대역폭메모리(HBM)을 공급하는 메모리 업계에도 영향을 줄 것으로 보인다. AI 가속기는 그래픽처리장치(GPU)에 HBM을 패키징해서 만드는 반도체다. 블랙웰 출시 지연은 메모리 업체의 HBM 공급 물량 계획에 차질을 초래할 수 있기 때문이다. 블랙웰은 엔비디아의 AI 가속기 중에서 처음으로 5세대 HBM(HBME3E) 8단 제품이 탑재될 예정이었다. 엔비디아에 가장 많은 물량을 공급하는 SK하이닉스는 올해 상반기부터 HBM3E 8단을 공급해 왔으며, 삼성전자는 하반기 공급 확정을 목표로 현재 퀄테스트(품질테스트)를 받는 중이다. 이번 사건은 엔비디아의 주가에도 부정적 영향을 미칠 것으로 예상된다. 아울러 엔비디아는 미국 범무부로부터 독점금지법 위반 혐의에 대해 조사받고 있어 업계의 주목을 받고 있다. 이번 조사에서 법무부는 엔비디아가 AMD 같은 경쟁사로부터 AI 칩을 구매하기를 원하는 고객들에게는 더 높은 가격을 부과했는지 여부에 초점을 맞추고 있다.

2024.08.04 08:51이나리

"엔비디아, TSMC에 AI 칩 '블랙웰' 주문량 25% 확대"

엔비디아가 TSMC에 의뢰한 최신 AI 반도체 '블랙웰(Blackwell)'에 대한 주문량을 당초 대비 25% 늘렸다고 대만 연합보가 15일 밝혔다. 연합보는 "TSMC가 가까운 시일 내에 엔비디아의 블랙웰 아키텍처 기반 GPU(그래픽처리장치)의 생산을 시작한다"며 "이는 AI 시장이 전례 없는 호황을 누리고 있다는 의미일 뿐만 아니라, TSMC의 하반기 실적에 강력한 성장요인이 될 것"이라고 밝혔다. 블랙웰은 엔비디아가 지난 3월 공개한 최신형 AI 반도체다. 3분기부터 양산에 들어가, 연말께 본격적으로 출시될 예정이다. 블랙웰은 2천80억개의 트랜지스터를 집적해, 이전 세대인 H100 대비 데이터 연산 속도를 2.5배가량 향상시킨 것이 특징이다. TSMC의 4나노미터(nm) 공정을 활용한다. 블랙웰은 전력 소모량에 따라 B100, B200 등의 모델로 나뉜다. 두 개의 블랙웰 GPU와 72코어의 그레이스 CPU를 결합하면 'GB200'라는 AI 가속기가 된다. 이 GB200을 여러 개 연결하면 서버 랙 스케일 솔루션인 'GB200 NVL'을 만들 수 있다. 연합보는 업계 관계자를 인용해 "아마존, 델, 구글, 메타, 마이크로소프트 등 주요 해외 기업들이 AI 서버 구축을 위해 예상보다 많은 B100 칩을 주문했다"며 "이에 엔비디아가 TSMC에 주문량을 25% 늘렸다"고 설명했다. 이에 따라 B100 기반의 엔비디아 서버 솔루션인 'GB200 NVL72', 'GB200 NVL36' 출하량은 기존 4만대에서 6만대로 50% 증가할 전망이다. 이 중 GB200 NVL36은 출하량이 5만대에 달해 가장 많을 것으로 전망된다. 업계는 GB200 NVL72의 가격을 300만 달러로 주장하고 있다. GB200 NVL36의 예상가격은 180만 달러 수준이다.

2024.07.15 11:03장경윤

[유미's 픽] "블랙웰부터 수랭식 도입해라"…엔비디아 경고에 韓 데이터센터 '이것' 관심

"차기 그래픽처리장치(GPU)인 '블랙웰'부터는 데이터센터에 수랭식(흐르는 물)을 도입하기 바랍니다." 전 세계 인공지능(AI) 칩 시장을 장악한 엔비디아가 최근 데이터센터를 운영하는 업체들을 향해 이처럼 경고하고 나섰다. AI 열풍으로 고성능 GPU 도입이 늘어나면서 현재 공랭식 위주로 운영되는 데이터센터에서 열 관리가 감당되지 않는다고 판단돼서다. 9일 업계에 따르면 국내서 자체 데이터센터를 보유하고 있는 삼성SDS, LG CNS 등 일부업체들은 최근 수랭식보다 한 단계 더 발전한 '액침냉각' 시스템 도입을 잇따라 추진 중인 것으로 파악됐다. 온도가 일정 수준 이상 올라가면 화재 위험이 커지는 데다 서버를 식히는 냉각장치에 들어가는 전기 소비량이 갈수록 늘어나는 만큼, 에너지 낭비를 줄이기 위해 국내 기업들도 대안 찾기에 적극 나선 분위기다. 액침냉각 시스템은 특수 액체인 냉각유에 데이터 서버 등을 담가 열을 식히는 열관리 기술로, 기존의 공기 냉각 방식에 비해 훨씬 높은 냉각 성능을 제공한다. 또 기존에 일부 부품에만 냉각 시스템을 적용했던 것에서 한 걸음 나아간 기술이란 평가도 받는다. 기존에 많이 쓰이던 수랭식, 공랭식 시스템은 기계를 차가운 물이나 공기를 활용해 식히는 간접적인 냉각 방식이다. 반면 액침냉각은 액체 상태의 냉각유가 기계를 휘감아 온도를 내리는 더 직접적인 냉각 시스템으로 분류된다. 수랭식 시스템은 차가운 공기 활용해 열을 식히는 공랭식보다 약 20% 적은 에너지를 사용하는 것으로 알려졌다. 액침냉각은 공랭식보다 전력효율을 약 30% 이상 개선할 수 있는 것으로 전해졌다. 이에 업계에선 액침냉각이 데이터센터의 전력 사용량을 절감하고 향후 운용 비용을 낮출 뿐 아니라 공간 활용도를 높이는 데 더 기여한다는 점에서 크게 주목하고 있다. 업계 관계자는 "현재 많이 쓰이는 공기 냉각 방식은 전력 사용 효율성이 액침냉각 기술보다 낮은데다 소음도 높다"며 "초기 비용과 운영 비용을 고려해야 하지만, 전력 비용 절감과 높은 냉각 성능을 고려하면 장기적인 비용 절감 효과를 기대할 수 있다"고 설명했다. 국내에서 액침냉각에 가장 큰 관심을 보이고 있는 곳은 SK텔레콤이다. 지난해 11월 인천사옥에 AI 서비스를 위한 전용 데이터센터를 구축하며 액침냉각 기술을 이곳에 올 하반기 중 본격 도입하겠다는 계획을 밝힌 바 있다. 이를 위해 SK텔레콤은 업계 최초로 실제 IDC 환경에서 액침냉각 기술 효과를 입증했다. SK엔무브, 미국 GRC와 손잡고 지난해 6월부터 약 4개월간 테스트를 진행한 결과, 기존 공랭식 대비 냉방 전력의 93%, 서버 전력에서 10% 이상 절감돼 총 전력 37%를 줄일 수 있었던 것으로 분석됐다. 삼성SDS는 지난 2022년 12월 가동을 시작한 동탄 데이터센터에 수랭식 시스템과 함께 액침냉각 시스템 적용을 위한 관련 인프라도 갖춰놓은 상태다. 다만 국내 기업들이 비용 부담과 함께 액침냉각에 대한 신뢰가 적어 적극 활용에 나서지 않아 시설을 비워 놓은 채 운영되고 있다. LG CNS는 오는 2028년께 부산 데이터센터에 액침냉각 방식을 적용하기 위해 연구 중이다. 현재 이곳에는 '빌트업 항온 항습 시스템'이 적용돼 있는데, 이 시스템은 차가온 공기를 순환시켜 열을 식히는 기존의 항온항습기보다 한층 진화된 방식으로 평가된다. 이를 통해 LG CNS는 연간 냉방 전력 35%를 이미 절감하고 있다. 다만 다른 대기업 SI 업체들과 달리 SK C&C는 판교, 대덕 등에서 데이터센터를 운영 중이지만 액침냉각 방식은 따로 검토하고 있지 않은 것으로 파악됐다. 비용 부담이 큰 만큼 고객사들이 원하면 도입을 고려하겠다는 입장이다. KT클라우드, NHN클라우드, 카카오엔터프라이즈 등 국내 클라우드 서비스 제공 사업자(CSP)들도 데이터센터에 아직은 액침냉각 도입에 미온적이다. 네이버클라우드만 춘천, 세종에 위치한 데이터센터에 액침냉각 도입을 검토 중이나, 구체적인 일정은 아직 미정이다. 대신 KT와 NHN, 카카오 등은 국내에 아직 적극 도입되지 않은 수랭식에 많은 관심을 보이고 있다. KT는 내년에 오픈하는 가산 데이터센터에, 카카오는 향후 건립될 제2데이터센터에 수랭식을 처음 도입할 계획이다. NHN은 현재 판교 데이터센터와 광주 국가 AI 데이터센터 모두 공랭식을 도입했으나, 액침 및 수랭식 시스템 등 다양한 냉각 방식에 대한 기술 검토를 이어나가고 있다. 다만 KT는 액침냉각 시스템 전문기업 이머젼4와 데이터센터 액침 냉각 시스템 적용을 위한 MOU(업무협약)을 체결했다. 업계 관계자는 "최근 구글, 마이크로소프트(MS), 메타 등 글로벌 빅테크 기업들은 자체 데이터센터를 설립할 때 공랭식 대신 수랭식 시스템을 중심으로 적용하는 추세"라며 "AI 기능이 고도화되면서 고성능 GPU를 써야 하는 경우가 점차 많아지고 있는 만큼, 데이터센터 냉각 시스템 구축에 대한 기업들의 고민도 늘어날 것"이라고 밝혔다. 그러면서도 "아직까지 국내에선 수랭식을 도입한 기업들도 많지 않은 상황에서 액침냉각의 안전성에 대한 불신이 여전하다"며 "국내에서 액침냉각이 널리 쓰이는 데까진 상당한 시일이 걸릴 것으로 보인다"고 덧붙였다.

2024.07.09 10:23장유미

"엔비디아, 연말엔 시총 6조 달러 간다"

엔비디아의 시가총액이 올해 말 6조 달러(약 8천322조원)를 돌파할 것이라는 전망이 나왔다. 헤지펀드 EMJ캐피털 창업차 에릭 잭슨은 26일(현지시간) 미국 CNBC 방송에 출연해 올해 연말까지 엔비디아의 시가총액이 6조 달러에 이를 것이라고 밝혔다고 비즈니스인사이더 등 외신들이 보도했다. 에릭 잭슨은 “엔비디아 주가가 연말까지 엄청난 상승세를 이어갈 것으로 예상된다”면서 “올해 말까지 250달러에 도달해 현재 수준보다 약 100% 이상 오를 것”이라고 밝혔다. 엔비디아 주가가 250달러에 이르면 시총은 무려 6조 달러에 이르는 셈이다. 잭슨은 “2024년 하반기에 차세대 AI 전용 칩인 블랙웰의 판매가 시작되고, 내년에는 차세대 루빈 칩이 출시될 예정”이라며 “이에 주가는 랠리를 보일 것”이라고 설명했다. 그는 엔비디아의 주식은 여전히 저렴하다고 밝히며, “지난 5년 간 엔비디아의 평균 주가수익비율(PER)은 40배였다. 최근 주가 조정 이후 엔비디아의 PER은 39배다. 하지만, 지난 5년 간 3번이나 PER이 50배가 넘은 적이 있고 2번이나 약 70배에 이르렀다가 후퇴한 적이 있다”며, “우리는 아직 그런 행복감을 보지 못했다”고 밝혔다. 엔비디아의 주가는 이미 연초 대비 151% 가량 급등한 상태이며, 지난 18일에는 시종 3조3천 달러를 넘어서 미국 기업 시총 1위를 기록하기도 했다. 또, 그는 엔비디아가 경쟁사보다 상당한 우위를 점하고 있으며, 닷컴 버블 당시 시스코와 비교하는 것은 근거가 없다고 설명했다. "닷컴 시대의 시스코가 아니다. 당시 시스코의 PER은 136배로 최고점에 도달했었다. 엔비디아의 PER는 지난 5년간 평균보다 낮은 상태다”고 지적했다. 에릭 잭슨 외에도 엔비디아의 향후 전망에 대해 낙관적인 전망을 하는 분석가들이 있다. 벤처투자자문사인 컨스털레이션 리서치(Constellation Research)의 설립자인 레이 왕은 25일 엔비디아의 주가가 향후 12개월 안에 200달러를 돌파하고 현재의 상승세가 최대 2년간 지속될 것으로 전망했다. 뱅크오브아메리카는 최근 엔비다이의 목표가를 150달러로 제시했다. 월가의 엔비디아에 대한 장기적인 전망은 여전히 낙관적이지만 이것이 현재의 급격한 하락세로부터 자유롭다는 의미는 아니다. 최근 엔비디아의 주가는 약간의 조정세를 받고 있으며 26일 뉴욕증시에서 엔비디아는 전거래일보다 0.25% 상승한 126.40달러로 장을 마감했다.

2024.06.27 16:34이정현

슈퍼마이크로, '블랙웰' 탑재 AI 최적화 서버 공개

슈퍼마이크로컴퓨터는 생성형 AI 개발 및 구축을 지원하는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼에 최적화된 '슈퍼클러스터'를 11일 공개했다. 슈퍼마이크로 슈퍼클러스터는 산업을 막론하고 기업의 생성형 AI 채택을 가속화하는 클라우드 네이티브 솔루션을 위해 설계된 R2D 액침 냉각식 AI 데이터센터에서 사용된다. 엔비디아에서 최근 선보인 블랙웰 GPU에 슈퍼마이크로의 4U 수냉식 냉각 서버가 탑재돼 단일 GPU에서 20 페타 플롭스(FLOPS)의 AI 성능을 완벽하게 구현할 수 있다. 기존 GPU 대비 4배 강력한 AI 훈련 및 30배 강력한 추론 성능을 자랑하며, 추가적인 비용 절감 효과를 가져온다. 슈퍼마이크로는 시장 선점 전략에 따라 최근 블랙웰 아키텍처를 기반으로 한, 엔비디아 HGX B100, B200, 그리고 GB200 그레이스 블랙웰 슈퍼칩용 신규 제품군을 선보인 바 있다. 슈퍼마이크로는 '컴퓨텍스 2024'에 참가해 곧 출시될 엔비디아 블랙웰 GPU에 최적화된 서버를 공개했으며, 여기에는 엔비디아 HGX B200 기반의 10U 공냉식 및 4U 수냉식 냉각 서버가 포함됐다. 8U 공냉식 엔비디아 HGX B100 시스템, 엔비디아 NV링크 스위치와 상호 연결된 GPU 72개를 탑재한 슈퍼마이크로의 엔비디아 GB200 NVL72 랙, 그리고 엔비디아 H200 NVL PCLe GOU 및 엔비디아 GB200 NVL2 아키텍처를 지원하는 신규 엔비디아 MGX 시스템을 제공할 예정이다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI가 모든 컴퓨팅 스택의 재설정을 주도하고 있는 가운데, 새로운 데이터센터는 GPU 가속화로 AI에 최적화될 것”이라며 “슈퍼마이크로는 최첨단 엔비디아 가속 컴퓨팅 및 네트워킹 솔루션을 설계하고, 수조 달러 규모의 글로벌 데이터센터가 AI 시대에 최적화될 수 있도록 지원한다”고 밝혔다. LLM의 급속한 발전과 더불어 메타 라마3 및 믹스트랄 8x22B 같은 오픈소스 모델의 지속적인 출시로 인해 오늘날 최첨단 AI 모델에 대한 기업의 접근성이 높아졌다. 현재 폭발적인 AI 혁신을 지원하는 데 있어 가장 중요한 요소는 AI 인프라를 간소화하고 가장 비용 효율적인 방식에 대한 접근성을 제공하는 것이다. 슈퍼마이크로 클라우드 네이티브 AI 슈퍼클러스터는 엔비디아 AI 엔터프라이즈를 활용해 클라우드의 즉각적인 접근 편의성과 휴대성 사이의 간극을 메운다. 또한, 파일럿부터 프로덕션까지 모든 규모의 AI 프로젝트를 원활하게 추진할 수 있도록 지원한다. 이를 통해 호스팅 시스템이나 온프레미스 대규모 데이터센터를 비롯해 데이터를 안전하게 보호하는 곳에 유연성을 제공한다. 여러 업계의 기업들이 빠르게 생성형 AI 사용 사례를 실험하고 있는 가운데, 슈퍼마이크로는 엔비디아와의 긴밀한 협업을 통해 시험 및 파일럿 AI 애플리케이션에서 양산형 배포 및 대규모 데이터센터 AI로의 원활하고 매끄러운 전환을 보장한다. 이는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼을 통해 랙 및 클러스트 단위의 최적화를 이룬 결과로, 초기 탐색부터 확장 가능한 AI 구현까지 원활한 여정을 지원한다. 관리형 서비스는 인프라 채택, 데이터 공유, 그리고 생성형 AI 전략 제어에 부정적인 영향을 미친다. 하지만 슈퍼마이크로는 엔비디아 AI 엔터프라이즈의 일부인 엔비디아 NIM 마이크로서비스를 통해 관리형 및 생성형 AI 및 오픈소스 배포의 장점만을 제공한다. 마이크로서비스를 활용한 다목적 추론 수행 시간은 오픈소스부터 엔비디아 기반 모델에 이르기까지 다양한 모델에서 생성형 AI 구축을 가속화한다. 또한, 엔비디아 NeMo를 지원해 데이터 큐레이션, 고급 커스터마이징 및 RAG를 통한 엔터프라이즈급 솔루션용 맞춤형 모델 개발이 가능하다. 슈퍼마이크로의 엔비디아 AI 엔터프라이즈용 슈퍼클러스터와 결합된 엔비디아 NIM은 확장 가능하고 가속화된 생성형 AI 프로덕션 구축을 향한 지름길로 안내한다. 슈퍼마이크로 수냉식 냉각 엔비디아 HGX H100·H200 슈퍼클러스터는 전용 네트워킹 랙 1개를 포함해 총 5개의 랙에서 확장 가능한 컴퓨팅 단위로 H100/H200 GPU 256개를 탑재한다. 공냉식 냉각 엔비디아 HGX H100/H200 슈퍼클러스터는 전용 네트워킹 랙 1개를 포함해 총 9개의 랙에서 확장 가능한 컴퓨팅 단위로 H100/H200 GPU 256개를 탑재한다. 슈퍼마이크로 엔비디아 MGX GH200 슈퍼클러스터는 전용 네트워킹 랙 1개를 포함해 총 9개의 랙에서 확장 가능한 컴퓨팅 단위로 그레이스 호퍼 슈퍼칩 256개를 탑재한다. 슈퍼마이크로 슈퍼클러스터는 엔드투엔드 생성형 AI 커스터마이징을 위해 엔비디아 NIM 마이크로서비스 및 엔비디아 네모(NeMo) 플랫폼 등 엔비디아 AI 엔터프라이즈를 탑재했다. 400Gbps의 네트워킹 속도로 수십만 개의 GPU가 있는 대규모 클러스터까지 확장 가능하며, 엔비디아 퀀텀-2 인피니밴드 및 신규 엔비디아 스펙트럼-X 이더넷 플랫폼에 최적화됐다. 슈퍼마이크로 슈퍼클러스터 솔루션은 LLM 학습, 딥러닝, 그리고 대용량 및 대규모 추론에 최적화됐다. 슈퍼마이크로의 L11 및 L12 검증 테스트와 현장 구축 서비스는 고객에게 원활한 경험을 선사한다. 데이터센터에서 도입이 쉽고, 그 결과를 보다 빠르게 확인할 수 있는 플러그 앤 플레이 확장형 유닛을 제공한다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 "슈퍼마이크로는 랙 스케일 액침 냉각식 AI 솔루션을 개발 및 구축하며 지속적으로 업계를 선도하고 있다"며 "수냉식 냉각 데이터선터는 전력 사용량 감축을 통해 사실상 무상으로 제공되며, 이는 고객에게 추가적인 가치를 제공할 수 있다”고 밝혔다. 그는 “슈퍼마이크로의 솔루션은 다양한 산업군의 고객을 위해 엔비디아 AI 엔터프라이즈 소프트웨어에 최적화됐다”며 “엔비디아 HGX H100 및 H200은 물론, 새로 출시된 B100, B200, 그리고 GB200에 수냉식 또는 공냉식 냉각 턴키 클러스터를 배포하는 시간을 단축할 수 있다”고 설명했다. 그는 “냉각판부터 CPU와 냉각탑에 이르기까지 슈퍼마이크로의 랙 스케일 종합 액체 냉각 솔루션은 데이터센터에서 사용하고 있는 전력량을 최대 40%까지 줄일 수 있다”고 덧붙였다.

2024.06.11 10:31김우용

델, 엔비디아 블랙웰 GPU 8개 탑재 4U 서버 공개

[라스베이거스(미국)=김우용 기자] 델테크놀로지스가 엔비디아와의 협력을 확대하며, 엔비디아 블랙웰 GPU를 한 랙에 최대 72개 장착할 수 있는 파워엣지 서버 신제품을 공개했다. 단일 서버 크기는 기존 제품대비 3분의2로 줄이면서 더 높은 성능과 대역폭을 제공한다. 델테크놀로지스는 21일(현지시간) 미국 라스베이거스에서 개최한 '델테크놀로지스월드(DTW) 2024' 컨퍼런스에서 '엔비디아 기반 델 AI 팩토리'에 새로운 서버, 엣지, 워크스테이션, 솔루션, 서비스 등을 추가한다고 발표했다. '엔비디아 기반 델 AI 팩토리'는 델의 AI 포트폴리오를 '엔비디아 AI 엔터프라이즈' 소프트웨어 플랫폼과 통합한 오퍼링이다. 엔비디아 텐서 코어 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 패브릭 및 엔비디아 블루필드 DPU 등의 기술을 기반으로 한다. 고객은 필요에 따라 맞춤화된 통합 기능 또는 사전 검증된 전체 스택 솔루션을 구매해 검색증강생성(RAG), 모델 학습 및 추론과 같은 AI 사용 사례에 적용할 수 있다. 신제품 '델 파워엣지 XE9680L'은 기존 모델 대비 더 작은 4U 폼 팩터에 8개의 엔비디아 블랙웰 아키텍처 GPU를 탑재해 높은 성능을 제공한다. 기존 모델인 '델 파워엣지 XE9680'의 경우 6U 크기 제품이었는데, '델 파워엣지 XE9680L'는 4U 크기로 작아졌다. 업계 표준 x86 랙 상에서 엔비디아 GPU를 최고 수준의 집적도를 자랑한다. 기존 모델 대비 노드당 33% 더 높은 GPU 집적도를 제공한다. 20% 더 많은 5세대 PCIe 슬롯을 장착하고, 노스-사우스 네트워크 확장 용량을 2배로 늘렸다. 델 파워엣지 XE9680L서버는 '다이렉트 리퀴드 쿨링' 기술로 CPU 및 GPU의 냉각 용량을 높여 전반적인 효율성을 향상시켰다. 손쉬운 서비스가 가능하도록 설계됐으며, 랙 스케일 구축 및 현장 설치가 용이하게끔 공장에서부터 완벽하게 구성이 완료된 상태로 출하된다. 델은 업계에서 가장 높은 집적도와 에너지 효율의 랙 규모 턴키 솔루션을 공급함으로써 대규모 GPU 가속 구축의 가치 실현 시간을 단축한다. 델과 엔비디아는 향후 단일 랙에서 64개의 GPU를 지원하는 공냉식 설계 또는 단일 랙에서 72개의 엔비디아 블랙웰 GPU를 지원하는 수냉식 서례 등 다양한 옵션을 선보일 예정이다. 델테크놀로지스는 '엔비디아 AI 엔터프라이즈' 소프트웨어의 배포를 자동화하는 엣지 오케스트레이션 플랫폼 '델 네이티브엣지'를 선보였다. 개발자와 IT 운영자는 이를 이용해 엣지에 AI 애플리케이션 및 솔루션을 손쉽게 구축할 수 있다. 제조업이나 유통업계의 다양한 기업들이 엔비디아 메트로폴리스 영상 분석, 엔비디아 리바 음성 및 번역 기능, 엔비디아 NIM 추론 마이크로서비스를 포함한 새로운 델 네이티브엣지 블루프린트를 통해 빠르고 정확하게 엣지 데이터를 분석할 수 있다. 마이클 델 델테크놀로지스 회장은 “전세계가 AI를 활용하기 위해 빠르게 움직이고 있으며, 이것이 바로 엔비디아와 긴밀하게 협력하는 중요한 이유"라며 "엔비디아 기반 델 AI 팩토리 포트폴리오의 확장은 양사 공동의 사명을 이어가는 것으로, 더 많은 기업과 기관들이 AI를 보다 손쉽게 구축하여 과감하게 차세대 기술에 도전할 수 있도록 하는 것을 목표로 한다”고 밝혔다. 젠슨 황 엔비디아 CEO는 "생성형 AI는 새로운 유형의 컴퓨팅 인프라, 즉 인텔리전스를 생성하는 AI 팩토리를 필요로 한다"며 "엔비디아와 델은 함께 협력해 전세계 다양한 산업군에 컴퓨팅, 네트워킹, 소프트웨어를 포함한 풀스택 오퍼링을 제공해 코파일럿, 코딩 어시스턴트, 가상 고객 서비스 에이전트, 산업용 디지털 트윈 등을 구축할 수 있도록 지원할 계획"이라고 강조했다. DTW 2024 첫째날 기조연설에서 마이클 델 회장이 델 파워엣지 XE9680L을 소개하자, 젠슨 황 CEO는 “그런 말로 나를 유혹하지 마라”며 “랙에 72개의 블랙웰이 있다니 그것은 나를 매우 흥분하게 만든다”며 환하게 웃었다. 한편, 새롭게 공개된 '디지털 어시스턴트를 위한 델 생성형 AI 솔루션'은 델과 엔비디아의 풀스택 솔루션을 기본으로 사용자가 개인화된 셀프서비스를 경험할 수 있게끔 디지털 어시스턴트의 빠른 구축을 돕는다. 함께 발표된 '디지털 어시스턴트를 위한 구축 서비스'는 디지털 어시스턴트 솔루션을 설계, 계획, 구현, 테스트 및 확장할 수 있도록 지원한다. 양사 공동 엔지니어링을 통해 설계된 풀스택 자동화 솔루션인 '엔비디아 기반 델 AI 팩토리'는 다양한 활용 사례에 대한 AI 환경을 빠르게 구축할 수 있게끔 돕는다. 가치 실현 시간을 최대 85% 앞당기며, 엔비디아 추론 마이크로서비스(NIM)'와 함께 사용할 경우 딜리버리에서 추론 작업 실행에 걸리는 전체 시간을 획기적으로 단축한다. '프리시전 AI 워크스테이션 기반 RAG를 위한 델 가속기 서비스'는 AI 개발 주기를 단축하고 AI 애플리케이션 성능을 향상시킨다. 엔비디아 AI 워크벤치 툴킷을 탑재한 델 프리시전 워크스테이션 기반 RAG를 통해 맞춤형 대규모 언어모델을 활용함으로써 안전한 환경에서 신속한 프로토타이핑이 가능하다. '델 파워엣지 XE9680L' 서버는 올해 하반기 중 출시될 예정이다. '델 네이티브엣지'의 엔비디아 지원은 하반기를 시작으로 순차적으로 제공된다. '디지털 어시스턴트를 위한 델 생성형 AI 솔루션' 및 '디지털 어시스턴트를 위한 구현 서비스'는 현재 북미 지역에 한해 제공되고 있다. '프리시전 AI 워크스테이션 기반 RAG를 위한 델 가속 서비스'는 북미, EMEA, 아태지역의 일부 국가에 한해 하반기 중 출시될 예정이다. 제프 클라크 델테크놀로지스 제품 및 운영부문 부사장은 DTW 2024 둘째날 기조연설에서 “기존의 데이터센터 아키텍처는 생성에이아이 워크로드에 적합하지 않다는게 자명해졌다”며 “파워엣지 XE9680L은 한 랙에서 72개 블랙웰 GPU를 탑재할 수 있는데, 이 GPU는 수천, 수만개로 늘어날 수 있다”고 말했다. 그는 “옛 시스템에서 벗어나 완전히 다른 방식으로 구축하고 생성형 AI 워크로드에 맞춰 최적화하면서 발전해 나가야 한다”고 덧붙였다.

2024.05.22 07:45김우용

HPE, 생성형 AI용 슈퍼컴퓨팅 포트폴리오 출시

HPE는 지난 18일 엔비디아 연례 컨퍼런스 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 업계 가장 통합적인 AI 네이티브 포트폴리오를 새롭게 업데이트 했다고 26일 발표했다. HPE와 엔비디아는 공동 엔지니어링한 풀스택 생성형 AI 솔루션을 선보였다. HPE 머신러닝 추론 소프트웨어 프리뷰 버전과 엔터프라이즈급 검생증강생성(RAG) 레퍼런스 아키텍처 등도 소개됐다. HPE와 엔비디아는 블랙웰 플랫폼 기반 제품 개발을 지원한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션이 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 제공된다. 해당 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 설치까지 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2-3배 더욱 신속히 진행할 수 있다. 디스커버 바스셀로나 2023 행사에서 선보였듯 HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 이제 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는HPE 그린레이크를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링해 사전 구성된 미세 조정 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 해당 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU로 사전 구성됐다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. 솔루션 도입 시AI 기술 격차를 해소하기 위해서 HPE 서비스 전문가들이 적합한 모델 조정 기술 등을 포함해 솔루션의 설계, 배포부터 관리까지 지원한다. HPE와 엔비디아는 기업들이 AI 및 ML 개념검증 단계에서 실제 애플리케이션 생산으로 넘어갈 수 있는 소프트웨어 솔루션을 제공하기 위해 협업하고 있다. HPE 고객들은 HPE 머신 러닝 추론 소프트웨어 솔루션을 프리뷰 버전으로 이용할 수 있으며 해당 소프트웨어를 이용해 기업들은 빠르고 안전하게 ML 모델을 대규모로 배포할 수 있다. 프라이빗 데이터를 이용하여 생성형 AI 애플리케이션을 빠르게 구축 및 배포해야 하는 기업들을 위해서 HPE는 엔비디아 네모 리트리머 마이크로 서비스 아키텍처에 기반한 엔터프라이즈 RAG용 레퍼런스 아키텍처를 개발했다. 해당 레퍼런스 아키텍처는 HPE 에즈메랄 데이터 패브릭 소프트웨어와 파일스토리지용 HPE 그린레이크로부터 추출한 종합적인 데이터 파운데이션을 기반으로 한다. 이외에도 데이터 준비, AI 훈련 및 추론 등을 지원하기 위해 해당 솔루션은 HPE 에즈메랄 유니파이드 애널리틱스 소프트웨어와 HPE의 AI 소프트웨어에서 모든 오픈소스 툴과 솔루션을 병합하여 사용할 수 있도록 했다. HPE 머신 러닝 데이터 매니지먼트 소프트웨어, HPE 머신 러닝 개발환경 소프트웨어, 신규 HPE 머신러닝 추론 소프트웨어 등도 이에 해당된다. HPE 소프트웨어는 HPE 슈퍼컴퓨팅과 생성형 AI 용 엔터프라이즈 컴퓨팅 솔루션 모두에서 이용가능해 고객은 생성형 AI 워크로드를 일정한 환경에서 관리할 수 있다. HPE는 향후 새롭게 발표된 엔비디아 블랙웰 플랫폼을 기반으로 제품을 개발할 계획이며 이러한 제품은 2세대 트랜스포머 엔진을 통합해 생성형 AI 워크로드를 가속한다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩, HGX 200, HGXB100 등이 장착된 HPE 제품에 관한 더욱 자세한 정보는 추후 공개될 예정이다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다”며 “AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것에서부터 엣지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”고 설명했다. 그는 “HPE와 엔비디아는 오랫동안 혁신을 위해 협력해왔다. 양사는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 강조했다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다”며 “엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 밝혔다.

2024.03.26 16:44김우용

오라클, 엔비디아와 '소버린 AI' 제공 협력 발표

오라클은 엔비디아와 협력 관계를 확장해, 전 세계 고객들을 대상으로 소버린 AI 솔루션을 제공하기 위한 계획을 20일 발표했다. 이 협력을 통해 오라클의 분산형 클라우드와 AI 인프라스트럭처, 생성형 AI 서비스는 엔비디아의 가속 컴퓨팅 및 생성형 AI 소프트웨어와 결합해 각국 정부 및 기업의 AI 팩토리 배포를 지원한다. 양사의 AI 팩토리는 광범위한 운영 통제 기능을 통해 클라우드 서비스를 국가 또는 기업 조직의 안전한 자체 지역 내 로컬 환경에서 운영하고, 이를 통해 경제 성장을 촉진하고 다각화하기 위한 주권 목표를 지원한다. OCI 전용 리전과 오라클 알로이, 오라클 EU 소버린 클라우드, 오라클 정부 클라우드 등에 배포 가능한 오라클의 기업용 AI 서비스는 엔비디아의 풀스택 AI 플랫폼과 결합돼 데이터의 운영과 위치 및 보안에 대한 제어력을 강화하여 고객의 디지털 주권을 지원하는 최첨단 AI 솔루션을 제공한다. 현재 세계 각국은 자국의 문화적, 경제적 목표를 달성하기 위해 AI 인프라 투자를 늘려 나가고 있다. 기업 고객들은 26개국에 위치한 66개의 오라클 클라우드 리전을 통해 인프라 및 애플리케이션 전반에 걸쳐 100여 개 클라우드 및 AI 서비스에 접근할 수 있고, 이를 통해 IT 마이그레이션, 현대화 및 혁신을 추진할 수 있다. 양사의 통합 오퍼링은 유연한 운영 통제 기능을 바탕으로 퍼블릭 클라우드를 통하거나 특정한 위치의 고객사 데이터센터에 직접 배포 가능하다. 오라클은 고객이 원하는 모든 장소에서 로컬 방식으로 AI 서비스 및 자사의 완전한 클라우드 서비스를 제공할 수 있는 유일한 하이퍼스케일러다. OCI는 배포 유형과 관계없이 동일한 서비스 및 가격 정책을 일관되게 제공하여 클라우드 서비스 이용을 보다 간단하게 계획하고 이전 및 관리할 수 있도록 한다. 오라클의 클라우드 서비스는 엔비디아 가속 컴퓨팅 인프라와 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼 등 다양한 엔비디아 스택을 활용하고 있다. 엔비디아 텐서RT, 엔비디아 텐서RT-LLM, 엔비디아 트리톤 추론 서버 등 엔비디아 추론 소프트웨어를 기반으로 구축되어 최근 발표된 엔비디아 NIM 추론 마이크로서비스도 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼에 포함된다. 스위스 뱅킹 소프트웨어 제공업체인 아발록은 자체 데이터센터에서 완전한 OCI 퍼블릭 클라우드 리전을 운용하기 위해 OCI 전용 리전을 도입했다. 아발록의 마틴 부치 최고 기술 책임자는 "OCI 전용 리전은 최신 클라우드 인프라에 대한 액세스를 제공하면서도 데이터 보존을 최대한 제어하려는 아발록의 노력과 부합한다"며 "이는 우리가 은행과 자산 관리사의 디지털 혁신을 지속적으로 추진하는 데 큰 도움이 된다”고 설명했다. 뉴질랜드의 선도적인 정보 관리 서비스 제공업체인 팀 아이엠은 뉴질랜드 최초로 현지 기업이 소유 및 운영하는 하이퍼스케일 클라우드인 팀 클라우드를 구축하기 위해 오라클 알로이를 도입했다. 팀 아이엠의 이언 로저스 CEO는 "클라우드의 성능은 십분 활용하면서도 뉴질랜드 국경 내에서 데이터 무결성을 유지할 수 있는 독자적인 하이퍼스케일 클라우드 솔루션에 대한 뉴질랜드 기업들의 수요가 갈수록 증가하고 있다"며 "팀 아이엠은 오라클 알로이와 더불어, 엔비디아 AI 플랫폼을 자사 클라우드 서비스에 통합할 수 있는 가능성을 통해 공공 분야 및 민간 기업, 뉴질랜드 원주민 단체들이 디지털 환경의 복잡성을 해소하고 디지털 혁신 과정을 최적화하는 과정에 기여할 수 있는 클라우드 서비스 제공업체로 자리 매김했다"고 밝혔다. 오라클은 엔비디아 GTC에서 발표된 최신 엔비디아 그레이스 블랙웰 컴퓨팅 플랫폼을 자사의 OCI 슈퍼클러스터 및 OCI 컴퓨트 서비스 전반에 도입함으로써 지속적으로 증가하는 고객의 AI 모델에 대한 요구사항에 대응해 나갈 계획이다. OCI 슈퍼클러스터는 새로운 OCI 컴퓨트 베어 메탈 인스턴스와 초저지연 RDMA 네트워킹, 고성능 스토리지를 통해 훨씬 더 빠른 속도를 제공할 전망이다. OCI 컴퓨트에는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩과 엔비디아 블랙웰 B200 텐서 코어 GPU가 모두 탑재된다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩은 컴퓨팅의 새로운 시대를 선도할 획기적 성능을 제공한다. 전 세대 GPU 대비 최대 30배 빠른 실시간 대규모 언어 모델(LLM) 추론, 25배 낮은 TCO, 25배 적은 에너지 소모량 등을 자랑하는 GB200은 AI 학습, 데이터 처리, 엔지니어링 설계 및 시뮬레이션 등의 작업 성능을 대폭 강화해 준다. 엔비디아 블랙웰 B200 텐서 코어 GPU는 가장 높은 성능이 요구되는 AI, 데이터 분석, 고성능 컴퓨팅(HPC) 워크로드를 처리하기 위해 설계됐다. 또한 검색 증강 생성(RAG) 추론 배포를 위한 엔비디아 네모 리트리버를 비롯한 엔비디아 NIM 및 쿠다-X 마이크로서비스는 OCI 고객이 자체 데이터를 사용해 생성형 AI 코파일럿 및 기타 생산성 도구에 더 많은 인사이트를 제공하는 동시에, 해당 도구들의 정확성을 향상시키는 작업에도 도움이 될 것으로 보인다. 점점 더 복잡해지는 AI 모델에 대한 고객의 수요 증가에 부응하기 위해 오라클과 엔비디아는 OCI 상에서 구동되는 엔비디아 DGX 클라우드 서비스에 엔비디아 그레이스 블랙웰 슈퍼칩을 추가할 예정이다. 고객들은 LLM의 매개변수가 조 단위에 달하게 된 현 시점에 보다 에너지 효율적인 학습 및 추론을 지원하기 위해 양사가 함께 설계한 슈퍼컴퓨팅 서비스인 엔비디아 DGX 클라우드를 통해 새로운 GB200 NVL72 기반 인스턴스에 액세스 할 수 있다. DGX 클라우드 클러스터의 전체 구성에는 2만개 이상의 GB200 가속기와 엔비디아 CX8 인피니밴드 네트워킹이 포함돼 더욱 탁월한 확장성 및 성능을 갖춘 클라우드 인프라를 제공할 예정이다. 해당 클러스터는 5세대 NV링크가 탑재된 72개의 블랙웰 GPU NVL 72와 36개 그레이스 CPU로 구성된다. 사프라 카츠 오라클 CEO는 "AI가 전 세계의 비즈니스, 산업 및 정책을 재편함에 따라, 국가와 기업 조직은 가장 중요한 데이터를 안전하게 보호하기 위해 디지털 주권을 강화해야 한다"며 "오라클은 엔비디아와의 지속적인 협력 관계와 클라우드 리전을 로컬 차원에서 신속히 배포할 수 있는 독보적인 역량을 통해 전 세계에서 보안에 대한 타협과 우려 없이 AI를 활용할 수 있도록 보장할 것"이라고 밝혔다. 젠슨 황 엔비디아 설립자 겸 CEO는 "생성형 AI가 혁신을 주도하는 시대에 데이터 주권은 문화적, 경제적 필수 요소"라며 "엔비디아의 가속 컴퓨팅 및 생성형 AI 서비스와 결합된 오라클의 통합 클라우드 애플리케이션 및 인프라 서비스는 각 국가 및 지역이 데이터 주권을 바탕으로 스스로 미래를 직접 설계할 수 있는 유연성과 보안을 제공한다."라고 강조했다. 오라클과 엔비디아가 공동 제공하는 소버린 AI 솔루션은 발표와 함께 바로 사용 가능하다.

2024.03.20 10:45김우용

Prev 1 2 3 4 Next