검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'GPU'통합검색 결과 입니다. (216건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

인텔 "서버·AI PC서 메타 라마3 구동 지원"

인텔은 19일 메타가 공개한 생성 AI LLM(거대언어모델) 라마3(Llama 3)를 제온 프로세서와 가우디 AI 가속기, 코어 울트라 탑재 AI PC 등에서 지원한다고 밝혔다. 메타가 공개한 라마3는 오픈소스 생성 AI 모델이며 데이터셋 중 비영어권 데이터 비중을 5%까지 높였다. 현재 매개변수 80억 개, 700억 개 버전이 선 공개됐다. 매개변수 4천억 개 버전은 현재 데이터셋 훈련중이다. 인텔은 가우디 AI 가속기, 제온/코어 울트라 프로세서와 아크 GPU로 메타가 선공개한 매개변수 80억/700억 개 버전의 구동을 검증했다고 밝혔다. 인텔은 파이토치(PyTorch), 딥스피드, 인텔 옵티멈 하바나 라이브러리, 인텔 파이토치 익스텐션 등 오픈소스 소프트웨어로 수행한 자체 벤치마크 결과도 공개했다. 인텔이 2분기 중 출시할 P코어 제온6 프로세서는 80억 개 모델 추론 구동시 4세대 제온 스케일러블 프로세서 대비 지연 시간을 절반으로 단축했다. 또 700억 개 버전에서 토큰 하나당 지연시간을 0.1초 미만으로 줄였다. 코어 울트라 프로세서는 내장 아크 GPU를 이용해 라마3 구동시 사람이 읽을 수 있는 것보다 더 빠른 속도로 토큰을 생성했다. Xe 행렬곱셈 확장(XMX)을 내장한 아크 A770은 16GB 메모리를 활용해 라마3 처리를 가속한다. 가우디2 AI 가속기는 라마2 3개 모델(70억개, 130억개, 7천억개)에 이어 라마3 모델도 구동했다. 올 하반기 출시될 가우디3 AI 가속기도 라마3를 지원한다. 인텔은 향후 매개변수를 늘리고 성능을 강화한 라마3 모델도 지속 지원할 예정이다.

2024.04.19 10:24권봉석

지코어 "삶을 바꾸는 생성 AI의 위치는 엣지"

“인공지능(AI)이 인류의 미래를 바꿀 것이라 전망되지만, AI가 어떻게 산업에 연결돼 서비스로 다가오고 경제 생활을 만들어낼 지 알 수 없다. 가시적인 변화는 AI가 생산성으로 이어져야 가능할 것이다. 일반인공지능(AGI)도 중요한 문제고 인류의 미래를 바꾸겠지만, 기업의 먹거리와 인류의 삶을 바꾸는 AI는 결국 엣지에서 있을 것이다.” 지코어코리아 김진용 팀장은 지디넷코리아가 17일 서울 인터컨티넨탈코엑스에서 개최한 '제21회 어드밴스드컴퓨팅컨퍼런스플러스(ACC+) 2024' 기조연설에서 이같이 밝혔다. 김진용 팀장은 "생성형 AI는 2년도 안 돼 부풀려진 기대치의 정점을 찍었고, 곧 환멸의 골짜기에 도달할 것으로 보인다”며 “생성형 AI 기업의 운영 비용은 월 100만달러에 달하는 큰 부담을 주고 실질적인 이익을 벌어들이지 못하는 상황이기 때문”이라고 설명했다. 김 팀장은 “현 시점에서 필요한 것은 기존 자산을 잘 조합하고 새로운 아이디어를 고안해내서 새로운 혁신을 이루는 것”이라며 “AI 학습과 추론, 모델을 묶어서 사용자 가까이 있는 디바이스와 안전한 통신으로 연결되는 모든 세트를 갖춰야 한다”고 강조했다. 지코어는 160개 이상의 국가와 지역에 PoP를 운영하고 있다. 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업이라고 스스로를 강조한다. 특히 생성형 AI 학습과 추론에 필요한 전용 인프라를 클라우드 서비스로 제공하고 있다. 최근 지코어코리아는 한국 데이터센터를 개소했다. 품귀현상을 보이는 엔비디아 H100 텐서코어 GPU 서버를 설치했다.지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다. 김진용 팀장은 “생성형 AI의 아키텍처는 기존 엔터프라이즈용 애플리케이션과 달리 서비스 부분에서 많은 자원이 필요하다”며 “지코어는 훈련용과 추론용 인프라로 GPU 자원을 제공하며, 더 특별한 수요에 대응하는 IPU도 제공한다”고 말했다. 지코어의 또 다른 강점은 네트워킹 인프라다. 콘텐츠딜리버리네트워크(CDN)에서 시작한 회사란 장점을 살려 초저지연시간을 보장하는 고속 네트워크를 생성 AI에 제공할 수 있다. 지코어의 클라우드 컴퓨팅은 '서버리스 컴퓨팅'에 기반한다. 거대언어모델(LLM)을 사용할 때 자원 할당을 별도로 하지 않아도 되며, 실제로 모델을 작동시키는 양만큼만 비용을 내면 된다. 그는 “AI는 지연시간에 민감한 서비스기에 지코어는 글로벌 평균 26밀리초의 지연시간을 유지하며, 한국의 경우 한자릿수 밀리초의 지연시간으로 이용할 수 있다”며 “다양한 LLM을 기업이 모두 미리 깔아놓을 수 없으므로 정말 필요할 때 자원과 모델을 곧바로 활용할 수 있도록 서버리스 컴퓨팅으로 제공하고 있다”고 설명했다. 지코어는 중앙의 인프라와 네트워킹에 더해 엣지 단계에서 AI 모델 추론을 수행할 수 있는 환경도 제공한다. '인퍼런스앳더엣지'란 서비스는 160여개 지코어 POP의 캐싱서버에 암페어 알트라맥스와 엔비디아 L40S 칩을 두고 고객의 AI 서비스를 구동할 수 있게 한다. 필요한 LLM도 캐싱해 빠르게 제공할 수 있으며, 유사한 추론을 반복적으로 하게 되는 상황을 감안해 모델응답을 캐시할 수 있다. 김 팀장은 “사용자가 지코어 기잔의 AI 서비스에 접속하면 인퍼런스앳더엣지의 AI 칩으로 다양한 모델을 끌어와 서비스를 돌릴 수 있다”며 “지리적 혹은 정치적 이유에 따른 규제 차이에 맞게 답변과 모델에 차이를 둬야 할 때도 맞춤형으로 대응가능하다”고 말했다. 그는 여기에 '5G 보안 네트워크' 기반으로 생성 AI와 사용자 디바이스를 연결할 수 있다고 했다. 사용자, 기업 등의 데이터가 외부에 유출되지 않도록 제로트러스트 네트워크를 통해 정보를 주고 받을 수 있다. 그는 “어떤 IoT 디바이스든 데이터를 실제 AI 서비스 장소까지 안전하게 전달하는 센서 데이터 보안 확보가 가능하다” 그는 “지코어의 서비스를 통해 '모든 것의 인터넷(IoT)'에서 '모든 것의 AI(AioT)'라 할 수 있게 된다”며 “지코어는 앞으로 AI 시장이 우리 현실 속에 들어온 엣지 디바이스에서 일어날 것으로 생각하며 이를 실현하기 위해 어느 기업보다 먼저 아키텍처를 고안해 선보이고 실제로 잘 움직이도록 잘 조율해 서비스에 녹여왔다”고 강조했다.

2024.04.17 11:53김우용

지코어코리아, 한국에 엔비디아 H100 기반 데이터센터 개소

글로벌 퍼블릭 클라우드, 엣지 컴퓨팅 및 엣지AI 전문기업 지코어는 4일 서울 더플라자호텔에서 기자간담회를 개최하고 엔비디아 H100 기반의 AI 퍼블릭 클라우드 서비스를 한국시장에 출시한다고 밝혔다. 오는 15일 한국에 개소하는 지코어 데이터센터는 AI 학습에서 현존하는 가장 효과적인 GPU로 인정받는 엔비디아 H100 서버 40대를 설치한다. GPU 기준으로 320개다. 그 동안 국내 AI 기업은 AI 모델을 개발하고 학습시키는데 있어 필수적인, 고성능 GPU 확보에 큰 어려움을 겪고 있었다. 이제 한국의 AI 전문기업은 더 이상 대규모의 GPU를 확보하기 위해 수십주를 기다리거나 타국에 위치한 자원을 활용하지 않고, 초고성능 AI 컴퓨팅 자원을 지코어의 엣지 클라우드를 통해 쉽게 활용할 수 있다. 지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다. 유니파이드패브릭매니저(UFM)으로 관리되는 논블로킹 클러스터는 핫 스페어와 콜드 스페어를 각각 구성해 서비스 품질도 GDPR의 기준을 충족한다. 각 서버당 2TB에 달하는 메모리와 112개에 달하는 CPU코어로 대용량 데이터 처리 및 고성능 컴퓨팅 작업 환경을 제공한다. 서버당 12KW에 달하는 전력량 충족, 빠른 네트워크, 안전한 센터 설계 등으로 최상의 서비스 구현이 가능하다. 지코어는 이 서비스를 준비하면서 NHN클라우드와 데이터센터 선정에서부터 한국고객의 수요를 반영한 서비스 구성에 이르기까지 긴밀히 협업했다. NHN클라우드는 한국 AI산업의 역량이 급부상함에 따라 국내 고객들이 원하는 특수한 요구사항을 잘 파악하고 있는 만큼 지코어 서비스를 현지화하고 고객 맞춤형으로 구성하는데 있어서 큰 역할을 했다. NHN클라우드는 지코어의 데이터센터 운영에도 지속적으로 참여할 예정이다. 정현용 지코어코리아 한국지사장은 “한국은 AI 반도체, 시스템, 서비스 등 AI 기술 전반에 걸쳐 세계적으로 엄청난 성장 잠재력을 지니고 있는 국가”라며 “이제 국내 초고속 통신망 내에 위치한 지코어의 데이터센터는 물론, 전세계와 초저지연 네트워크로 상호 연결돼 있는 지코어의 글로벌 엣지 네트워크를 접목해 한국기업들이 글로벌 AI시장에서 선도적인 위치를 선점해 나갈 수 있기를 기대한다”고 말했다. 그는 “국내 AI시장 및 고객에 대한 전문적 이해와 경험을 보유한 NHN클라우드와의 지속적이고 긴밀한 협업을 통해 공공기관은 물론 연구소, 금융 및 제조업계 등을 비롯해 다양한 영역에서 급속히 증가하고 있는 국내 AI 수요에 빠르고 신속하게 대응해 나갈 것”이라고 강조했다. 김동훈 NHN클라우드 대표는 “국내는 물론 글로벌 AI 인프라 시장의 패러다임이 급격히 변화하고 있는 만큼, NHN클라우드는 광주 국가 AI 데이터센터를 포함해 판교 데이터센터(NCC1) 등 자사 데이터센터에 1천 개 이상의 엔비디아 H100으로 구축하는 등 국내 최대 규모 GPU 클러스터를 구축해 나가고 있다”고 밝혔다. 그는 이어 “지코어는 전세계 160개 이상의 PoP를 기반으로 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업으로, 엔비디아의 최신 GPU인 H100을 발빠르게 한국에 도입함으로써 국내 AI 시장의 도약을 위한 새로운 국면을 맞게 한 일등공신”이라며 “NHN클라우드는 지코어와의 파트너십을 통해 국내 AI 인프라 시장의 경쟁력을 강화하고, 글로벌 진출 및 시장 변화에 적극적으로 대응해 나갈 것”이라고 덧붙였다. 이날 기자간담회에 자크 플리스 주한 룩셈부르크 초대 대사 내정자가 참석해 룩셈부르크 소재의 글로벌 IT 기업인 지코어가 한국 기업고객들에게 혁신적인 기술을 전하고 협력 기회를 확대할 수 있기를 기대한다며 축사를 전했다. 지코어는 기업의 AI 도입과정 모든 단계에 도움을 주기 위해 완전 자동화된 AI 인프라, 다양한 관리도구, 안전하고 신뢰할 수 있는 보안체계 등을 갖춘 클라우드 플랫폼 환경을 서비스하고 있다.

2024.04.04 13:45김우용

가비아, AI 기업에 GPU 서비스 57% 할인

가비아(대표 김홍국)는 GPU 서비스를 인공지능(AI) 및 딥러닝 관련 기업에게 최대 57% 할인을 제공한다고 4일 밝혔다. 이 이벤트로 AI 서비스를 개발, 제공 중인 기업은 GPU 서버 및 고전력 랙을 저렴한 가격으로 사용할 수 있게 됐다. 가비아의 GPU 서버호스팅 상품은 자체 GPU 서버가 없는 고객에게 서버를 임대해주는 서비스다. AI 스타트업이나 단기로 GPU 서버가 필요한 고객이 부담 없이 이용할 수 있다. 가비아는 RTX 3080부터 A6000까지 다양한 GPU 제품군을 보유했다. 가비아는 서버호스팅 서비스를 도입하는 고객 모두에게 약정 없이 할인가를 적용하고, 월 2만 원 상당의 GPU 전문 모니터링 서비스를 무상으로 제공할 방침이다. 이미 자체 물리 서버를 보유하고 있는 고객이라면 고전력 랙 코로케이션 상품을 선택하면 된다. 코로케이션이란 자사가 보유하고 있는 서버를 가비아에 위탁하여 운영하는 서비스다. 고객은 저전력부터 고전력 하이퍼스케일 IDC까지 기업의 비즈니스 용도에 맞게 상품을 선택하여 이용하면 된다. 가비아는 코로케이션 신규 고객에게 랙당 5A 추가 전력과 회선 100M를 무상으로 제공한다고 밝혔다. 이벤트 참여를 원하는 기업은 가비아 공식 홈페이지에서 신청하면 된다. 참여 고객이 많을 경우 이벤트는 조기 종료될 수 있다. 가비아 측은 “최근 AI가 IT 업계의 트렌드로 떠오르면서 관련 기업이 많이 생겨남에 따라, AI 서비스를 제공하는 기업 고객의 부담을 줄이고자 이번 이벤트를 기획했다”며 “가비아가 과학기술정보통신부가 지정한 보안관제 전문기업인 만큼 고객은 가비아에서 안전하고 안정적인 GPU 서비스를 이용할 수 있다”고 밝혔다.

2024.04.04 10:36김우용

ISC, 美 CPU사 양산 검증 통과...대면적용 신규 소켓 사업 순항

아이에스시(ISC)가 고성능 시스템반도체용 테스트 소켓 사업 확장에 추진력을 얻고 있다. 지난해 개발한 대면적용 소켓으로 주요 고객사와 검증에 돌입해, 최근 양산 적용에 대한 승인을 받은 것으로 파악됐다. 2일 업계에 따르면 ISC는 올 1분기 북미 CPU 고객사로부터 신규 테스트 소켓에 대한 퀄(품질) 테스트를 완료했다. ISC가 이번에 승인을 받은 제품은 대면적 시스템반도체용 실리콘 러버 소켓이다. 모델명은 WiDER2로, ISC가 지난해 개발한 제품이다. 이전 세대(WiDER) 대비 작동 범위 및 대응력을 높였다. 테스트 소켓은 패키징 공정이 끝난 칩의 양품 여부를 최종적으로 검사하는 데 쓰인다. 테스트 방식에 따라 포고핀(Pogo pin)과 러버(Rubber)로 나뉜다. 이 중 러버 소켓은 칩에 손상을 줄 가능성이 낮고 미세공정에 적합하다. ISC는 지난해 북미 CPU 고객사에 WiDER2를 공급해 R&D(연구개발) 영역에서 테스트를 거쳐 왔다. 이후 올 1분기에는 양산 적용에 대한 퀄 테스트를 통과했다. 이르면 올 2분기부터 발주가 진행될 예정으로, 실제 공급 규모는 시장 상황에 따라 가변적일 것으로 관측된다. 업계가 ISC의 WiDER 사업에 주목하는 이유는 반도체 산업의 트렌드에 있다. 최근 CPU·GPU 등 시스템반도체 시장은 AI 산업의 발전에 대응하고자 데이터 처리 성능을 급격히 끌어올리고 있다. 특히 서버용 반도체의 경우, 핵심 칩과 각종 고성능 메모리·인터페이스 칩을 함께 집적하는 방식으로 진화하고 있다. 이 같은 반도체의 고성능화는 필연적으로 칩 면적의 확장을 촉진한다. 반도체 후공정 소부장 기업들 역시 점차 커지는 칩 면적에 대응하기 위한 신규 장비, 부품 등을 적극 개발해 왔다. 반도체 업계 관계자는 "칩 사이즈를 최대한 줄이려던 모바일 시대와 달리, AI 시대에서는 성능의 극대화를 위해 칩 사이즈를 키우는 방향으로 나아가고 있다"며 "부품 업계도 칩 면적 확대와 함께 높아지는 기술적 난이도에 잘 대응한다면 글로벌 경쟁력을 확보할 수 있을 것"이라고 설명했다. 한편 ISC는 이와 관련해 "구체적으로 말씀드릴 수 있는 사안은 없다"고 밝혔다.

2024.04.02 11:08장경윤

"토종 AI칩, 엔비디아와 경쟁 위해 특화 시장 공략해야"

“엔비디아가 AI 반도체 시장에서 지배적인 입지에 있다고 해도 국내 기업이 경쟁을 포기하고 종속되면 안 됩니다. 국산 AI 반도체가 성공하려면 애플리케이션 맞춤형 저전력 NPU(신경망처리장치)를 개발하고 특화된 시장(니치 마켓)을 공략해야 합니다.” 김형준 차세대지능형반도체사업 단장은 지디넷코리아와 인터뷰에서 국산 AI 반도체 기술 개발에 대한 방향성에 대해 이같이 강조했다. 차세대지능형반도체사업단을 이끄는 수장인 김형준 단장은 반도체 소자 및 공정 전문가다. 김 단장은 1986년부터 서울대학교 재료공학부에서 교수 생활을 시작해 서울대학교 반도체공동연구소, 한국반도체디스플레이기술학회, 한국재료학회, 한국결정학회 등 다양한 학술 단체를 이끌었고, 2001년부터 2011년까지 국책 사업으로 진행된 '2010 시스템집적반도체개발사업단'에서 사업단장을 역임했다. 차세대지능형반도체사업단은 정부(과학기술정보통신부, 산업통상자원부)가 국내 차세대지능형 반도체 개발과 생태계 구축을 위해 2020년 9월 출범한 조직으로, 10년간 산·학·연간 협력을 돕는 가교 역할을 한다. 사업단으로부터 지원받은 AI 반도체는 사피온이 지난해 11월 출시한 'X330'과 퓨리오사AI가 올해 2분기에 출시하는 '레니게이트'를 비롯해 딥엑스, 텔레칩스 등이 대표적이다. ■ 국산 NPU, 저전력·가격 경쟁력 내세워 니치 마켓 공략 필요 AI 반도체 시장에서 엔비디아의 GPU(그래픽처리장치)는 80% 점유율을 차지한다. 엔비디아는 하드웨어뿐 아니라 '쿠다(CUDA)' 소프트웨어를 공급해 AI 반도체 시장을 장악할 수 있었다. 반면 국내 스타트업들은 GPU 보다 저전력에 특화된 분야에서 처리 능력이 뛰어난 NPU(신경망처리장치)에 주력하고 있다. 최근 애플, 아마존, 마이크로소프트(MS) 등 미국 빅테크 기업도 NPU 칩을 개발하는 추세다. “이런 상황에 국내 스타트업이 엔비디아와 경쟁 및 글로벌 시장에서 성공할 수 있을지에 대해 의구심이 든다”는 기자의 질문에 김 단장은 “엔비디아의 GPU도 AI 모델에 따라 여러 종류를 판매하고 있으므로, 국내 업체도 특정 추론 모델에 특화된 맞춤형 NPU 반도체를 만들어 니치 마켓을 공략해야 한다”고 답했다. 그는 이어 “AI 반도체가 지속 가능하려면 저전력이 되어야 한다”라며 “데이터센터에는 약 1만장 이상의 GPU가 탑재되며, 이로 인해 많은 전력이 소모된다는 지적이 따른다. 전 세계 데이터센터 소비량은 현재 남아프리카공화국의 전력 소비량과 비슷하다. 또 2027년 전 세계 데이터센터가 필요한 전력은 스웨덴의 1년 전력량과 맞먹는 85~134Twh가 될 전망이다. 이는 최근 업계가 저전력 NPU 반도체에 관해 관심이 높아지는 이유다”라고 설명했다. NPU는 GPU보다 저렴한 가격으로도 경쟁력을 갖출 수 있다. 엔비디아 GPU는 리드타임(주문해서 받기까지 기간)이 1년 이상 걸리고 1개 칩당 5천만원 이상으로 비싼 가격이다. 김 단장은 “일례로 인도네시아, 말레이시아, 베트남 등의 국가가 데이터센터를 만들고 싶어도 엔비디아 GPU의 비싼 가격으로 인해 선뜻 투자하기 어려울 것”이라며 “국산 NPU가 뛰어난 성능에 엔비디아 GPU보다 저렴한 가격에 공급한다면, 해당 시장을 개척할 수 있을 것”이라고 말했다. 또한 “우리나라가 예전에 F35 전투기를 개발할 당시, 구매하는 것보다 개발 비용이 수십 배 더 들었지만, 결국 기술 확보를 위해 개발에 착수하고 국산화에 성공했다. 그 결과 현재 전투기도 수출하는 국가가 되었다. 이렇듯 AI 반도체도 개발을 지속해야 하며, 결코 미국에 종속되어서는 안 된다”고 강조했다. ■ 실증 사업 통해 레퍼런스 확보 중요…엣지 시장에 기회 있을 것 국내 AI 반도체 기업은 데이터센터 실증 사업 통해 레퍼런스를 확보하는 것이 중요하다. 정부는 AI 반도체 육성을 위해 K-클라우드 사업을 전개하고 있으며, KT, 네이버 등의 데이터센터는 GPU 대신 국산 NPU를 도입해 일부 실증 테스트를 진행하고 있다. 김 단장은 “NPU 기업은 데이터센터 실증 테스트를 적극 활용해서 제품 경쟁력을 높이는 것이 필요하다”며 “레퍼런스를 바탕으로 국내뿐 아니라 해외에 NPU를 수출할 수 있을 것”이라고 조언했다. 언제쯤 국내 NPU 반도체가 해외의 주요 고객사에 수출될 수 있을지에 대한 질문에 김 단장은 “국내 스타트업의 칩 양산이 올해 본격화되기에 2026년에는 성공 여부가 판가름 날 것”이라며 “냉정하게 경쟁력이 없다고 판단되면 사업을 접어야 할 것”이라고 말했다. 그는 “하지만 데이터센터 외에도 공장 자동화, 모바일, 자율주행차 등 엣지 쪽에는 굉장히 많은 애플리케이션이 있다”라며 “특화된 시장을 겨냥해 AI 응용 칩을 만들면 반드시 기회가 있을 것으로 본다”고 전망했다.

2024.04.02 10:46이나리

HPE, 생성형 AI용 슈퍼컴퓨팅 포트폴리오 출시

HPE는 지난 18일 엔비디아 연례 컨퍼런스 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 업계 가장 통합적인 AI 네이티브 포트폴리오를 새롭게 업데이트 했다고 26일 발표했다. HPE와 엔비디아는 공동 엔지니어링한 풀스택 생성형 AI 솔루션을 선보였다. HPE 머신러닝 추론 소프트웨어 프리뷰 버전과 엔터프라이즈급 검생증강생성(RAG) 레퍼런스 아키텍처 등도 소개됐다. HPE와 엔비디아는 블랙웰 플랫폼 기반 제품 개발을 지원한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션이 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 제공된다. 해당 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 설치까지 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2-3배 더욱 신속히 진행할 수 있다. 디스커버 바스셀로나 2023 행사에서 선보였듯 HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 이제 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는HPE 그린레이크를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링해 사전 구성된 미세 조정 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 해당 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU로 사전 구성됐다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. 솔루션 도입 시AI 기술 격차를 해소하기 위해서 HPE 서비스 전문가들이 적합한 모델 조정 기술 등을 포함해 솔루션의 설계, 배포부터 관리까지 지원한다. HPE와 엔비디아는 기업들이 AI 및 ML 개념검증 단계에서 실제 애플리케이션 생산으로 넘어갈 수 있는 소프트웨어 솔루션을 제공하기 위해 협업하고 있다. HPE 고객들은 HPE 머신 러닝 추론 소프트웨어 솔루션을 프리뷰 버전으로 이용할 수 있으며 해당 소프트웨어를 이용해 기업들은 빠르고 안전하게 ML 모델을 대규모로 배포할 수 있다. 프라이빗 데이터를 이용하여 생성형 AI 애플리케이션을 빠르게 구축 및 배포해야 하는 기업들을 위해서 HPE는 엔비디아 네모 리트리머 마이크로 서비스 아키텍처에 기반한 엔터프라이즈 RAG용 레퍼런스 아키텍처를 개발했다. 해당 레퍼런스 아키텍처는 HPE 에즈메랄 데이터 패브릭 소프트웨어와 파일스토리지용 HPE 그린레이크로부터 추출한 종합적인 데이터 파운데이션을 기반으로 한다. 이외에도 데이터 준비, AI 훈련 및 추론 등을 지원하기 위해 해당 솔루션은 HPE 에즈메랄 유니파이드 애널리틱스 소프트웨어와 HPE의 AI 소프트웨어에서 모든 오픈소스 툴과 솔루션을 병합하여 사용할 수 있도록 했다. HPE 머신 러닝 데이터 매니지먼트 소프트웨어, HPE 머신 러닝 개발환경 소프트웨어, 신규 HPE 머신러닝 추론 소프트웨어 등도 이에 해당된다. HPE 소프트웨어는 HPE 슈퍼컴퓨팅과 생성형 AI 용 엔터프라이즈 컴퓨팅 솔루션 모두에서 이용가능해 고객은 생성형 AI 워크로드를 일정한 환경에서 관리할 수 있다. HPE는 향후 새롭게 발표된 엔비디아 블랙웰 플랫폼을 기반으로 제품을 개발할 계획이며 이러한 제품은 2세대 트랜스포머 엔진을 통합해 생성형 AI 워크로드를 가속한다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩, HGX 200, HGXB100 등이 장착된 HPE 제품에 관한 더욱 자세한 정보는 추후 공개될 예정이다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다”며 “AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것에서부터 엣지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”고 설명했다. 그는 “HPE와 엔비디아는 오랫동안 혁신을 위해 협력해왔다. 양사는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 강조했다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다”며 “엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 밝혔다.

2024.03.26 16:44김우용

솔루스첨단소재, 북미 GPU 기업에 AI 가속기용 동박 승인 받아

솔루스첨단소재가 북미 그래픽처리장치(GPU) 기업의 신제품 인공지능(AI) 가속기에 자사 하이엔드 동박을 탑재하기 위한 첫 승인을 받았다. 솔루스첨단소재는 그간 유수의 글로벌 빅테크 기업에 고성능 다층 인쇄회로기판용 동박을 공급해왔으나 북미 GPU 기업에 동박 공급 승인을 받은 것은 이번이 처음이다. 26일 업계에 따르면 솔루스첨단소재는 최근 동박적층판(CCL) 제조 고객사를 통해 북미 GPU 기업의 AI 가속기용 동박을 승인받았다. 솔루스첨단소재의 동박은 올해 출시 예정인 신형 AI 가속기에 탑재될 예정이다. AI 가속기란 AI 학습·추론에 특화한 반도체 패키지를 말한다. 이번 승인은 솔루스첨단소재가 제조하는 고성능 다층 인쇄회로기판용 동박이 글로벌 빅테크 기업으로부터 품질을 인정받고, 공급이 확정됐다는 데 의미가 있다. 글로벌 빅테크 기업은 통상 공급처와 장기간 협력관계를 맺기 때문에 솔루스첨단소재가 중장기적인 먹거리를 확보했다고 평가할 수 있다. 업계 관계자는 "GPU 업체가 솔벤더(독점 협력업체)를 통해 CCL을 받다가 공급망을 다각화하기 위해 협력업체를 추가로 채택하고 있다"며 "엄격한 품질 테스트를 통과하면 중장기 계약으로 이어지기 때문에 사업 수익성 측면에서 의미가 크다"고 말했다. 솔루스첨단소재 동박은 신호 손실을 최소화하기 위해 표면의 거칠기(조도)를 0.6마이크로미터(μm) 이하로 낮춘 '하이엔드' 제품이다. 제품 분류 상으로는 저조도(Low Profile) 동박, 극저조도(Very Low Profile) 동박보다 더 거칠기를 낮춘 초극저조도(Hyper Very Low Profile) 동박에 해당한다. 솔루스첨단소재는 유럽통합법인 볼타에너지솔루션(Volta Energy Solutions, VES)의 룩셈부르크 공장에서 동박을 제조한다. 볼타에너지솔루션은 두께 2μm 이하의 초극박부터 표면을 매끄럽고 균일하게 만드는 저조도 동박까지 제품 용도에 맞는 다양한 동박 제조 기술을 보유하고 있다. AI 가속기를 비롯한 고성능 AI 반도체 시장은 급격히 성장할 것으로 예상된다. 시장조사업체 가트너에 따르면 전 세계 AI 반도체 매출 올해 671억 달러(90조원)에서 2027년 1194억 달러(155조원)로 3년 만에 3배 가량 커질 전망이다. 솔루스첨단소재의 동박은 AI가속기 외에도 데이터센터, 통신장비 기지국 레이더, 스마트폰 연성기판, IC카드·USIM카드, 항공기, 우주선 등 다양한 산업군에 적용 가능하다. 글로벌 반도체 기업을 비롯해 미국 최대 전자상거래 기업, 세계 최대 통신장비 기업 등 10개 이상의 글로벌 빅테크 기업을 최종 고객사로 확보하고 있다. 한편, 솔루스첨단소재는 전기차, 반도체, 디스플레이 등 전방 시장 둔화로 최근 2년 연속 적자(2022년 영업손실 452억원, 2023년 영업손실 788억원)를 기록했다. 최근 회사는 동박 제조 기술력을 기반으로 글로벌 고객사와의 협력을 늘려감에 따라 올해 실적에 긍정적인 영향을 미칠 것으로 관측된다.

2024.03.26 16:17이나리

슈퍼마이크로, 풀스택 생성형 AI 슈퍼클러스터 3종 출시

슈퍼마이크로컴퓨터(이하 슈퍼마이크로)는 생성형 AI의 도입을 가속화하기 위한 슈퍼클러스터 포트폴리오를 22일 발표했다. 최신 솔루션은 현재는 물론 미래의 거대언어모델(LLM) 인프라에도 적합한 핵심 빌딩 블록을 제공한다. 슈퍼마이크로 슈퍼클러스터 솔루션 3종은 현재 생성형 AI 워크로드에 사용 가능하다. 4U 수냉식 냉각 시스템 또는 8U 공냉식 냉각 시스템은 강력한 LLM 학습 성능은 물론 대규모 배치와 대용량 LLM 추론용으로 특별히 제작 및 설계됐다. 1U 공냉식 슈퍼마이크로 엔비디아 MGXTM 시스템을 갖춘 슈퍼클러스터는 클라우드 규모 추론에 최적화됐다. 슈퍼마이크로 4U 엔비디아 HGX H100/H200 8-GPU 시스템은 수냉식 냉각을 사용해 8U 공랭식 시스템의 밀도를 두 배로 높이고 에너지 소비량과 데이터센터 TCO를 낮춘다. 차세대 엔비디아 블랙웰 아키텍처 기반의 GPU를 지원하도록 설계됐다. 슈퍼마이크로 냉각 분배 장치(CDU)와 매니폴드(CDM)는 냉각된 액체를 슈퍼마이크로의 맞춤형 D2C 콜드 플레이트에 분배하기 위한 핵심 부품으로, GPU와 CPU를 최적의 온도로 유지하고, 성능을 극대화한다. 이러한 냉각 방식은 데이터센터의 총 전기 비용을 최대 40% 절감하고 물리적 공간도 절약할 수 있다. 엔비디아 HGX H100/H200 8-GPU를 탑재한 시스템은 생성형 Al 학습에 이상적이다. 엔비디아 NV링크 로 상호 연결된 고속 GPU와 더불어 넓은 GPU 메모리 대역폭 및 용량은 LLM 모델의 비용 효율적인 구동에 핵심적인 역할을 한다. 슈퍼마이크로의 슈퍼클러스터는 하나의 AI 슈퍼컴퓨터처럼 작동하는 대규모 GPU 리소스 풀을 생성한다. 조 단위의 토큰으로 구성된 데이터 세트로 학습된 대규모 기초 모델을 처음부터 구축하거나 클라우드 규모의 LLM 추론 인프라를 구축할 때, 비차단 400Gbps 패브릭을 갖춘 스파인 및 리프 네트워크 토폴로지를 사용한다면 32개 노드에서 수천 개의 노드까지 원활하게 확장할 수 있다. 슈퍼마이크로는 수냉식 냉각을 활용하는 테스트를 통해 배포 전에 운영 효율성과 효과를 철저하게 검증한다. 슈퍼마이크로의 엔비디아 MGX 시스템 설계는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 통해 생성형 AI의 주요 병목 현상을 해결하는 미래형 AI 클러스터에 대한 청사진을 제시할 것이다. 이때 병목 현상은 운영비용을 절감하기 위해 고성능 추론 배치 규모로 LLM을 실행하는 GPU 메모리 대역폭과 용량을 의미한다. 256노드 클러스터는 쉽게 구축 및 확장이 가능한 클라우드 규모의 대규모 추론 성능을 지원한다. 랙 5개에 4U 수냉식 냉각 시스템 또는 랙 9개에 8U 공랭식 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 엔비디아 H100/H200 텐서 코어 GPU 256개를 탑재한다. 수냉식 냉각의 경우 공냉식 256 GPU 및 32노드 솔루션과 동일한 설치 면적에서 512 GPU, 64노드를 지원한다. 확장 가능한 유닛 하나에 엔비디아 H100을 포함한 20TB HBM3 또는 엔비디아 H200을 포함한 36TB HBM3e을 탑재한다. 1대1 네트워킹으로 각 GPU에 최대 400Gbps를 제공하며, 최대 조 단위의 매개변수로 LLM을 학습시키기 위한 GPU 다이렉트 RDMA 및 스토리지를 활성화한다. 엔비디아 퀀텀-2 인피니밴드, 엔비디아 스펙트럽-X 이더넷 플랫폼 등 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭으로 연결된다. 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭을 구성한다 .엔비디아 AI 엔터프라이즈 5.0 소프트웨어로 대규모 AI 모델 구축을 가속화하는 새로운 엔비디아 NIM 추론 마이크로서비스를 지원한다. 랙 9개에 1U 공냉식식 냉각 엔비디아 MGX 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 256개의 GH200 그레이스 호퍼 슈퍼칩을 장착하며, 최대 144GB의 HBM3e + 480GB의 LPDDR5X 통합 메모리로, 하나의 노드에 70B+ 매개변수 모델을 수용할 수 있다. 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭을 지원하며, 노드당 최대 8개의 내장 E1.S NVMe 스토리지 장치를 제공한다. 엔비디아 블루필드-3 DPU와 맞춤형 AI 데이터 파이프라인 스토리지 패브릭으로 각 GPU에 많은 처리량과 짧은 지연 시간의 스토리지 액세스를 제공한다. 엔비디아 AI 엔터프라이즈 5.0 소프트웨어를 제공한다. 슈퍼마이크로의 슈퍼클러스터 솔루션은 GPU-GPU 연결을 위해 달성할 수 있는 네트워크 성능을 갖췄으며, LLM 훈련, 딥 러닝, 그리고 대용량 및 대규모 배치 추론에 최적화됐다. 현장 배포 서비스와 결합된 슈퍼마이크로의 L11 및 L12 검증 테스트는 고객에게 매끄러운 사용 경험을 제공한다. 고객은 플러그 앤 플레이 확장형 유닛을 통해 데이터센터에 쉽게 구축하고 더 빠르게 결과를 얻을 수 있다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 "AI 시대에 컴퓨팅 단위는 단순히 서버 수가 아닌 클러스터로 측정된다”며 “슈퍼마이크로는 글로벌 제조량을 월 5,000개의 랙으로 확장해 그 어느 때보다 빠르게 완전한 생성형 AI 클러스터를 제공할 수 있다"고 설명했다. 그는 "확장 가능한 클러스터 빌딩 블록에 64노드 클러스터는 400Gb/s 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹을 갖춰 72TB의 HBM3e및 512개의 엔비디아 HGX H200 GPU를 지원한다”고 밝혔다 이어 “슈퍼마이크로의 슈퍼클러스터 솔루션은 엔비디아 AI 엔터프라이즈 소프트웨어와 결합됐다”며 “그 결과 오늘날 최대 조 단위의 매개변수로 LLM을 학습하는 기업 및 클라우드 인프라에 이상적”이라고 덧붙였다. 카우츠브 상하니 엔비디아 GPU 제품 부문 부사장은 "엔비디아의 최신 GPU, CPU, 네트워킹 및 소프트웨어 기술은 시스템 제조사가 글로벌 시장을 위한 다양한 차세대 AI 워크로드를 가속화할 수 있도록 지원한다"며 “슈퍼마이크로는 블랙웰 아키텍처 기반 제품에 엔비디아 가속 컴퓨팅 플랫폼을 활용해 데이터센터에 쉽게 구축 가능한 최첨단 서버 시스템을 제공하고 있다"고 밝혔다.

2024.03.22 18:06김우용

데이터브릭스-엔비디아, 기술 통합 강화

데이터브릭스는 엔비디아와 협력을 확대하고 기술 통합을 강화한다고 21일 밝혔다. 엔비디아 GTC 2024 컨퍼런스에서 양사는 데이터브릭스의 데이터 인텔리전스 플랫폼의 데이터 및 AI 워크로드 최적화에 박차를 가할 계획이라고 강조했다. 이 협력은 최근 엔비디아가 데이터브릭스 시리즈I 투자에 참여한 것의 연장선이다. 데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다. 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다. 데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU를 사용한다. 이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다. 한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다. 데이터브릭스 모자이크 AI 모델 서빙의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다. 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공하고, 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다. 데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함되어 있다. 사용자는 이러한 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다. 데이터브릭스와 엔비디아는 데이터 인텔리전스 플랫폼의 모멘텀을 강화해 보다 다양한 조직이 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “이번 파트너십 확장으로 엔비디아의 가속 컴퓨팅 및 소프트웨어를 통해 데이터브릭스의 워크로드를 가속화하고 고객에 보다 많은 가치를 제공할 수 있게 돼 기쁘다"며 “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다"고 밝혔다. 그는 "쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산"이라며 “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다"고 강조했다.

2024.03.21 09:35김우용

오라클, 엔비디아와 '소버린 AI' 제공 협력 발표

오라클은 엔비디아와 협력 관계를 확장해, 전 세계 고객들을 대상으로 소버린 AI 솔루션을 제공하기 위한 계획을 20일 발표했다. 이 협력을 통해 오라클의 분산형 클라우드와 AI 인프라스트럭처, 생성형 AI 서비스는 엔비디아의 가속 컴퓨팅 및 생성형 AI 소프트웨어와 결합해 각국 정부 및 기업의 AI 팩토리 배포를 지원한다. 양사의 AI 팩토리는 광범위한 운영 통제 기능을 통해 클라우드 서비스를 국가 또는 기업 조직의 안전한 자체 지역 내 로컬 환경에서 운영하고, 이를 통해 경제 성장을 촉진하고 다각화하기 위한 주권 목표를 지원한다. OCI 전용 리전과 오라클 알로이, 오라클 EU 소버린 클라우드, 오라클 정부 클라우드 등에 배포 가능한 오라클의 기업용 AI 서비스는 엔비디아의 풀스택 AI 플랫폼과 결합돼 데이터의 운영과 위치 및 보안에 대한 제어력을 강화하여 고객의 디지털 주권을 지원하는 최첨단 AI 솔루션을 제공한다. 현재 세계 각국은 자국의 문화적, 경제적 목표를 달성하기 위해 AI 인프라 투자를 늘려 나가고 있다. 기업 고객들은 26개국에 위치한 66개의 오라클 클라우드 리전을 통해 인프라 및 애플리케이션 전반에 걸쳐 100여 개 클라우드 및 AI 서비스에 접근할 수 있고, 이를 통해 IT 마이그레이션, 현대화 및 혁신을 추진할 수 있다. 양사의 통합 오퍼링은 유연한 운영 통제 기능을 바탕으로 퍼블릭 클라우드를 통하거나 특정한 위치의 고객사 데이터센터에 직접 배포 가능하다. 오라클은 고객이 원하는 모든 장소에서 로컬 방식으로 AI 서비스 및 자사의 완전한 클라우드 서비스를 제공할 수 있는 유일한 하이퍼스케일러다. OCI는 배포 유형과 관계없이 동일한 서비스 및 가격 정책을 일관되게 제공하여 클라우드 서비스 이용을 보다 간단하게 계획하고 이전 및 관리할 수 있도록 한다. 오라클의 클라우드 서비스는 엔비디아 가속 컴퓨팅 인프라와 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼 등 다양한 엔비디아 스택을 활용하고 있다. 엔비디아 텐서RT, 엔비디아 텐서RT-LLM, 엔비디아 트리톤 추론 서버 등 엔비디아 추론 소프트웨어를 기반으로 구축되어 최근 발표된 엔비디아 NIM 추론 마이크로서비스도 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼에 포함된다. 스위스 뱅킹 소프트웨어 제공업체인 아발록은 자체 데이터센터에서 완전한 OCI 퍼블릭 클라우드 리전을 운용하기 위해 OCI 전용 리전을 도입했다. 아발록의 마틴 부치 최고 기술 책임자는 "OCI 전용 리전은 최신 클라우드 인프라에 대한 액세스를 제공하면서도 데이터 보존을 최대한 제어하려는 아발록의 노력과 부합한다"며 "이는 우리가 은행과 자산 관리사의 디지털 혁신을 지속적으로 추진하는 데 큰 도움이 된다”고 설명했다. 뉴질랜드의 선도적인 정보 관리 서비스 제공업체인 팀 아이엠은 뉴질랜드 최초로 현지 기업이 소유 및 운영하는 하이퍼스케일 클라우드인 팀 클라우드를 구축하기 위해 오라클 알로이를 도입했다. 팀 아이엠의 이언 로저스 CEO는 "클라우드의 성능은 십분 활용하면서도 뉴질랜드 국경 내에서 데이터 무결성을 유지할 수 있는 독자적인 하이퍼스케일 클라우드 솔루션에 대한 뉴질랜드 기업들의 수요가 갈수록 증가하고 있다"며 "팀 아이엠은 오라클 알로이와 더불어, 엔비디아 AI 플랫폼을 자사 클라우드 서비스에 통합할 수 있는 가능성을 통해 공공 분야 및 민간 기업, 뉴질랜드 원주민 단체들이 디지털 환경의 복잡성을 해소하고 디지털 혁신 과정을 최적화하는 과정에 기여할 수 있는 클라우드 서비스 제공업체로 자리 매김했다"고 밝혔다. 오라클은 엔비디아 GTC에서 발표된 최신 엔비디아 그레이스 블랙웰 컴퓨팅 플랫폼을 자사의 OCI 슈퍼클러스터 및 OCI 컴퓨트 서비스 전반에 도입함으로써 지속적으로 증가하는 고객의 AI 모델에 대한 요구사항에 대응해 나갈 계획이다. OCI 슈퍼클러스터는 새로운 OCI 컴퓨트 베어 메탈 인스턴스와 초저지연 RDMA 네트워킹, 고성능 스토리지를 통해 훨씬 더 빠른 속도를 제공할 전망이다. OCI 컴퓨트에는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩과 엔비디아 블랙웰 B200 텐서 코어 GPU가 모두 탑재된다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩은 컴퓨팅의 새로운 시대를 선도할 획기적 성능을 제공한다. 전 세대 GPU 대비 최대 30배 빠른 실시간 대규모 언어 모델(LLM) 추론, 25배 낮은 TCO, 25배 적은 에너지 소모량 등을 자랑하는 GB200은 AI 학습, 데이터 처리, 엔지니어링 설계 및 시뮬레이션 등의 작업 성능을 대폭 강화해 준다. 엔비디아 블랙웰 B200 텐서 코어 GPU는 가장 높은 성능이 요구되는 AI, 데이터 분석, 고성능 컴퓨팅(HPC) 워크로드를 처리하기 위해 설계됐다. 또한 검색 증강 생성(RAG) 추론 배포를 위한 엔비디아 네모 리트리버를 비롯한 엔비디아 NIM 및 쿠다-X 마이크로서비스는 OCI 고객이 자체 데이터를 사용해 생성형 AI 코파일럿 및 기타 생산성 도구에 더 많은 인사이트를 제공하는 동시에, 해당 도구들의 정확성을 향상시키는 작업에도 도움이 될 것으로 보인다. 점점 더 복잡해지는 AI 모델에 대한 고객의 수요 증가에 부응하기 위해 오라클과 엔비디아는 OCI 상에서 구동되는 엔비디아 DGX 클라우드 서비스에 엔비디아 그레이스 블랙웰 슈퍼칩을 추가할 예정이다. 고객들은 LLM의 매개변수가 조 단위에 달하게 된 현 시점에 보다 에너지 효율적인 학습 및 추론을 지원하기 위해 양사가 함께 설계한 슈퍼컴퓨팅 서비스인 엔비디아 DGX 클라우드를 통해 새로운 GB200 NVL72 기반 인스턴스에 액세스 할 수 있다. DGX 클라우드 클러스터의 전체 구성에는 2만개 이상의 GB200 가속기와 엔비디아 CX8 인피니밴드 네트워킹이 포함돼 더욱 탁월한 확장성 및 성능을 갖춘 클라우드 인프라를 제공할 예정이다. 해당 클러스터는 5세대 NV링크가 탑재된 72개의 블랙웰 GPU NVL 72와 36개 그레이스 CPU로 구성된다. 사프라 카츠 오라클 CEO는 "AI가 전 세계의 비즈니스, 산업 및 정책을 재편함에 따라, 국가와 기업 조직은 가장 중요한 데이터를 안전하게 보호하기 위해 디지털 주권을 강화해야 한다"며 "오라클은 엔비디아와의 지속적인 협력 관계와 클라우드 리전을 로컬 차원에서 신속히 배포할 수 있는 독보적인 역량을 통해 전 세계에서 보안에 대한 타협과 우려 없이 AI를 활용할 수 있도록 보장할 것"이라고 밝혔다. 젠슨 황 엔비디아 설립자 겸 CEO는 "생성형 AI가 혁신을 주도하는 시대에 데이터 주권은 문화적, 경제적 필수 요소"라며 "엔비디아의 가속 컴퓨팅 및 생성형 AI 서비스와 결합된 오라클의 통합 클라우드 애플리케이션 및 인프라 서비스는 각 국가 및 지역이 데이터 주권을 바탕으로 스스로 미래를 직접 설계할 수 있는 유연성과 보안을 제공한다."라고 강조했다. 오라클과 엔비디아가 공동 제공하는 소버린 AI 솔루션은 발표와 함께 바로 사용 가능하다.

2024.03.20 10:45김우용

삼성·SK하이닉스, '12단 HBM3E' 경쟁 가열...美GTC서 실물 공개

AI 반도체 시장 성장으로 고대역폭메모리(HBM) 경쟁이 치열해진 가운데 삼성전자, SK하이닉스, 마이크론이 최신 제품인 HBM3E 실물을 나란히 공개해 주목된다. 엔비디아는 18~21일(현지시각) 3일간 미국 캘리포니아 실리콘밸리에서 연례 개발자 콘퍼런스 GTC 2024를 개최했다. GTC에는 엔비디아 협력사인 삼성전자, SK하이닉스, 마이크론 등이 전시 부스를 마련하고 최신 HBM3E 실물을 전시해 눈길을 끌었다. HBM은 여러 개 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 대폭 끌어올린 고성능 제품이다. HBM은 1세대(HBM)·2세대(HBM2)·3세대(HBM2E)에 이어 4세대(HBM3) 제품이 공급되고 있으며, 올해 상반부터 5세대(HBM3E) 양산이 시작된다. 엔비디아는 AI 반도체로 사용되는 그래픽처리장치(GPU) 시장에서 80% 점유율로 사실상을 독점체제를 구축하고 있기에, 메모리 시장에서 최대 고객사로 여겨진다. 이런 이유로 메모리 업체가 엔비디아 행사에서 앞다퉈 최신 HBM3E를 공개한 이유다. 삼성전자는 부스에서 D램을 12단까지 쌓은 12단 HBM3E 실물을 처음으로 공개했다. 삼성전자는 HBM 시장에서 SK하이닉스에 뒤쳐졌다는 평가를 인식한듯 지난달 27일 업계에서 처음으로 12단 HBM3E 샘플을 고객사에 제공하기 시작했다고 공식 발표한 바 있다. 삼성전자에 따르면 12단 HBM3E는 초당 최대 1280GB의 대역폭과 36GB 용량을 제공해 성능과 용량 모두 전작인 8단 HBM3 대비 50% 이상 개선된 제품이다. 삼성전자는 '어드벤스드 TC NCF'(Thermal Compression Non Conductive Film, 열압착 비전도성 접착 필름) 기술로 12단 제품을 8단 제품과 동일한 높이로 구현했다. NCF 소재 두께는 업계 최소 칩간 간격인 '7마이크로미터(um)'다. SK하이닉스도 지난 1월 CES 2024에서 처음으로 12단 HBM3E 실물을 전시한데 이어 이번 GTC에서도 공개했다. SK하이닉스 또한 지난달 엔비디아에 12단 HBM3E 샘플을 공급을 시작한 것으로 알려진다. 이에 더해 SK하이닉스는 GTC 행사 첫날 업계 최초로 8단 HBM3E 양산을 시작했다고 공식적으로 알리며 시장 우위를 강조했다. SK하이닉스의 8단 HBM3E는 엔비디아 'H200' GPU에 공급된다. SK하이닉스는 가장 먼저 HBM3 양산과 동시에 엔비디아에 독점 공급권을 따내면서 HBM 시장에서 선두를 달려왔다. 이날 SK하이닉스는 경쟁사인 삼성전자와 달리 적층에 어드밴스드 MR-MUF(매스 리플로우-몰디드 언더필) 공정을 적용해, 열 방출 성능을 이전 세대(HBM3) 대비 10% 향상시켰다는 점도 내세웠다. MR-MUF는 반도체 칩을 쌓아 올린 뒤 칩과 칩 사이 회로를 보호하기 위해 액체 형태의 보호재를 공간 사이에 주입하고 굳히는 공정이다. 마이크론 또한 GTC에서 8단 HBM3E를 전시했다. 후발주자인 마이크론은 HBM3을 건너 뛰고 지난달 27일 8단 HBM3E 양산을 시작했다고 밝히며 “해당 HBM3E는 엔비디아가 2분기에 출시하는 GPU H200에 탑재될 예정"이라고 전했다. 아울러 마이크론도 이달부터 엔비디아에 12단 HBM3E 샘플을 공급한다. 한편, 엔비디아는 올해부터 GPU에 HBM3E를 탑재한다. 엔비디아는 올해 2분기 말에 출시되는'H200'에는 HBM3E 6개를 탑재되고, 하반기에 출시하는 'B100'에는 HBM3E 8개가 탑재된다. B100은 엔비디아가 오늘 발표한 차세대 GPU '블랙웰'이다. 시장조사업체 트렌드포스에 따르면 전체 D램 매출에서 HBM이 차지하는 비중이 지난해 8.4%에서 올해 말 20.1%로 증가한다고 전망했다. 올해 HBM의 연간 비트(용량) 증가율은 약 260%에 달할 것으로 내다봤다. 현재 주류인 HBM3 시장에서 SK하이닉스는 90% 이상을 점유하고 있는 것으로 집계된다. 삼성전자는 향후 몇 분기에 걸쳐 AMD의 MI300에 HBM3을 공급하면서 점진적으로 시장 점유율을 늘릴 것으로 전망된다.

2024.03.19 16:02이나리

레노버, 엔비디아와 하이브리드 AI 솔루션 공개

레노버는 18일(현지시간) 개최된 엔비디아 GTC에 참가하고 신규 하이브리드 AI 솔루션을 발표했다. 지난 레노버 테크 월드에서 발표한 엔비디아와 파트너십을 기반으로 양사는 기업들로 하여금 AI 시대에 필수적인 컴퓨팅 기술을 갖추고 새로운 AI 활용 사례를 효율적으로 개발 및 구현할 수 있도록 지원할 예정이다. 양사의 엔지니어링 협력을 통해 이번 하이브리드 AI 솔루션은 포켓에서 클라우드에 이르는 고객 데이터에 AI를 효과적으로 활용할 수 있도록 만들어졌다. 이로써 레노버는 '모두를 위한 AI' 비전에 한 걸음 더 가까워졌을 뿐 아니라, 생성형 AI를 위한 획기적인 아키텍처의 시장 출시를 지원하게 됐다. 이제 개발자들은 엔비디아 AI 엔터프라이즈 소프트웨어 실행에 최적화된 레노버 하이브리드 AI 솔루션을 통해 엔비디아 NIM 및 네모 리트리버와 같은 마이크로 서비스에 액세스할 수 있게 된다. 전 세계 산업들이 방대한 데이터를 분석하기 위해 AI를 사용하기 시작하면서, 컴퓨팅 집약적인 워크로드를 처리하기 위한 전력효율성도 강조되고 있다. 레노버는 효율적인 고성능 컴퓨팅(HPC)을 구현하는데 앞장서 왔으며, 엔비디아 GPU 디자인이 적용된 HPC는 그린500 리스트 1위를 차지했다. 레노버 넵튠 다이렉트 수냉식 기술을 적용한 해당 디자인은 고열 및 다중 GPU 환경에서도 낮은 온도를 유지하여 컴퓨팅 성능을 가속화한다. 레노버는 확장된 레노버 씽크시스템 AI 포트폴리오를 새롭게 공개하며, 대규모 AI 워크로드를 효율적으로 처리해 내는 데 있어 획기적인 이정표를 세웠다. 해당 포트폴리오는 두 개의 엔비디아 8방향 GPU 시스템을 탑재하고 있으며, AI 구현을 가속하기 위한 전력 효율성 및 거대 컴퓨팅 능력을 갖추고 있다. 생성형 AI, 자연어 처리(NLP) 및 대규모 언어 모델(LLM) 개발을 위해 설계됐으며, 엔비디아 HGX AI 슈퍼컴퓨팅 플랫폼에는 엔비디아 H100, H200 텐서 코어 GPU, 신규 엔비디아 그레이스 블랙웰 GB200 슈퍼칩, 엔비디아 퀀텀-X800 인피니밴드 및 스펙트럼-X800 이더넷 네트워킹 플랫폼이 포함되어 있다. 레노버 씽크시스템 AI 서버는 엔비디아 B200 텐서 코어 GPU를 탑재해 생성형 AI의 새로운 막을 열었다. 엔비디아 블랙웰 아키텍처는 생성형 AI 엔진, 엔비디아 NV링크 인터커넥트 및 향상된 보안 기능을 갖추고 있는 점이 특징이다. 또한, B200 GPU는 최대 25배 더 빠른 실시간 추론 성능으로 1조 매개변수를 갖춘 언어 모델을 지원한다. 이는 AI, 데이터 분석 및 HPC 워크로드에 최적 설계됐다. 신규 레노버 씽크시스템 SR780a V3 서버는 1.1대의 전력효율지수(PUE)를 갖춘 5U 시스템으로, 설치 공간을 절약할 수 있는 점이 특징이다. 한편, CPU와 GPU에는 레노버 넵튠 다이렉트 수냉식 기술과 엔비디아 NV스위치 기술을 사용해 발열 문제없이 최대 성능을 유지할 수 있다. 10년간 사용된 레노버 넵튠 다이렉트 수냉식 기술은 온수 루프를 재활용하여 데이터 센터 시스템을 냉각하고, 기존 공랭 방식에 비해 최대 40%의 전력 소비 절감 및 3.5배의 열효율을 향상시킨다. 레노버 씽크시스템 SR680a V3 서버는 듀얼 소켓 공랭 시스템으로, 엔비디아 GPU와 인텔 프로세서를 탑재하여 AI를 최대 활용할 수 있도록 설계됐다. 해당 시스템은 방대한 계산 능력을 제공하며, 업계 표준 19인치 서버 랙 타입으로써 과도한 공간을 차지하거나 선반을 필요로 하지 않는 고밀도 하드웨어로 구성됐다. 레노버 PG8A0N 서버는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩을 탑재한 AI용 1U 서버이자 가속기용 개방형 수냉식 기술을 갖췄다. GB200은 45배 더 빠른 실시간 LLM 추론 성능과 더불어 40배 더 낮은 총소유비용(TCO), 40배 더 적은 에너지로 구동된다. 레노버는 엔비디아와의 긴밀한 협업을 통해 AI 트레이닝, 데이터 처리, 엔지니어링 설계 및 시뮬레이션을 위한 GB200 랙 시스템을 제공할 예정이다. 고객들은 레노버가 지닌 엔비디아 인증 시스템 포트폴리오를 통해 '엔비디아 AI 엔터프라이즈'를 사용할 수 있게 된다. 이는 프로덕션급 AI 애플리케이션 개발 및 배포를 위한 엔드 투 엔드 클라우드 네이티브 소프트웨어 플랫폼이다. 또한, 엔비디아 AI 엔터프라이즈에 포함된 엔비디아 NIM 추론 마이크로 서비스를 레노버 엔터프라이즈 인프라에서 실행함으로써, 고성능 AI 모델 추론을 할 수 있다. 레노버 씽크시스템 AI 서버 포트폴리오에는 중앙 집중화된 리소스 관리 시스템을 제공하는 '레노버 엑스클라리티 관리 시스템'과 AI 모델 개발 및 훈련, HPC 워크로드를 위한 클러스터된 컴퓨팅 리소스 사용을 간소화하는 통합 플랫폼 '레노버 리코(LiCO)'가 포함되어 있다. 또한, 4세대 및 5세대 인텔 제온 스케일러블 프로세서를 지원하며, 고전력 GPU를 위한 써멀 헤드룸을 갖췄다. 레노버는 워크스테이션에서 클라우드에 이르기까지 엔비디아 OVX와 엔비디아 옴니버스 설계, 엔지니어링 및 구동을 지원하고 있다. 기업들이 맞춤형 AI, HPC 및 옴니버스 애플리케이션을 신속하게 구축할 수 있도록 레노버는 엔비디아 MGX 모듈형 레퍼런스 디자인을 통해 신속하게 모델을 구축하고 있다. 이로써 맞춤형 모델을 제공받은 CSP 업체들은 가속화된 컴퓨팅을 통해 AI 및 옴니버스 워크로드를 대규모 처리할 수 있게 된다. 엔비디아 H200 GPU를 기반으로 한 해당 시스템은 테라바이트급의 데이터를 처리하는 AI 및 고성능 컴퓨팅 애플리케이션을 통해 과학자와 연구자들이 직면한 문제를 해결할 수 있도록 돕는다. 레노버는 엔비디아와 협력을 통해 대규모 AI 트레이닝, 미세 조정, 추론 및 그래픽 집약적 워크로드 처리를 위한 최대 4개의 RTX 6000 에이다 제너레이션 GPU를 제공해 데이터 사이언스 워크스테이션을 강화했다. 이는 자동화된 워크플로를 통해 AI 개발자의 생산성을 향상시킨다. 엔비디아 AI 워크벤치)를 갖춘 신규 레노버 워크스테이션은 소프트웨어 툴로써 추론, 대규모 시뮬레이션, 까다로운 워크플로를 위한 강력한 AI 솔루션을 개발 및 배포할 수 있도록 돕는다. 엔비디아 AI 워크벤치는 모든 개발자로 하여금 생성형 AI 및 머신 러닝 개발을 지원한다. 이제 레노버 씽크스테이션과 씽크패드 워크스테이션에서 이용 가능한 신규 엔비디아 A800 GPU는 AI용으로 특별히 설계돼, 모든 종류의 AI 워크플로를 활용하는 조직들을 위해 안전하고 프라이빗한 데이터 사이언스 및 생성형 AI 지원 환경을 제공한다. 커크 스카우젠 레노버 인프라스트럭처 솔루션 그룹(ISG) 사장은 “레노버와 엔비디아는 전 세계 비즈니스를 위한 증강 지능의 경계를 허물고 있다”며 “생성형 AI를 지원하는 최첨단 하이브리드 AI 솔루션 포트폴리오를 통해 데이터가 있는 어느 곳이든 AI 컴퓨팅을 활용할 수 있게 됐다”고 밝혔다. 그는 “우리는 실시간 컴퓨팅, 전력 효율성, 배포 용이성 개선을 기반으로 새로운 AI 활용 사례가 시장에 나올 수 있는 변곡점에 놓여있다”며 “레노버는 엔비디아와 파트너십을 통해 효율성, 성능, 비용 측면에서 획기적인 발전을 이루어 모든 산업 군에서 AI 애플리케이션 활용을 가속화할 것”이라고 강조했다. 밥 피트 엔비디아 엔터프라이즈 플랫폼 부문 부사장은 “AI는 기업들이 데이터를 통해 새로운 인사이트를 얻고 생산성을 향상시킬 수 있는 강력한 힘”이라며 “엔비디아 기술과 통합된 레노버의 새로운 엔터프라이즈 AI 솔루션은 AI를 위한 컴퓨팅 성능을 강화하는 데 있어 중추적인 이정표일 뿐만 아니라, 기업들이 생성형 AI를 활용할 수 있도록 신뢰도 있는 하이브리드 시스템을 제공한다”고 밝혔다.

2024.03.19 13:54김우용

델테크놀로지스, 엔비디아 기반 'AI 팩토리 솔루션' 공개

델테크놀로지스는 엔비디아와 전략적 협력을 강화하고 '델 AI 팩토리 위드 엔비디아' 솔루션을 출시한다고 19일 밝혔다. '델 AI 팩토리 위드 엔비디아'는 델의 생성형 AI 솔루션 포트폴리오 중 하나로, 기업과 기관들이 자체 보유한 데이터와 AI 툴, 그리고 온프레미스 인프라를 보다 안전하고 빠르게 통합하여 생성형 AI 투자 효과를 극대화하도록 돕는 것을 골자로 한다. 델과 엔비디아는 긴밀한 협력을 통해 델의 엔드투엔드 생성형 AI 솔루션 포트폴리오를 강화하고, 고객들이 비즈니스 혁신을 가속화하는 한편 생산성을 높일 수 있도록 지원에 나선다. '델 AI 팩토리 위드 엔비디아'는 델의 서버, 스토리지, 클라이언트 디바이스, 소프트웨어 및 서비스와 엔비디아의 AI 인프라 및 소프트웨어 팩키지를 결합한 통합형 솔루션이다. 고속 네트워크 패브릭을 기반으로 구성된다. 엄격한 테스트와 검증을 거친 랙 단위 설계가 가능하며, 이를 통해 데이터로부터 가치 있는 통찰력과 성과를 이끌어낼 수 있도록 돕는다. 이 솔루션은 또한 엔터프라이즈 데이터 보안 분야의 기존 오퍼링들을 비롯해 보안 및 개인 정보 보호를 위한 델의 서비스 오퍼링과 함께 활용할 수 있다. '델 AI 팩토리 위드 엔비디아'는 모델 생성 및 튜닝에서부터 증강, 그리고 추론에 이르는 생성형 AI의 전체 수명주기에 걸쳐 다양한 AI 활용 사례와 애플리케이션을 지원한다. 델이 제공하는 프로페셔널 서비스를 활용해 조직에서는 전략을 세우고, 데이터를 준비하여 구현하고 적용하기 까지의 과정을 가속할 수 있으며, 조직 전반의 AI 역량을 향상시킬 수 있다. 이 솔루션은 기존의 채널 파트너를 통해 구매하거나, '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 델테크놀로지스는 엔비디아와 협력해 '엔비디아 그레이스 블랙웰 슈퍼칩'을 기반으로 하는 랙 스케일 고밀도 수랭식 아키텍처를 채용할 예정이다. 이 시스템은 엔터프라이즈 AI 워크로드의 성능 집적도 향상을 위한 기반으로서 차세대 생태계를 지원하게 된다. 델 파워엣지 XE9680 서버는 '엔비디아 B200 텐서 코어 GPU'를 포함한 신규 엔비디아 GPU 모델을 지원할 예정이며, 이를 통해 최대 15배 높은 AI 추론 성능과 TCO 절감을 기대할 수 있다. 델 파워엣지 서버는 엔비디아 블랙웰 아키텍처 기반의 다른 여러 GPU와 H200 텐서 코어 GPU, 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹 플랫폼도 지원할 예정이다. '검색 증강 생성을 위한 델과 엔비디아의 생성형 AI 솔루션'은 '엔비디아 AI 엔터프라이즈'의 새로운 마이크로서비스를 활용해 사전 검증된 풀스택 솔루션을 제공함으로써 RAG(검색 증강 생성) 기술 도입을 가속한다. 자체 보유한 고유 데이터 및 지식 베이스와 같이 사실에 근거한 새로운 데이터 세트를 통해 생성형 AI 모델 품질을 개선하고 결과 정확도를 높일 수 있다. '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 자체적으로 도메인 맞춤형 AI 모델을 구축하려는 기업 및 기관들을 위해 사전 검증된 풀스택 솔루션을 제공한다. 이와 함께 '생성형 AI를 위한 델 프로페셔널 서비스'는 포트폴리오 전반에 대한 통합, 관리, 보호를 지원하여 비즈니스 성과를 더 빠르게 달성할 수 있게끔 돕는다. 델 구현 서비스는 델의 신규 RAG 솔루션 및 모델 훈련을 비롯해 보안 위험을 평가하고 영향을 최소화하도록 돕는 '생성형 AI 데이터 보호를 위한 자문 서비스' 등을 포함한다. 젠슨 황 엔비디아 설립자 겸 CEO는 "AI 팩토리는 향후 산업군 별로 인텔리전스를 창출하는 핵심 역할을 할 것"이라며 "엔비디아와 델은 함께 기업이 AI 팩토리를 통해 기업들이 자체 보유한 고유의 데이터를 강력한 인사이트로 전환할 수 있도록 지원하고 있다”고 밝혔다. 김경진 한국델테크놀로지스 총괄 사장은 “엔터프라이즈 고객들은 복잡한 AI 요구에 대응하고 이를 빠르게 해결할 수 있는 솔루션을 갈망하고 있다”며 “양사의 노력으로 탄생한 턴키 솔루션은 데이터와 사용 사례를 원활하게 통합하고, 맞춤형 생성 AI 모델 개발을 간소화한다”고 덧붙였다. '델 AI 팩토리 위드 엔비디아'는 기존 채널 파트너를 통하거나, 또는 '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 엔비디아 H200 텐서 코어 GPU를 탑재한 델 파워엣지 XE9680 서버는 델 회계연도 2분기(5월~7월)에 출시되며, 엔비디아 B200 및 B100 GPU를 탑재한 XE9680 서버는 4분기(11월~내년 1월) 내에 출시될 예정이다. 'RAG를 위한 델과 엔비디아의 생성형 AI 솔루션'은 현재 기존 채널 파트너와 델 에이펙스를 통해 전 세계에서 구입할 수 있으며, '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 4월에 출시될 예정이다. 'RAG를 위한 델 구현 서비스'는 5월 31일부터 한국을 비롯한 일부 지역에서 제공되며, '모델 훈련을 위한 델 인프라스트럭처 구축 서비스'와 '델 생성형 AI 데이터 보안을 위한 자문 서비스'는 3월 29일부터 한국을 비롯한 일부 국가에서 출시될 예정이다.

2024.03.19 13:47김우용

래블업, 엔비디아 GTC 2024에 실버스폰서로 참가

래블업은 오는 18일부터 21일까지 미국 새너제이 컨벤션센터에서 열리는 엔비디아의 'GTC 2024' 컨퍼런스에 실버 스폰서로 참가한다고 14일 밝혔다. 엔비디아의 GTC 행사는 5년 만에 대면 행사로 개최된다. 30만 명 이상의 참가자가 온·오프라인으로 참여할 것으로 기대되는 GPU 분야에서 가장 큰 기술 행사다. 래블업은 이번 컨퍼런스에서 AI 기술의 최전선에 서 있는 두 가지 주제에 대해 발표할 예정이다. 첫 번째 발표 'From Idea To Crowd: Manipulating Local LLMs At Scale'을 래블업 신정규 대표와 김준기 CTO가 진행하며, 이 세션에서 양자화, QLoRA 등의 리소스 절약 및 모델 압축 기술과 vLLM, TensorRT-LLM 결합을 통해 백엔드닷AI가 어떻게 대규모 로컬 LLM을 효율적으로 조작하는지 소개한다. 이는 AI 모델의 성능을 최적화하고, 리소스 사용을 최소화하는 혁신적인 접근 방식을 제공할 예정이다. 김준기 CTO는 두 번째 발표인 'Personalized Generative AI: Operation and Fine-Tuning in Household Form Factors'를 20일에 진행한다. 이 세션에서 클라우드 및 개인 PC의 GPU를 이용하여 사용자 맞춤형 생성형 AI를 개발하고 서비스할 수 있는 방법을 시연한다. AI 기술을 일상 생활에 더욱 밀접하게 통합하는 개인화된 AI의 새로운 가능성을 제시할 예정이다. 래블업은 전시부스에서 APAC 지역 유일의 엔비디아 DGX레디 소프트웨어인 백엔드닷AI 엔터프라이즈를 시연한다. 백엔드닷AI는 엔비디아 DGX 시스템 및 기타 GPU 가속 컴퓨팅 리소스의 성능을 극대화하며, 사용자 환경을 변경하지 않고도 GPU 사용성을 높여주는 AI 인프라 운영 플랫폼이다. 부스에서 생성 AI 개발을 간소화하고 자동화하는 ML옵스 소프트웨어 플랫폼인 '패스트트랙'으로 파운데이션 모델을 다양한 산업 분야에 특화하거나 나만의 챗봇으로 자동 미세 조정하는 실시간 시연도 제공된다. 래블업 측은 “MWC에 이어 이번 GTC에서 엔비디아 및 델, AMAX, 웨카 같은 글로벌 파트너사와 협력을 강화하며 함께 본격적인 글로벌 진출을 꾀할 예정”이라고 밝혔다.

2024.03.14 10:50김우용

30만 AI 개발자 모인다...엔비디아 'GTC 2024' 임박

엔비디아는 지난 4일 '엔비디아(NVIDIA) GTC 2024'를 앞두고 APAC(아시아·태평양) 지역 온라인 사전 인터뷰를 진행했다고 8일 밝혔다. 인터뷰에는 그레그 에스테스 엔비디아 기업 마케팅, 개발자 프로그램 부문 부사장이 참석해 GTC 2024의 준비 과정과 특별히 주목할 만한 세션 등을 언급했다. 세계 최대 AI 개발자 콘퍼런스 GTC는 오는 18일부터 21일까지 미국 캘리포니아주 새너제이에서 개최된다. 팬데믹 이후 5년만에 대면 행사로 돌아온 GTC는 온라인으로도 참석 가능한 하이브리드 형태로 진행된다. 900개의 세션, 250개 이상의 전시, 수십 개의 기술 워크샵 등으로 구성됐으며 30만 명 이상의 전세계 개발자 커뮤니티 회원들이 참석할 것으로 기대된다. 엔비디아는 이번 GTC가 지난 해에 비해 2배 이상의 규모로 진행되는 만큼 행사를 위해 준비를 했으며 성공적인 행사가 될 것이라고 전했다. 특히 젠슨 황 엔비디아 창립자 겸 CEO의 기조연설은 1만명 이상 수용 가능한 SAP 센터에서 진행된다. 젠슨 황 CEO 기조연설은 이달 19일 오전 5시(한국 시간)에 생중계되며, 이후 온디맨드(On-demand)로 제공된다. 또한 디즈니 리서치, 구글 딥마인드, 존슨앤드존슨 이노베이티브 메디슨, 스탠포드 대학교 등 조직 내 리더들이 진행하는 세션을 포함해 약 60개 이상의 강좌가 준비돼 있다. 대기업부터 스타트업, 개발자부터 AI에 관심이 있는 개인 등이 각자의 다양한 요구에 맞게 강좌를 선택할 수 있으며 온라인으로도 수강 가능하다. 그레그 에스테스는 글로벌 차원에서 AI 발전을 위한 엔비디아의 역할을 묻는 질문에 "GTC는 개발자와 컴퓨팅 생태계가 함께 모여 서로를 끌어올릴 수 있는 세계 최고의 장소"라며 "여러 산업의 선도 기업들과 수천 명의 학생들이 최고의 AI를 경험하기 위해 이곳을 찾는다. 엔비디아는 그들을 하나로 모으는 호스트인 것을 매우 자랑스럽게 생각한다"고 말했다.

2024.03.08 13:38장경윤

AIC, 韓 보안 전시회서 新 GPU 서버 최초 공개

AIC가 신제품 GPU 서버인 CB201-B5와 CB401-TU를 국내에서 최초 공개한다. AIC가 오는 20일부터 22일까지 일산 킨텍스에서 개최되는 '세계 보안 엑스포(SECON) & 전자정부 정보보호 솔루션 페어(eGISEC) 2024'에 참가한다고 8일 밝혔다. AIC는 이번 박람화에서 최신 서버 및 스토리지 기술을 선보일 예정이다. 보안 시장에 필수 요소인 고가용성 및 고용량 스토리지 시스템의 경우 SB407-TU, HA401-TU 및 JBOD 제품들을 선보일 예정이다. 마이클량 AIC의 최고 경영자(CEO) 겸 사장은 "AIC는 이번 전시회를 통해 한국 시장에 다양한 제품을 선보이게 돼 기쁘게 생각한다"며 "특히 이번에 출시된 GPU 서버는 뛰어난 성능과 안정성을 제공하도록 구축돼 고성능 GPU 서버 솔루션이 필요한 다양한 기업에 탁월한 선택이 될 것"이라고 말했다.

2024.03.08 10:37이한얼

KAIST, 대규모 데이터 출력 때 GPU 에러 해결

인공지능(AI) 그래픽 연산 장치(GPU)에서 메로리 한계로 인해 초병렬 연산 등 대규모 데이터 출력 때 발생하는 에러 문제를 국내 연구진이 해결했다. 향후 가정에서 사용하는 메모리 크기가 작은 GPU로도 생성형 AI 등 대규모 출력이 필요한 고난이도 연산을 빠르게 수행할 수 있게 됐다. 초병렬 연산은 GPU로 수 십 만~수 백 만 개의 작은 연산들을 동시에 수행하는 것을 말한다. KAIST(총장 이광형)는 전산학부 김민수 교수 연구팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 수십, 수백 만개 이상의 스레드들로 초병렬 연산을 하면서 수 테라바이트의 큰 출력 데이터가 발생하더라고 메모리 에러 없이 해당 출력 데이터를 메인 메모리로 고속 전송 및 저장할 수 있는 데이터 처리 기술(일명 INFINEL)을 개발했다고 7일 밝혔다. 출력데이터는 데이터 분석 결과 또는 인공지능에 의한 생성 결과물에 해당하는 데이터를 말한다. ■기존 기술 문제들 최근 AI의 활용이 급속히 증가하면서 지식 그래프와 같이 정점과 간선으로 이루어진 그래프 구조 데이터의 구축과 사용도 점점 증가하고 있다.. 그러나 그래프 구조 데이터에 대해 난이도가 높은 초병렬 연산을 수행할 경우 그 출력 결과가 매우 커 각 스레드 출력 크기를 예측하기 어렵다는 문제가 발생한다. 또, GPU는 근본적으로 CPU와 달리 메모리 관리 기능이 매우 제한적이기 때문에 예측할 수 없는 대규모의 데이터를 유연하게 관리하기 어렵다. 이러한 이유로 지금까지는 GPU를 활용해 '삼각형 나열'과 같은 난이도가 높은 그래프 초병렬 연산을 수행할 수 없었다. ■해결 방법 김 교수팀은 이를 근본적으로 해결하는 인피넥(INFINEL) 기술을 개발했다. 이 기술은 GPU 메모리 일부 공간을 수백 만 개 이상의 청크(chunk)라 불리는 매우 작은 크기의 단위들로 나누고 관리하면서, 초병렬 연산 내용이 담긴 GPU 커널(kernel) 프로그램을 실행하도록 설계했다. 이때 각 스레드는 메모리 충돌 없이 빠르게 자신이 필요한 청크 메모리들을 할당받아 자신의 출력 데이터를 저장할 수 있도록 했다. 또한, GPU 메모리가 가득 차도 무중단 방식으로 초병렬 연산과 결과 출력 및 저장을 지속할 수 있다. 김민수 교수 연구팀은 INFINEL 기술의 성능을 다양한 실험 환경과 데이터 셋을 통해 검증했다. 종래의 최고 성능 동적 메모리 관리자 기술에 비해 약 55배, 커널을 2번 실행하는 2단계 기술에 비해 약 32배 연산 성능이 향상됐디. ■기대효과 이 기술을 사용하면 가정에서 사용하는 메모리 크기가 작은 GPU로도 수 테라 바이트 이상의 출력 데이터가 발생하는 고난이도 연산을 빠르게 수행할 수 있다고 연구진은 설명했다. 김민수 전산학부 교수는 “생성형 AI나 메타버스 시대에는 GPU 컴퓨팅의 대규모 출력 데이터를 빠르게 처리할 수 있는 기술이 중요해질 것으로 예상되며, INFINEL 기술이 그 일부 역할을 할 수 있을 것”이라고 말했다. 이번 연구에는 박성우 박사과정 학생이 제1 저자, 김민수 교수가 창업한 그래프 딥테크 기업인 (주)그래파이 소속 오세연 연구원이 제 2 저자, 김민수 교수가 교신 저자로 참여했다. 연구결과는 국제 학술지 'PPoPP' 3월 4일자 발표됐다. 한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.

2024.03.07 16:29박희범

엣지 AI 칩, 6년간 '2배' 성장 전망…PC·스마트폰서 채택 활발

엣지 AI용 프로세서 시장이 PC, 스마트폰 등 다양한 산업의 수요 증가로 견조한 성장세를 이뤄낼 것으로 예상된다. 23일 시장조사업체 옴디아에 따르면 세계 엣지 AI용 반도체 시장 규모는 지난 2022년 310억 달러(한화 약 41조2천200억 원)에서 오는 2028년 600억 달러(약 79조7천300억 원)로 2배가량 증가할 전망이다. 엣지 AI는 중앙 집중형 서버를 거치지 않고 기기 주변의 로컬 네트워크를 통해 데이터를 처리하는 기술을 뜻한다. 엣지 AI는 최근 IT 업계의 화두로 떠오른 온디바이스 AI와도 맞닿아 있다. 온디바이스 AI는 기기 자체에서 AI 기능을 처리하는 기술로, 실제 구동 환경에서는 클라우드 및 엣지 네트워크를 동시에 활용하는 '하이브리드 AI' 운용이 필요하기 때문이다. 옴디아는 이들 기술과 연관된 AI 가속기, AI용 주문형 반도체, GPU(그래픽처리장치) 등 관련 산업이 견조한 성장세를 보일 것으로 내다봤다. 예상 시장 규모는 2022년 310억 달러에서 2028년 600억 달러로, 연평균 성장률은 11% 달할 전망이다. 실제로 AI 시대를 겨냥한 시스템 반도체는 스마트폰, 노트북 등에서 점차 도입이 확대되는 추세다. 스마트폰의 경우 삼성전자, 퀄컴, 미디어텍 등이 최신 모바일 AP(애플리케이션 프로세서)에 AI 성능을 앞다퉈 강조하고 나섰다. 일례로 삼성전자는 올해 초 '엑시노스 2400'을 공개하면서 AI 성능이 전작 대비 14.7배 향상됐다고 설명한 바 있다. 퀄컴이 지난해 10월 공개한 '스냅드래곤 8 3세대'는 내부 '헥사곤' NPU(신경망처리장치) 성능을 98%, 효율성을 40%가량 높였다. 노트북용 프로세서도 상황은 비슷하다. 애플 'M3' 시리즈, 퀄컴 '스냅드래곤 X 엘리트', AMD '8000G' 등 최신 프로세서들이 모두 AI 기능 구현을 위한 성능을 갖췄다. 옴디아는 "최근 엣지 AI용 반도체가 활발히 출시되면서 AI PC로의 전환을 앞당기고 있다"며 "스마트폰 시장도 현재 3분의 2 이상이 어떠한 형태로든 AI 기능을 갖추고 있어, 프리미엄 제품을 중심으로 성장세가 예상된다"고 밝혔다. 국내 스타트업들도 엣지 AI용 NPU 시장 진출을 준비하고 있다. 모빌린트는 80 TOPS(TOPS: 초당 1조 번의 정수 연산처리) 수준의 고성능 NPU를 개발해, 올해 첫 시제품 양산을 목표로 하고 있다. 딥엑스는 올해 산업별로 다른 성능을 갖춘 온디바이스용 NPU 4종을 양산하고, 내년에는 LLM(대규모언어모델) 및 생성형 AI를 구동하는 초저전력 온디바이스 AI 칩을 출시할 계획이다. 옴디아는 "AI ASSP(특정 용도로 설계된 표준 칩)가 전통적인 GPU의 자리를 흡수해 전체 엣지 AI용 프로세서 시장의 비중을 19%에서 28%로 확대할 것"이라며 "PC 시장은 기존 스마트폰 칩셋 구조인 CPU·GPU·NPU를 점점 더 많이 채택하고 있다"고 설명했다.

2024.02.23 14:39장경윤

엔비디아, 4분기 매출 265% 급증…AI 서버로 '퀀텀 점프'

글로벌 팹리스 엔비디아가 또 다시 '어닝 서프라이즈'를 달성했다. 폭발적인 인공지능(AI) 서버 수요 증가세에 따른 효과로, 회사는 올해 상반기에도 당초 예상을 뛰어넘는 매출을 달성할 수 있을 것으로 내다봤다. 엔비디아는 22일 2023 회계연도 4분기(2024년 1월 종료) 매출이 221억 달러로 전년 동기에 비해 265% 증가했다고 발표했다. 이는 전분기에 비해서도 22% 늘어난 것이며 증권가 전망치 204억 달러를 크게 웃돌았다. 같은 분기 주당 순이익(GAAP 기준)도 4.93달러로 전분기 대비 33%, 전년동기 대비 765% 늘어났다. 엔비디아 호실적의 주역은 데이터센터 사업이다. 해당 분기 데이터센터 사업 매출은 184억 달러로 전분기 대비 27%, 전년동기 대비 409% 증가했다. 젠슨 황 엔비디아 최고경영자(CEO)는 "가속컴퓨팅 및 생성형 AI가 티핑 포인트(특정 현상이 급속도로 커지는 지점)에 도달했다"며 "국가, 산업을 가리지 않고 전 세계적으로 수요가 급증하고 있다"고 밝혔다. 엔비디아는 올 상반기 실적에 대해서도 긍정적인 전망을 내비쳤다. 회사는 2024 회계연도 1분기(2024년 4월 종료) 매출 예상치로 전분기 대비 8% 증가한 240억 달러를 제시했다. 이 전망치 역시 증권가 예상보다 9% 가량 상회한 수치다. 현재 엔비디아는 AI 산업의 핵심인 고성능 그래픽처리장치(GPU)와 이를 기반으로 한 AI 가속기 시장을 사실상 독과점하고 있다. 올해에도 3나노미터(nm) 기반의 신규 제품 'B100' 출시를 목표로 하는 등, 시장 지배력 유지를 위한 행보를 이어가고 있다.

2024.02.22 08:50장경윤

Prev 1 2 3 4 5 6 7 8 9 10 Next