검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'엔비디아'통합검색 결과 입니다. (663건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

메타, 2세대 AI 반도체 'MTIA' 공개...엔비디아 의존도 낮춘다

메타가 자체 개발한 2세대 AI 반도체 'MTIA(Meta Training and Inference Accelerator)'를 공개했다. 메타는 이 제품을 통해 엔비디아 등 외부 반도체 회사에 대한 의존도를 줄이고 인공지능(AI) 서비스를 강화한다는 목표다. 메타는 작년 5월 첫 버전(1세대) V1를 선보인 바 있다. 12일 메타에 따르면 2세대 칩은 4개 유형 AI 모델에서 이전 모델보다 3배 더 나은 성능을 보인다. MTIA는 대만 TSMC 5나노미터(nm) 공정에서 생산된다. 메타는 이 AI 반도체를 페이스북과 인스타그램에서 콘텐츠의 순위를 매기고 추천하는 데 활용할 계획이다. 메타는 "이 칩의 아키텍처는 자체 대규모언어모델(LLM)인 '라마'와 같은 생성형 AI를 훈련하는 것이 목표"라며 "컴퓨팅, 메모리 대역폭, 메모리 용량의 균형에 초점을 두고 있다"고 설명했다. 메타는 MTIA의 대역폭을 기존보다 늘리고, 반도체가 들어가는 서버컴퓨터용 랙도 직접 개발했다. 또 엔비디아의 소프트웨어 '쿠다(CUDA)'와 경쟁할 수 있는 자체 소프트웨어 생태계를 개발하는데 상당한 투자를 했다. 메타는 최근 AI 칩을 구입하는 데 수십억 달러를 지출하고 있다. 올해 마크 저커버그 메타 최고경영자(CEO)는 투자자들에게 “엔비디아로부터 H100 칩 35만개 구매를 포함해 연내에 총 60만개의 H100급 AI 칩을 확보할 것"이라고 밝혔다.

2024.04.12 10:00이나리

5나노 이하 최선단 파운드리, AI·애플 효과로 비중 확대

5나노미터(nm) 이하의 최선단 파운드리 공정 매출 비중이 지난해 말 기준 35%에 육박한 것으로 나타났다. 견조한 AI 반도체 수요와 최신형 아이폰용 칩셋의 양산화에 따른 효과로 풀이된다. 11일 업계에 따르면 전체 파운드리 매출에서 5나노 이하의 최선단 공정이 차지하는 비율은 지속 확대되고 있다. 시장조사업체 카운터포인트리서치의 최신 자료에 따르면 지난해 4분기 기준 전체 파운드리 매출에서 5·4나노 공정이 차지하는 비중은 26%로 집계됐다. 2분기(21%)와 3분기(23%)와 비교하면 지속적인 상승세다. 또한 지난해 4분기에는 그간 기타(Others)로 분류돼 왔던 3나노 공정의 매출 비중이 9%로 급증했다. 이를 고려한 5나노 이하 공정 매출 비중은 35%에 달했다. 현재 삼성전자, TSMC, 인텔 등 주요 파운드리 기업들은 초미세공정 경쟁을 가속화하고 있다. 3사 모두 3나노 공정 양산에 돌입한 상황으로, 내년에는 2나노 공정에 진입할 것으로 전망된다. 수요 측면에서도 최선단 파운드리 공정의 존재감이 커지는 추세다. AI 산업의 급속한 발달로 고성능·고효율 시스템반도체의 필요성이 대두되면서, 엔비디아·AMD·퀄컴 등이 앞다퉈 4나노급의 신제품을 출시하고 있다. 카운터포인트리서치는 "5·4나노는 강력한 AI 산업의 수요로 가장 높은 매출 비중을 차지했다"며 "3나노 공정은 애플이 지난해 말 공개한 '아이폰15' 시리즈용 모바일 AP(애플리케이션 프로세서)의 양산 본격화로 비중이 급증했다"고 설명했다. 실제로 공정별 매출 현황을 발표하는 TSMC는 지난해 4분기 5나노 이하의 공정 매출 비중이 50%에 육박했다. 전분기(43%) 대비 7%p 늘었다. AI 산업의 수요가 지속 견조한 만큼, 최선단 공정 매출의 비중 확대는 올해에도 지속될 것으로 전망된다. TSMC는 올 1분기 5천926억4천만 대만달러(한화 약 25조600억원)의 매출로 전년동기 대비 16.5%의 성장세를 기록한 것으로 나타났다.

2024.04.11 15:08장경윤

네이버 "인텔 '가우디2' 기반 생성 AI 생태계 구축 목표"

인텔이 네이버와 AI 가속기 '가우디2'(Gaudi 2)를 이용한 LLM(거대언어모델)과 소프트웨어 생태계 확대에 나선다. 네이버클라우드는 인텔 개발자 클라우드 상에 구축된 가우디2 인스턴스를 활용해 LLM 구축 가능성을 평가하는 한편 국내 대학교·스타트업과 협업해 가우디2 기반 오픈소스 모델 등을 공동 개발할 예정이다. 11일 오전 서울 여의도 한경협회관에서 인텔코리아 주최로 진행된 질의응답에서 이동수 네이버클라우드 하이퍼스케일 AI담당 이사(박사)는 "네이버와 인텔 협력 결과물이 오픈소스로 제공되면 학계와 스타트업의 AI 소프트웨어 개발의 문턱을 크게 낮출 수 있다. 국산 소프트웨어 대중화 면에서 큰 의미가 있다"고 강조했다. ■ 네이버 "가우디2 기반 고성능 LLM 모델 개발 목표" 인텔은 9일(미국 현지시간) 미국 애리조나 주 피닉스에서 진행된 '인텔 비전' 행사에서 네이버와 협업을 발표했다. 당일 기조연설에 등장한 하정우 네이버클라우드 AI 혁신센터장은 "생성 AI 생태계 확대를 위한 공동 연구소 설립, 가우디2 성능 평가, LLM(거대언어모델) 인스턴스 제공을 위해 인텔과 협업할 것"이라고 밝혔다. 하정우 혁신센터장은 "가우디2 가속기는 AI 전용 설계를 통해 와트당 성능과 총소유비용(TCO) 측면에서 뛰어난 성능을 낸다. 이번 인텔과 협력을 통해 고성능, 비용 효율 인프라 기반으로 강력한 LLM 기반 모델을 개발하는 것이 목표"라고 설명했다. ■ "가우디2, 하드웨어 특성·성능 면에서 좋은 평가" 이날 오전 이동수 네이버클라우드 하이퍼스케일 AI담당 이사(박사)는 "네이버는 현재 거의 모든 서비스에 AI 기술을 접목하고 있으며 좋은 AI 반도체 확보는 서비스 경쟁력 확보에 직결된다"고 설명했다. 이어 "많은 반도체를 평가하고 분석하는 과정에서 인텔 가우디2 가속기의 하드웨어 특징과 성능 면에서 좋은 결과를 얻었고 이것을 향후 네이버 서비스와 융합하려면 생태계와 소프트웨어 확보가 필요하다"고 밝혔다. 이날 네이버클라우드 관계자는 "일부 언론 관측처럼 이번 협업에 네이버 사옥이나 데이터센터 내에 물리적인 공간을 확보하는 것은 아니다. 평가는 가우디2가 적용된 인텔 개발자 클라우드를 활용할 것"이라고 밝혔다. ■ "가우디2 기반 최적화 코드로 개발 문턱 낮출 것" 이동수 이사는 "현재 LLM 기반 코드 최적화는 고수준 언어가 아닌 어셈블리어(기계어) 수준에서 이뤄지지만 이런 기술력을 갖춘 엔지니어는 극히 드물다"고 설명했다. 이어 "엔비디아 쿠다 역시 하드웨어가 바뀔 때마다 코드를 바꿔야 한다. 이런 난점때문에 엔비디아 역시 별도 개발 없이 기업들이 그대로 쓸 수 있는 바이너리(실행파일)를 제공하고 있다"고 설명했다. 권세중 네이버클라우드 리더는 "국내 대학과 스타트업은 GPU나 가속기 활용이 어려워 연구에 어려움을 겪는다. 국내 상위권 대학 내 연구실과 협업을 논의중이며 이들이 가우디2 기반 코드를 오픈소스로 공개하면 어려움을 덜 수 있을 것"이라고 밝혔다. ■ "삼성전자 마하1도 활용... 생태계 확장이 우선" 이동수 이사는 "가우디2 역시 성능 대비 전력 효율성이 뛰어나며 LLM이나 서비스 운영에 여전히 장점을 지니고 있다. 이번 인텔과 협업은 소프트웨어나 생태계 확장에 중점을 둔 것이며 소프트웨어나 드라이버 등이 안정된 가우디2로 진행할 것"이라고 설명했다. 반도체 업계에 따르면 네이버는 LLM 처리에 특화된 삼성전자 AI 반도체 '마하1'을 이르면 올 연말부터 공급받아 활용할 예정이다. 이동수 이사는 "인텔과 삼성전자 모두 중요한 협력사이며 함께 생태계 확장을 하는 것이 목표다. 마하1이나 가우디2는 모두 초기 단계이며 모델 학습·훈련이나 추론 등 용도를 정해둔 것은 아니다"라고 밝혔다.

2024.04.11 11:15권봉석

TSMC, 1분기 매출 전년比 16.5% 증가…AI 수혜 '굳건'

TSMC는 연결 기준 지난 1분기 매출이 총 5천926억4천만 대만달러(한화 약 25조600억 원)로 전년 동기 대비 16.5% 증가했다고 10일 밝혔다. 이번 실적은 증권가 평균 전망치인 5천814억5천만 대만달러를 상회했다. 당초 TSMC가 제시했던 평균 매출 전망치 또한 웃돌았다. 가장 최근 공개한 3월 매출의 경우, 1천952억1천만 대만달러를 기록했다. 전년동기 대비 34.3%, 전월 대비 7.5% 증가한 수치다. 업계는 AI 산업 발달에 따른 최선단 공정에 대한 수요 증가가 TSMC의 호실적을 견인했을 것으로 보고 있다. 미국 CNBC는 "TSMC 3월 매출의 전년동기 대비 성장세는 2022년 11월 이후 가장 가파른 수준"이라며 "현재 TSMC는 엔비디아 등 고객사의 AI 반도체 호황으로 수혜를 입고 있다"고 밝혔다.

2024.04.11 09:27장경윤

네이버, 인텔과 AI 동맹…한국에 공동연구소 만든다

네이버와 인텔이 생성 인공지능(AI) 생태계 확대를 위한 공동 연구소 설립한다. 또한 두 회사는 인텔 AI칩인 가우디2 성능 평가, LLM(거대언어모델) 인스턴스 제공을 위해 협력하기로 했다. 엔비디아가 장악하고 있는 AI 반도체 시장에서 경쟁력을 확보하기 위해 두 회사가 손을 잡은 것이다. 9일(현지시간) 미국 애리조나 피닉스에서 열린 '인텔비전 2024' 기조연설에서 팻 겔싱어 인텔 최고경영자(CEO)는 네이버와의 협력 소식을 알렸다. 겔싱어 CEO는 관중들에게 "네이버를 아느냐"고 물으며 "몇 년 전까지는 네이버에 대해 몰랐지만, 아시아에서 엄청난 규모의 AI모델을 구축한 대단한 회사”라고 설명했다. 이어 최수연 네이버 CEO가 영상을 통해 회사를 소개하며 "네이버는 세계에서 3번째로 자체 하이퍼스케일 생성형 AI 모델을 공개했다”며 "인텔과 AI 칩 생태계를 만들어 나가는 것이 기대된다"고 말했다. 곧바로 하정우 네이버 퓨처AI센터장이 등장해 네이버 AI 비전을 추진하기 위해 인텔의 '가우디2'를 활용해 LLM을 개발하겠다고 밝혔다. 하 센터장은 “인텔의 가우디는 LLM 훈련과 추론에 있어 가장 유망하고 경쟁력 있는 선택지”라며 "가우디 생태계를 확장하기 위해 네이버에 연구소를 만들었다"고 발표했다. 그러면서 "기업이나 공공 등 고객을 위한 LLM 훈련용 상용 클라우드 서비스에 가우디 2 기반 인프라를 활용할 계획"이라고 덧붙였다.

2024.04.10 23:10안희정

지코어코리아, 한국에 엔비디아 H100 기반 데이터센터 개소

글로벌 퍼블릭 클라우드, 엣지 컴퓨팅 및 엣지AI 전문기업 지코어는 4일 서울 더플라자호텔에서 기자간담회를 개최하고 엔비디아 H100 기반의 AI 퍼블릭 클라우드 서비스를 한국시장에 출시한다고 밝혔다. 오는 15일 한국에 개소하는 지코어 데이터센터는 AI 학습에서 현존하는 가장 효과적인 GPU로 인정받는 엔비디아 H100 서버 40대를 설치한다. GPU 기준으로 320개다. 그 동안 국내 AI 기업은 AI 모델을 개발하고 학습시키는데 있어 필수적인, 고성능 GPU 확보에 큰 어려움을 겪고 있었다. 이제 한국의 AI 전문기업은 더 이상 대규모의 GPU를 확보하기 위해 수십주를 기다리거나 타국에 위치한 자원을 활용하지 않고, 초고성능 AI 컴퓨팅 자원을 지코어의 엣지 클라우드를 통해 쉽게 활용할 수 있다. 지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다. 유니파이드패브릭매니저(UFM)으로 관리되는 논블로킹 클러스터는 핫 스페어와 콜드 스페어를 각각 구성해 서비스 품질도 GDPR의 기준을 충족한다. 각 서버당 2TB에 달하는 메모리와 112개에 달하는 CPU코어로 대용량 데이터 처리 및 고성능 컴퓨팅 작업 환경을 제공한다. 서버당 12KW에 달하는 전력량 충족, 빠른 네트워크, 안전한 센터 설계 등으로 최상의 서비스 구현이 가능하다. 지코어는 이 서비스를 준비하면서 NHN클라우드와 데이터센터 선정에서부터 한국고객의 수요를 반영한 서비스 구성에 이르기까지 긴밀히 협업했다. NHN클라우드는 한국 AI산업의 역량이 급부상함에 따라 국내 고객들이 원하는 특수한 요구사항을 잘 파악하고 있는 만큼 지코어 서비스를 현지화하고 고객 맞춤형으로 구성하는데 있어서 큰 역할을 했다. NHN클라우드는 지코어의 데이터센터 운영에도 지속적으로 참여할 예정이다. 정현용 지코어코리아 한국지사장은 “한국은 AI 반도체, 시스템, 서비스 등 AI 기술 전반에 걸쳐 세계적으로 엄청난 성장 잠재력을 지니고 있는 국가”라며 “이제 국내 초고속 통신망 내에 위치한 지코어의 데이터센터는 물론, 전세계와 초저지연 네트워크로 상호 연결돼 있는 지코어의 글로벌 엣지 네트워크를 접목해 한국기업들이 글로벌 AI시장에서 선도적인 위치를 선점해 나갈 수 있기를 기대한다”고 말했다. 그는 “국내 AI시장 및 고객에 대한 전문적 이해와 경험을 보유한 NHN클라우드와의 지속적이고 긴밀한 협업을 통해 공공기관은 물론 연구소, 금융 및 제조업계 등을 비롯해 다양한 영역에서 급속히 증가하고 있는 국내 AI 수요에 빠르고 신속하게 대응해 나갈 것”이라고 강조했다. 김동훈 NHN클라우드 대표는 “국내는 물론 글로벌 AI 인프라 시장의 패러다임이 급격히 변화하고 있는 만큼, NHN클라우드는 광주 국가 AI 데이터센터를 포함해 판교 데이터센터(NCC1) 등 자사 데이터센터에 1천 개 이상의 엔비디아 H100으로 구축하는 등 국내 최대 규모 GPU 클러스터를 구축해 나가고 있다”고 밝혔다. 그는 이어 “지코어는 전세계 160개 이상의 PoP를 기반으로 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업으로, 엔비디아의 최신 GPU인 H100을 발빠르게 한국에 도입함으로써 국내 AI 시장의 도약을 위한 새로운 국면을 맞게 한 일등공신”이라며 “NHN클라우드는 지코어와의 파트너십을 통해 국내 AI 인프라 시장의 경쟁력을 강화하고, 글로벌 진출 및 시장 변화에 적극적으로 대응해 나갈 것”이라고 덧붙였다. 이날 기자간담회에 자크 플리스 주한 룩셈부르크 초대 대사 내정자가 참석해 룩셈부르크 소재의 글로벌 IT 기업인 지코어가 한국 기업고객들에게 혁신적인 기술을 전하고 협력 기회를 확대할 수 있기를 기대한다며 축사를 전했다. 지코어는 기업의 AI 도입과정 모든 단계에 도움을 주기 위해 완전 자동화된 AI 인프라, 다양한 관리도구, 안전하고 신뢰할 수 있는 보안체계 등을 갖춘 클라우드 플랫폼 환경을 서비스하고 있다.

2024.04.04 13:45김우용

히타치밴타라-엔비디아, 차세대 AI 솔루션 공급 협력 강화

효성인포메이션시스템(대표 양정규)은 히타치 밴타라와 엔비디아가 협력해 혁신적인 차세대 AI 솔루션을 공급한다고 4일 밝혔다. 히타치 밴타라는 엔비디아의 최신 AI 기술에 차세대 스토리지 플랫폼이 결합된 '히타치iQ 포트폴리오'를 개발, 생성형 AI 등 새로운 AI 기반 아키텍처를 위한 최상의 기술력을 선보인다. 히타치 iQ 포트폴리오의 첫 제품은 엔비디아 H100 텐서 코어 GPU로 구동되며 엔비디아 DGX 베이스POD 인증을 받게 된다. 올 상반기 출시될 이 제품은 엔비디아 AI 엔터프라이즈 소프트웨어를 탑재하고 히타치 밴타라의 초고성능 병렬파일 시스템 'HCSF' 스토리지 기술을 활용, 복잡한 AI 워크로드를 빠르게 지원하며 최고 수준의 AI 인프라 솔루션을 제공한다. 이후 엔비디아 H100 및 L40S GPU로 구성된 미드레인지 PCIe기반 제품으로 포트폴리오가 확장될 예정이다. AI 분야에서 가장 영향력 있는 엔비디아와 파트너십을 통해 히타치 밴타라는 기업이 성공적인 AI 환경을 구현하도록 강력한 프레임워크를 제공한다. 더 빠르고 실행 가능한 통찰력을 얻고자 하는 조직에게 AI 워크로드 수요를 원활하게 지원하고 시장 요구사항을 해결하는데 도움을 준다. 히타치 iQ는 히타치 밴타라만의 특화된 OT(운영 기술) 역량 및 산업 전문성을 활용, OT 관련 기본 모델 생성에 중점을 두고 기업의 데이터 중심 디지털 혁신 요구사항에 부응하는 차별화된 서비스를 제공한다. AI 솔루션 스택 위에 제조·운송·에너지·금융 등 산업별 기능을 계층화하고, 각 산업에 관련성 높은 실용적이고 솔루션 지향적인 접근 방식으로 엔터프라이즈 AI의 새로운 패러다임을 제시할 전략이다. 효성인포메이션시스템 양정규 대표는 “히타치iQ를 통해 고객은 AI가 제공하는 잠재력을 확인하고 비즈니스를 혁신할 새로운 솔루션을 경험할 수 있다”며 “생성형 AI 와 같은 새로운 데이터 집약적인 기술이 비즈니스 혁신을 견인할 수 있도록 히타치 밴타라와 엔비디아의 기술이 결합된 최상의 포트폴리오를 제공할 것”이라고 강조했다.

2024.04.04 10:28김우용

"토종 AI칩, 엔비디아와 경쟁 위해 특화 시장 공략해야"

“엔비디아가 AI 반도체 시장에서 지배적인 입지에 있다고 해도 국내 기업이 경쟁을 포기하고 종속되면 안 됩니다. 국산 AI 반도체가 성공하려면 애플리케이션 맞춤형 저전력 NPU(신경망처리장치)를 개발하고 특화된 시장(니치 마켓)을 공략해야 합니다.” 김형준 차세대지능형반도체사업 단장은 지디넷코리아와 인터뷰에서 국산 AI 반도체 기술 개발에 대한 방향성에 대해 이같이 강조했다. 차세대지능형반도체사업단을 이끄는 수장인 김형준 단장은 반도체 소자 및 공정 전문가다. 김 단장은 1986년부터 서울대학교 재료공학부에서 교수 생활을 시작해 서울대학교 반도체공동연구소, 한국반도체디스플레이기술학회, 한국재료학회, 한국결정학회 등 다양한 학술 단체를 이끌었고, 2001년부터 2011년까지 국책 사업으로 진행된 '2010 시스템집적반도체개발사업단'에서 사업단장을 역임했다. 차세대지능형반도체사업단은 정부(과학기술정보통신부, 산업통상자원부)가 국내 차세대지능형 반도체 개발과 생태계 구축을 위해 2020년 9월 출범한 조직으로, 10년간 산·학·연간 협력을 돕는 가교 역할을 한다. 사업단으로부터 지원받은 AI 반도체는 사피온이 지난해 11월 출시한 'X330'과 퓨리오사AI가 올해 2분기에 출시하는 '레니게이트'를 비롯해 딥엑스, 텔레칩스 등이 대표적이다. ■ 국산 NPU, 저전력·가격 경쟁력 내세워 니치 마켓 공략 필요 AI 반도체 시장에서 엔비디아의 GPU(그래픽처리장치)는 80% 점유율을 차지한다. 엔비디아는 하드웨어뿐 아니라 '쿠다(CUDA)' 소프트웨어를 공급해 AI 반도체 시장을 장악할 수 있었다. 반면 국내 스타트업들은 GPU 보다 저전력에 특화된 분야에서 처리 능력이 뛰어난 NPU(신경망처리장치)에 주력하고 있다. 최근 애플, 아마존, 마이크로소프트(MS) 등 미국 빅테크 기업도 NPU 칩을 개발하는 추세다. “이런 상황에 국내 스타트업이 엔비디아와 경쟁 및 글로벌 시장에서 성공할 수 있을지에 대해 의구심이 든다”는 기자의 질문에 김 단장은 “엔비디아의 GPU도 AI 모델에 따라 여러 종류를 판매하고 있으므로, 국내 업체도 특정 추론 모델에 특화된 맞춤형 NPU 반도체를 만들어 니치 마켓을 공략해야 한다”고 답했다. 그는 이어 “AI 반도체가 지속 가능하려면 저전력이 되어야 한다”라며 “데이터센터에는 약 1만장 이상의 GPU가 탑재되며, 이로 인해 많은 전력이 소모된다는 지적이 따른다. 전 세계 데이터센터 소비량은 현재 남아프리카공화국의 전력 소비량과 비슷하다. 또 2027년 전 세계 데이터센터가 필요한 전력은 스웨덴의 1년 전력량과 맞먹는 85~134Twh가 될 전망이다. 이는 최근 업계가 저전력 NPU 반도체에 관해 관심이 높아지는 이유다”라고 설명했다. NPU는 GPU보다 저렴한 가격으로도 경쟁력을 갖출 수 있다. 엔비디아 GPU는 리드타임(주문해서 받기까지 기간)이 1년 이상 걸리고 1개 칩당 5천만원 이상으로 비싼 가격이다. 김 단장은 “일례로 인도네시아, 말레이시아, 베트남 등의 국가가 데이터센터를 만들고 싶어도 엔비디아 GPU의 비싼 가격으로 인해 선뜻 투자하기 어려울 것”이라며 “국산 NPU가 뛰어난 성능에 엔비디아 GPU보다 저렴한 가격에 공급한다면, 해당 시장을 개척할 수 있을 것”이라고 말했다. 또한 “우리나라가 예전에 F35 전투기를 개발할 당시, 구매하는 것보다 개발 비용이 수십 배 더 들었지만, 결국 기술 확보를 위해 개발에 착수하고 국산화에 성공했다. 그 결과 현재 전투기도 수출하는 국가가 되었다. 이렇듯 AI 반도체도 개발을 지속해야 하며, 결코 미국에 종속되어서는 안 된다”고 강조했다. ■ 실증 사업 통해 레퍼런스 확보 중요…엣지 시장에 기회 있을 것 국내 AI 반도체 기업은 데이터센터 실증 사업 통해 레퍼런스를 확보하는 것이 중요하다. 정부는 AI 반도체 육성을 위해 K-클라우드 사업을 전개하고 있으며, KT, 네이버 등의 데이터센터는 GPU 대신 국산 NPU를 도입해 일부 실증 테스트를 진행하고 있다. 김 단장은 “NPU 기업은 데이터센터 실증 테스트를 적극 활용해서 제품 경쟁력을 높이는 것이 필요하다”며 “레퍼런스를 바탕으로 국내뿐 아니라 해외에 NPU를 수출할 수 있을 것”이라고 조언했다. 언제쯤 국내 NPU 반도체가 해외의 주요 고객사에 수출될 수 있을지에 대한 질문에 김 단장은 “국내 스타트업의 칩 양산이 올해 본격화되기에 2026년에는 성공 여부가 판가름 날 것”이라며 “냉정하게 경쟁력이 없다고 판단되면 사업을 접어야 할 것”이라고 말했다. 그는 “하지만 데이터센터 외에도 공장 자동화, 모바일, 자율주행차 등 엣지 쪽에는 굉장히 많은 애플리케이션이 있다”라며 “특화된 시장을 겨냥해 AI 응용 칩을 만들면 반드시 기회가 있을 것으로 본다”고 전망했다.

2024.04.02 10:46이나리

삼성전자 반도체 3위로 하락…인텔·엔비디아에 자리내줘

삼성전자가 지난해 전세계 반도체 시장 매출 순위에서 1위에서 3위로 내려왔다. 미국 반도체 기업인 인텔과 엔비디아는 삼성전자를 제치고 각각 1위와 2위를 차지했다. 삼성전자가 인텔과 1위를 두고 경쟁해 오다가 3위로 내려 온 것은 이례적이다. 28일 시장조사기관 옴디아에 따르면 지난해 삼성전자의 반도체 사업을 담당하는 DS 부문의 연간 매출은 443억7400만달러(60조원)로 집계됐다. 이는 전년 670억5500만달러(90조7000억원) 보다 33.8% 감소한 실적이다. 지난해 메모리 반도체 업황 침체에 타격을 받아 실적이 감소한 것으로 분석된다. 그 결과 지난해 반도체 1위를 탈환한 삼성전자는 실적 악화로 순위가 3위로 하락했다. 인텔은 지난해 매출 511억9700만달러(69조원)로 전년 보다 15.8% 감소에도 불구하고 1위를 차지했다. 삼성전자 부진에 비해 상대적으로 매출 감소가 적었기 때문이다. 인텔은 2018년, 2022년 삼성전자에 1위 자리를 내준 바 있다. 엔비디아는 2022년 8위에서 작년 2위로 올라왔다는 점에서 주목된다. 엔비디아는 생성형 AI(인공지능) 성장으로 지난해 매출이 491억6100만달러(66조3673억원)로 전년 보다 133.6% 급등했다. 즉 엔비다이의 작년 매출은 전년 보다 2배 이상 증가한 셈이다. 옴디아는 "지난해 반도체 산업의 전반적인 침체에도 불구하고 AI에 주력한 기업들은 이익을 내면서 업계의 중요한 성장 동력으로 부상했다"라며 "엔비디아는 AI의 가장 큰 수혜자"라고 진단했다. 메모리 업체인 SK하이닉스와 마이크론도 상위 10개 기업 중 큰 폭의 실적 감소를 겪었다. 2017년부터 2021년까지 삼성전자, SK하이닉스, 마이크론은 모두 매출 상위 5위 안에 들었었다. SK하이닉스는 지난해 매출 236억8000만달러로 전년 보다 30.6% 감소하며 순위가 4위에서 6위로 내려왔다. 마이크론 또한 메모리 침체기에 영향 받아 지난해 순위가 6위에서 12위로 내려왔으며, 매출은 159억6300만달러로 전년 보다 40.6% 감소했다. 다만 SK하이닉스는 고대역폭메모리(HBM)으로 AI 반도체의 혜택을 받다고 평가된다. 옴디아는 "SK하이닉스는 AI가 촉진하기 위해 GPU(그래픽처리장치)와 통합된 HBM 부문을 선도하고, 다른 주요 메모리 제조업체들도 이 분야에 뛰어들고 있다"고 말했다. 그 밖에 ▲4위 퀄컴(309억1300만달러) ▲5위 브로드컴(284억2700만달러) ▲7위 AMD(224억800만달러) ▲8위 애플(186억3500만달러) ▲9위 인피니언(172억8600만달러) 등 순이다. 지난해 상위 20개 반도체 기업의 매출은 5448억 달러로 전년 보다 8.8% 감소했다. 한편 이번 집계에는 파운드리(반도체 위탁생산) 기업 매출은 포함되지 않았다. 대만 파운드리 업체 TSMC는 지난해 2조1617억3600만대만달러(91조1820억원)의 매출을 올렸다고 밝혔다. 삼성전자 파운드리 사업을 합한 반도체 매출은 지난해 66조5900만원으로 집계된다. 파운드리를 합한 반도체 시장 매출 순위에서는 1위 TSMC, 2위 인텔, 3위 삼성전자 순이다.

2024.03.28 20:03이나리

"생성형 AI를 어떻게 시작할지 막막하다면 연락하세요"

“2022년말부터 생성형 인공지능(AI)가 대두되면서, 작년 많은 기업이 GPU 서버 확보에 집중했다. 본질은 확보한 GPU로 무엇을 할 것이냐다. 지금 기업고객의 관심은 GPU 확보를 넘어서 생성형 AI의 유즈케이스를 어떻게 만들고, 무엇에 활용할 것이냐로 바뀌고 있다. 문제는 전문가와 기술적 조언을 구하기 어렵다는 점이다. 델테크놀로지스는 'Bring AI to your data'란 기본 전략을 바탕으로 '단순화', '맞춤화', '신뢰성' 등의 세가지 관점에서 AI 컨설팅 프레임워크를 만들었다. 델테크놀로지스는 기업의 AI 여정 전반을 성공적으로 진행할 수 있는 엔드투엔드 지원을 제공한다.” 김경아 한국델테크놀로지스 서비스사업부 부사장은 최근 본지와 인터뷰에서 자사의 생성 AI 컨설팅 사업 역량에 대해 이같이 밝혔다. 2022년 11월 오픈AI의 챗GPT 등장 후 IT 관련업계의 관심은 생성형 AI에 집중됐다. 기업은 경쟁적으로 생성형 AI 개발에 나섰고, 그 준비 일환으로 GPU 확보에 열을 올렸다. 엔비디아 H100 GPU를 탑재한 서버를 1년 이상 기다려야 납품받을 정도로 GPU 수급 불안이 심각했다. GPU 공급이 어느정도 안정화되는 단계에 이르자 기업의 분위기도 바뀌고 있는 듯하다. 일단 인프라 확보부터 했던 기업이 구체적인 AI 개발 전략을 고민하기 시작한 것이다. 많은 기업이 생성형 AI 전략 수립에 도움을 줄 전문 파트너를 찾고 있다. 김경아 부사장은 “기업의 생성형 AI 여정은 매우 복잡하다”며 “GPU 서버를 도입한다 해도 그것을 얼마나 빨리 활용하게 할 것이냐도 또 하나의 관건”이라고 말했다. 김 부사장은 “델은 작년 엔비디아와 함께 '생성형 AI를 위한 검증설계(Dell Validated Design for Generative AI)'란 이름의 검증 설계 프레임워크크를 만들었는데, 일류 요리사가 만든 밀키트라 보면 된다”며 “생성형 AI 워크로드 구축의 복잡성을 간소화시켜 여정을 단순화하는 것으로, 고객의 요구를 조금씩 추가하면서 빠르게 시작할 수 있다”고 덧붙였다. 델 검증설계는 생성형 AI 워크로드를 위한 레퍼런스 아키텍처다. 한동안 '프로젝트 헬릭스'로 불렸던 것으로, 델과 엔비디아가 워크로드를 위한 하드웨어와 소프트웨어의 구성 및 설정을 사전에 검증해 시스템 구성 고민없이 쉽게 도입할 수 있게 한다. 델테크놀로지스는 검증설계에서 한발 더 나아갔다. 단순화와 더불어 맞춤화를 위한 행보다. 김 부사장은 “얼마전 열린 엔비디아 GTC 2024에서 델테크놀로지스는 '델 AI 팩토리'란 솔루션을 발표했다”며 “정확히 '델 AI 팩토리 위드 엔비디아'란 이 솔루션은 아예 엔비디아와 델 공동으로 양사의 하드웨어와 소프트웨어를 사전에 통합해 고객에게 제공하는 것”이라고 밝혔다. 그는 “델 AI 팩토리에 대해 젠슨 황 엔비디아 회장은 델을 대규모로 엔드투엔드 시스템을 AI 관점에서 제공하는 유일한 회사라고 언급했다”며 “새 모델은 아예 공동 개발을 통해 엔드투엔드로 엔터프라이즈 AI 솔루션을 만든 것으로 보면 된다”고 강조했다. 델 AI 팩토리는 엣지, 코어, 클라우드 등에 이르는 전반의 환경에서 클라이언트, 서버, 네트워킹, 스토리지, 구독 서비스 등의 인프라와 엔비디아의 AI 엔터프라이즈 소프트웨어, 델 프로페셔널 서비스 등을 한번에 제공한다. 델테크놀로지스는 특히 고객의 생성형 AI 활용을 위한 단계마다 높은 수준의 컨설팅과 서비스를 제공한다. 김 부사장은 “고객이 어떤 유즈케이스에 AI를 활용할지 고민할 때 단순히 어떤 하나의 케이스에 활용하는 게 아니라 단계별로 어떤 분야, 어느 부서에서 활용할지 체계적으로 여정을 설계하도록 돕는다”며 “델테크놀로지스는 고객이 가장 빠르게 높은 투자수익률(ROI)을 달성하도록 하는 것을 최고 가치로 여기고 있다”고 말했다. 델테크놀로지스의 생성형 AI 서비스 프레임워크는 이처럼 '단순화'와 '맞춤화'를 고민한다. 이와 함께 생성형 AI의 보안과 정확성을 담보할 수 있는 '신뢰성'에도 관심을 갖는다. 김 부사장은 “현재 많은 고객의 우려는 AI에 자신의 데이터를 학습시켜야 하는데 생성형 AI는 퍼블릭한 솔루션이라 그와 동일한 솔루션을 온프레미스에 구추하지 않는 한 데이터를 외부에 개방하게 된다는 것”이라며 “또한 생성형 AI의 답변이 100% 진실하다는 것을 확신할 수 없다는 문제도 있다”고 말했다. 그는 “델은 모든 포트폴리오에서 보안을 핵심 항목으로 두고 '제로 트러스트' 중심으로 제품을 만든다”며 “민감하고 기밀성인 기업 내부 데이터를 다루는 과정에서 데이터 손상, 프라이버시, 완벽한 진실성 등을 확보할 수 있도록 지원한다”고 덧붙였다. 델테크놀로지스 서비스사업부는 전략수립(Strategize), 시작(Implement), 채택(Adopt), 확장(Scale) 등 생성형 AI 여정을 모두 지원한다. 김 부사장은 “전략을 세우는거에서 시작해 구현과 채택 과정에서 가장 고부가가치적인 유즈케이스를 조언하고, 시범 도입 후 사례를 확장하는 과정에서 큰 고민거리인 전문인력 문제에 도움을 주도록 상주인력을 배치한다”며 “생성형 AI에 어떤 전략을 세우고, 단계적으로 투자할 것인지 CEO와 CIO뿐 아니라 CMO와 COO도 결정과정에 참여해서 'As is To be' 모델로 분석함으로써 단계별로 기대효과를 명확하게 해갈 수 있다”고 강조했다. 그는 델테크놀로지스 서비스 사업부의 생성형 AI 서비스 프레임워크에 대해 여정마다 조직의 AI 준비상태를 확인할 수 있는 몇가지 질문을 던지는 것으로 설명했다. ▲귀하의 전략은 얼마나 명확한가(전략) ▲생성형 AI 모델에 데이터를 어떻게 통합하고 보호할 것인가(데이터) ▲우선 사용 사례를 확인했느냐(AI모델) ▲생성형 AI 플랫폼을 어떻게 구축하고 운영할 것인가(플랫폼) ▲생성형 AI 성공에 필요한 기술과 자원을 보유하고 있는가(인력) ▲비즈니스에 생성형 AI를 효율적으로 채택할 수 있는가(채택) 등이다. 그는 “글로벌 프레임워크에 더해서 한국은 하나의 단계를 더 추가했다”며 “고객이 컨설팅을 받으려 할 때 어디서부터 시작해야 할 지 확신하지 못할 수 있으므로 우리 팀이 1~2주일의 기간동안 디스커버리 단계를 제공한다”며 “고객과 액셀러레이터 워크샵을 통해 현황과 준비도를 빠르게 탐색하고, 각 여정 단계를 어느정도로 설정해야 할 지 제안하는 일종의 맛보기 서비스”라고 설명했다. 그는 “고객은 자칫하면 AI 관련 솔루션마다 단편적으로 검토할 수 있다”며 “델은 광범위한 시각으로 바라보고 단편적인 솔루션 검토보다 전체적인 전략을 짜서 어떤 모델을 활용할지 일련의 작업 흐름을 만들면서 일단 파일럿 형태로 사업을 진행하고 계속 모델을 최적화해서 점점 더 몸집을 키워가는게 맞다고 제안한다”고 덧붙였다. 델테크놀로지스는 현재 생성형 AI 하드웨어로 엔비디아 GPU 8개를 탑재한 서버 'XE9680'과 확장형 스토리지인 '델 파워스케일'을 제공하고 있다. 델 검증설계와 델 AI 팩토리로 생성형 AI 최적 아키텍처를 빠르게 채택하도록 한다. 서비스 프레임워크도 제품처럼 프로토타입과 아키텍처로 설계돼 발빠르게 고객의 요구에 대응할 수 있다. 생성형 AI를 기업에 구축하고 활용하는 과정은 매우 복잡하므로 당연히 델테크놀로지스가 모든 부분을 지원할 수 없다. 델테크놀로지스는 여정의 빈 공간을 전문 파트너 생태계로 채운다. 김 부사장은 “델이 가장 잘 하는 것은 고객의 요구와 도전과제, 리스크를 고려해서 어떤 아키텍처와 솔루션을 도입해야 하는가에 대한 것이고, 글로벌과 한국 내 써드파티와 연계해서 프로젝트를 수행하고 있다”며 “글로벌 솔루션 업체 외에도 한국 내의 산업 특화 업체와 함께 고객을 지원한다”며 “국내 파트너로 다올TS, 메이머스트가 인프라 분야에서, 코그넷나인, 텐, 엠펙트 등이 전문 분야에서 파트너로 협력하고 있고, 글로벌하게 소프트서브와 긴밀히 협력중”이라고 밝혔다. 그는 “델테크놀로지스도 생성형 AI 전략을 계속해서 진화시키고 있다”며 “만약 생성형 AI를 어디서 시작해야 할 지 모르겠다면 우리에게 연락달라”고 강조했다.

2024.03.28 11:12김우용

SK하이닉스, 美 인디애나에 5.3조원 규모 반도체 패키징 팹 건설

국내 메모리 업체 SK하이닉스가 40억달러(5조3,600억원)를 투자해 미국 인디애나주 웨스트라파옛에 첨단 반도체 패키징 공장을 건설할 계획이라고 월스트리트저널(WSJ)이 26일(현지시간) 밝혔다. 앞서 영국의 파이낸셜타임스(FT)가 지난달 1일 SK하이닉스가 인디애나주에 첨단 패키징 공장을 건설한다고 보도한데 이어 추가 보도다. WSJ은 소식통을 인용해 "엔비디아의 공급업체 SK하이닉스가 인디애나주에 건설하는 패키징 시설은 2028년에 가동을 시작할 예정이다"고 전했다. SK하이닉스의 신규 시설은 반도체 및 전자공학으로 유명한 퍼듀대학에 인접하고, 약 800~1000개의 새로운 일자리를 창출할 것으로 기대된다. WSJ은 SK하이닉스가 인디애나주 및 연방 정부로부터 세제 혜택 등 다양한 지원을 받을 것으로 전망했다. 이에 SK하이닉스 측은 "미국에서의 고급 반도체 패키징 투자를 검토하고 있지만 아직 최종 결정을 내리지 않았다"고 입장을 밝혔다. 앞서 최태원 SK그룹 회장은 2022년 7월 조 바이든 미국 대통령과 화상 면담에서 220억 달러 규모의 대미 투자 계획을 밝힌 바 있다. 같은 해 SK하이닉스는 미국에 첨단 패키징 제조시설과 연구개발(R&D)센터를 세운다는 계획을 발표했다. 첨단 패키징은 반도체 미세 공정의 기술적 한계 극복하고 개별 소자들의 단일 패키지화에 따라 핵심기술로 부상했다. 특히 최근 인공지능 반도체와 함께 급부상한 고대역폭메모리(HBM)은 첨단 패키징 기술이 요구된다. 지난해 SK하이닉스는 AI 반도체 1위인 엔비디아와 HBM3 독점 공급 계약을 맺는 활약으로 지난해 HBM 시장에서 50% 이상 점유율로 1위를 차지했다. 아울러 SK하이닉스는 엔비디아가 올해 공급하는 AI 반도체 GPU에도 HBM3E 공급을 확정지었다. 이에 힘입어 SK하이닉스의 시가총액은 128조 원을 육박하며 지난 한 해 동안 두 배 이상 증가했다. 곽노정 SK하이닉스 사장은 지난 2월 19일 '한국반도체산업협회 정기총회' 후 취재진을 만나 "부지 선정은 여러가지 측면을 고려해 계속 신중하게 검토 중"이라며 "(인디애나주는) 코멘트하기 어렵고, 미국 전체 주가 후보다. 부지 선정이 되면 보조금을 신청할 계획"이라고 밝힌 바 있다. WSJ에 따르면 바이든 정부는 미국 내에서 반도체 생산량을 확대하기 위해 반도에 생산의 마지막 단계인 패키징 부분에도 반도체법에 최소 30억 달러를 책정했다. 기업이 상무부에 보조금을 신청하는 마감일은 4월 12일이다.

2024.03.27 01:00이나리

HPE, 생성형 AI용 슈퍼컴퓨팅 포트폴리오 출시

HPE는 지난 18일 엔비디아 연례 컨퍼런스 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 업계 가장 통합적인 AI 네이티브 포트폴리오를 새롭게 업데이트 했다고 26일 발표했다. HPE와 엔비디아는 공동 엔지니어링한 풀스택 생성형 AI 솔루션을 선보였다. HPE 머신러닝 추론 소프트웨어 프리뷰 버전과 엔터프라이즈급 검생증강생성(RAG) 레퍼런스 아키텍처 등도 소개됐다. HPE와 엔비디아는 블랙웰 플랫폼 기반 제품 개발을 지원한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션이 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 제공된다. 해당 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 설치까지 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2-3배 더욱 신속히 진행할 수 있다. 디스커버 바스셀로나 2023 행사에서 선보였듯 HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 이제 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는HPE 그린레이크를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링해 사전 구성된 미세 조정 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 해당 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU로 사전 구성됐다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. 솔루션 도입 시AI 기술 격차를 해소하기 위해서 HPE 서비스 전문가들이 적합한 모델 조정 기술 등을 포함해 솔루션의 설계, 배포부터 관리까지 지원한다. HPE와 엔비디아는 기업들이 AI 및 ML 개념검증 단계에서 실제 애플리케이션 생산으로 넘어갈 수 있는 소프트웨어 솔루션을 제공하기 위해 협업하고 있다. HPE 고객들은 HPE 머신 러닝 추론 소프트웨어 솔루션을 프리뷰 버전으로 이용할 수 있으며 해당 소프트웨어를 이용해 기업들은 빠르고 안전하게 ML 모델을 대규모로 배포할 수 있다. 프라이빗 데이터를 이용하여 생성형 AI 애플리케이션을 빠르게 구축 및 배포해야 하는 기업들을 위해서 HPE는 엔비디아 네모 리트리머 마이크로 서비스 아키텍처에 기반한 엔터프라이즈 RAG용 레퍼런스 아키텍처를 개발했다. 해당 레퍼런스 아키텍처는 HPE 에즈메랄 데이터 패브릭 소프트웨어와 파일스토리지용 HPE 그린레이크로부터 추출한 종합적인 데이터 파운데이션을 기반으로 한다. 이외에도 데이터 준비, AI 훈련 및 추론 등을 지원하기 위해 해당 솔루션은 HPE 에즈메랄 유니파이드 애널리틱스 소프트웨어와 HPE의 AI 소프트웨어에서 모든 오픈소스 툴과 솔루션을 병합하여 사용할 수 있도록 했다. HPE 머신 러닝 데이터 매니지먼트 소프트웨어, HPE 머신 러닝 개발환경 소프트웨어, 신규 HPE 머신러닝 추론 소프트웨어 등도 이에 해당된다. HPE 소프트웨어는 HPE 슈퍼컴퓨팅과 생성형 AI 용 엔터프라이즈 컴퓨팅 솔루션 모두에서 이용가능해 고객은 생성형 AI 워크로드를 일정한 환경에서 관리할 수 있다. HPE는 향후 새롭게 발표된 엔비디아 블랙웰 플랫폼을 기반으로 제품을 개발할 계획이며 이러한 제품은 2세대 트랜스포머 엔진을 통합해 생성형 AI 워크로드를 가속한다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩, HGX 200, HGXB100 등이 장착된 HPE 제품에 관한 더욱 자세한 정보는 추후 공개될 예정이다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다”며 “AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것에서부터 엣지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”고 설명했다. 그는 “HPE와 엔비디아는 오랫동안 혁신을 위해 협력해왔다. 양사는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 강조했다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다”며 “엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 밝혔다.

2024.03.26 16:44김우용

"엔비디아에 대항"…인텔·퀄컴·구글, AI연합 추진

엔비디아 생태계에 맞서기 위해 구글과 인텔, 퀄컴 등이 손을 잡았다. 로이터통신은 25일(현지시간) 소식통을 인용해 작년 9월 퀄컴과 구글, 인텔 등이 'UXL 재단'이라는 기술 컨소시엄을 구성해 '원API'라는 오픈소스 프로젝트를 추진하고 있다고 보도했다. 해당 프로젝트는 어떤 반도체 칩이나 하드웨어에 상관없이 모든 컴퓨터에서 구동하는 소프트웨어를 구축하는 것을 목표로 하고 있다. 이 같은 움직임은 400만 명이 넘는 개발자들이 인공지능(AI) 앱 개발을 위해 사용하는 쿠다(CUDA) 소프트웨어 플랫폼에 대항하기 위한 움직임이다. 쿠다로 만든 플랫폼은 엔비디아의 GPU에서만 돌아간다. 그렇기 때문에 그 동안 대부분의 AI 개발자들은 AI 반도체도 엔비디아 GPU만을 사용해야만 했다. 퀄컴의 AI·머신러닝 책임자 비네쉬 수크마르(Vinesh Sukumar)는 인터뷰를 통해 "실제로 개발자들에게 엔비디아 플랫폼에서 마이그레이션하는 방법을 보여주고 있다"고 밝혔다. 구글의 고성능 컴퓨팅 담당 최고 기술 전문가 빌 마그로(Bill Magro)는 "UXL재단은 머신러닝 프레임워크 관점에서 개방형 생태계를 구축하고 생산성 및 하드웨어 선택을 촉진할 수 있는 지에 관한 것"고 밝혔다. 또, 그는 구글은 UXL 재단의 창립 멤버 중 하나이며 프로젝트의 기술적 방향을 결정하는 데 도움을 주고 있다고 설명했다. UXL 기술운영위원회는 올해 상반기까지 기술적 사양 확정하고 올해 말에는 기술적 세부 사항을 '성숙한' 상태로 개선할 계획이라고 밝혔다. 또, 해당 프로젝트 초기에는 AI 앱과 고성능 컴퓨팅 애플리케이션에 대한 옵션을 개방하는 것을 목표로 할 예정이지만, 궁극적으로는 엔비디아의 하드웨어와 코드도 지원할 계획이라고 밝혔다. UXL은 향후 해당 소프트웨어가 모든 칩이나 하드웨어에 배포될 수 있도록 추가 칩 제조사와 마이크로소프트(MS)나 아마존 등의 클라우드 컴퓨팅 회사의 동참을 요청할 예정이다. 아직 UXL 연합에 속하지 않은 MS의 경우, 엔비디아의 독점에 대항할 수 있는 대체 AI 칩을 개발하기 위해 작년에 AMD와 협력 했다는 소문이 돌기도 했다.

2024.03.26 15:16이정현

앤시스, 엔비디아와 생성형AI 시뮬레이션 개발 협력

앤시스가 엔비디아와 협력해 생성형 AI 기반의 차세대 시뮬레이션 솔루션 개발에 집중한다. 앤시스코리아(대표 박주일)는 최첨단 기술을 융합해 6G 통신 기술을 고도화하고 엔비디아 그래픽처리장치(GPU)를 통해 앤시스 솔버를 강화한다고 25일 밝혔다. 앤시스의 소프트웨어에 엔비디아 AI를 통합하고 물리 기반 디지털 트윈을 개발하며 엔비디아 AI 파운드리 서비스로 개발된 맞춤형 거대언어모델(LLM)을 사용할 예정이다. 앤시스는 포트폴리오 전반에 걸쳐 데이터 상호운용성을 강화하고 향상된 그래픽과 비주얼 렌더링을 제공하기 위해 오픈USD 얼라이언스(AOUSD)에 가입했다. 엔비디아 옴니버스 플랫폼에 기반한 엔비디아 드라이브 심에 앤시스 AV엑셀러레이트 오토노미를 연동했으며 앤시스 STK, 앤시스 LS-DYNA, 앤시스 플루언트 및 앤시스 퍼시브 EM 등의 추가 연동을 검토하고 있다. 이를 통해 강화된 상호운용성을 바탕으로 사용자는 광범위한 수준에 걸친 다양한 시뮬레이션 과제를 해결할 수 있다. 이번 협력에서는 옴니버스(Omniverse) 통합 외에도 가속 컴퓨팅, 6G 통신, AI 강화 시뮬레이션, AI 파운드리 등 네 가지 분야에서의 발전에 주력할 예정이다. 아제이 고팔 앤시스 최고경영자(CEO)는 “비디아 옴니버스의 역동적인 영역 내에서 우리의 고객들이 가상과 현실을 연결함으로써 미래 기술 개발을 비롯한 혁신을 현실화해 우리 시대의 가장 시급한 엔지니어링 과제를 해결할 수 있을 것이라 믿어 의심치 않는다”고 밝혔다. 젠슨 황 엔비디아 최고경영자(CEO)는 “중공업 업계 내 전세계의 설계자와 엔지니어는 현재 시뮬레이션 엔진으로 앤시스를 사용하고 있다”며 "앤시스와 협력해 이러한 대규모 작업에 가속 컴퓨팅 및 생성형 AI를 제공하고, 엔비디아 옴니버스 디지털화 기술로 앤시스의 선도적인 물리 기반 시뮬레이션 도구를 확장할 수 있도록 협력을 이어갈 것”이라고 말했다.

2024.03.25 16:22남혁우

"국내 최대 AI인프라 구축한, NHN 클라우드 글로벌 간다"

김동훈 엔에이치엔(NHN) 클라우드 대표가 'NHN클라우드 2.0 전략'을 통해 국내 최대규모 인공지능(AI) 인프라를 확보하고 글로벌 기업으로 발돋움한다. 지난 21일 NHN클라우드는 광주광역시 김대중컨벤션센터에서 개최한 간담회를 통해 국가 AI 데이터센터와 함께 AI 중심 전략을 소개했다. █ 국가AI 데이터센터로 글로벌 수준 AI인프라 지원 국가AI 데이터센터는 NHN클라우드 2.0 전략의 핵심 인프라다. AI 연구개발에 특화됐으며 엔비디아의 AI전용 GPU H100을 기반으로 88.5페타플롭스(PF)의 컴퓨팅 연산능력과 저장 용량 107페타바이트(PB) 규모의 인프라를 갖췄다. GPU의 성능 극대화를 위해 전력 공급 최적화 기술을 적용해 서버랙 당 전력밀도를 15kw로 끌어올렸다. 이는 국내 데이터센터의 평균 전력밀도의 3배에 달하는 수치다. 높은 전력사용으로 인한 발열을 줄이기 위해 NHN클라우드에서 개발한 냉기 시스템을 적용했다. 외부의 자연 바람을 이용한 공냉식으로 열교환 과정에서 간섭을 최소화해 냉각에 쓰이는 에너지를 절감하기 위한 방안을 적용했다. 김동훈 대표는 “NHN클라우드는 판교 데이터센터(NCC1)를 10년 이상 운영하며 얻은 클라우드 서비스 전문 데이터센터 운영 경험을 녹여 고밀도전력, 효율적 소비 전력 설비를 구축했다”고 설명했다. “일반 기업이 H100 등 AI전용 하드웨어를 구하는 것이 거의 불가능에 가까운 상황에서 상대적으로 저렴하게 이용할 수 있다는 것부터 큰 메리트라고 할 수 있다”며 “기업의 서비스 특성이나 자금상황에 따라 유연하게 활용할 수 있도록 H100외에도 A100 등 추가적인 옵션도 함께 제공하고 있다”고 설명했다. 과학기술정보통신부와 광주광역시가 추진하는 '인공지능 중심 산업융합 집적단지 조성 사업'의 일환으로 광주 첨단3지구 AI중심산업융합집적단지에 지난해 10월 구축됐다. 11월부터 정식 운영을 시작해 현재 470여 곳의 기업, 기관이 데이터센터를 이용하고 있다. AI 산업융합 생태계 활성화를 위해 올해 말까지 스타트업 등 민간 기업을 대상으로 인프라 지원사업을 실시한다. 민간지원사업이 종료되는 2025년부터 본격적인 수익 사업도 이어질 예정이다. █ “AI전환(AX) 패러다임 이끄는 선두기업 될 것” NHN클라우드 2.0 전략은 공공, 금융, 제조, IT 등 다양한 산업 분야의 기업에 최적화된 AI 환경을 인프라부터 솔루션까지 통합제공해 AI전환(AX) 패러다임을 이끌겠다는 전략이다. 이를 위해 김동훈 대표는 국내 최대 수준의 '멀티 AI GPU 팜'을 구축하고 이를 중심으로 풀스택 AI 클라우드 서비스 제공사(CSP)'로 발전할 것이라고 계획을 설명했다. 현재 NHN클라우드는 국가AI데이터센터를 포함해 판교 데이터센터(NCC1) 등 데이터센터를 보유하고 있다. H100 GPU 1천 개 이상으로 이뤄진 엔비디아 기반 인프라는 77.3 PF에 달하며 그래프코어 기반 인프라는 11.2PF, 사피온은 11PF로 총 99.5PF에 달한다. 이와 함께 AI 플랫폼 'AI 이지메이커', 프라이빗클라우드 전용 솔루션 '프라이빗덱' 등 서비스 역량을 결합함으로써 고객이 쉽게 AI 서비스를 개발하고 상용화할 수 있도록 환경을 제공한다는 것이다. 김 대표는 NHN클라우드 외에도 솔트룩스 등 다양한 AI 기술 기업과 협력 관계를 맺어 AI 얼라이언스를 구축해 AI 생태계를 확장할 것이라고 장기적인 청사진을 소개했다. 이에 글로벌 파트너 지코어의 정현용 지사장이 참석해 “오픈스택 기술력 융합 협력에 이어 AI 인프라 사업에서도 긴밀하게 NHN클라우드와 협업할 것”이며 향후 AI생태계 구축을 위한 지속적인 파트너십을 약속했다. 김동훈 NHN클라우드 대표는 “생성형AI를 중심으로 확대되는 시장에서 다양한 AI서비스와 인프라를 제공해 선두권 사업자로 앞서 나가겠다는 것이 2.0 전략의 핵심”이라며 “우리는 개발부터 운영, 서비스 제공까지 모든 과정에서 앞선 역량과 인프라를 갖춘 만큼 앞으로 더욱 가시적인 성과를 낼 것”이라고 강조했다. 이어서 “지난해는 민간 사업은 목표치를 달성했지만, 공공 부문은 전체적으로 규모가 줄고 매출 반영이 1년뒤에 이뤄지면서 단기 순손실을 기록했다”며 “하지만 AI와 클라우드 관련 전체적인 기조가 긍정적이고, 글로벌진출까지 준비하고 있는 만큼 올해 매출 2천억 원, 2026년까지 8천 억 원을 달성하겠다는 목표는 그대로 유지할 것”이라고 포부를 밝혔다.

2024.03.25 09:19남혁우

델 파워스케일, 엔비디아 DGX 이더넷 스토리지 인증 획득

델테크놀로지스는 AI 시대에 기업과 기관들이 데이터의 가치를 극대화할 수 있도록 엔비디아 스타버스트 등 글로벌 리더 기업과 협력해 스토리지 포트폴리오를 강화한다고 22일 밝혔다. 먼저 델은 엔비디아와의 긴밀한 협력 하에 자사의 '델 파워스케일' 스토리지를 '엔비디아 DGX 슈퍼POD'을 위한 이더넷 스토리지로서 인증받았다. 데이터 애널리틱스 플랫폼 기업인 '스타버스트'와 협력해 스타버스트 소프트웨어와 델 하드웨어를 풀스택으로 구성한 '델 데이터 레이크하우스'를 공식 출시했다. 델 파워스케일 솔루션을 통해 델과 엔비디아는 강력한 성능과 효율성의 AI 스토리지를 찾는 조직들의 생성형 AI 이니셔티브 지원에 나선다. 엔비디아의 AI 레퍼런스 아키텍처인 DGX 슈퍼POD에 '델 파워스케일'을 통합한 DGX 시스템을 도입하면 사전 검증 및 테스트가 완료된 턴키 시스템을 기반으로 생성형 AI를 위한 인프라를 쉽고 빠르게 구축할 수 있다. 엔비디아 매그넘 IO, GPU다이렉트 스토리지, NFS 오버 RDMA 등의 기술이 엔비디아 ConnectX-6 NIC에 내장돼 고속의 데이터 접근이 가능하며, AI 훈련, 체크포인팅, 추론에 소요되는 시간을 최소화할 수 있다. 델 파워스케일이 제공하는 새로운 멀티패스 클라이언트 드라이버를 활용해 GPU 활용률과 성능을 극대화할 수 있다. 엔비디아 DGX 슈퍼POD에는 풀스택 AI 슈퍼컴퓨팅 솔루션을 위한 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼이 포함되며, 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼 이더넷 네트워킹 구성을 제공해 좀 더 빠르고 안전하게 생성형 AI 프로젝트를 추진할 수 있도록 지원한다. 델 데이터 레이크하우스는 개방형의 모던 데이터 플랫폼으로 데이터가 저장된 위치와 상관없이 안전하고 간편한 싱글 포인트 접근을 지원한다.'델 데이터 레이크하우스는 스타버스트 기반의 '델 데이터 애널리틱스 엔진'과 쿠버네티스 기반의 '델 레이크하우스 시스템 소프트웨어', 델 파워엣지 서버로 구성된 컴퓨팅 노드, '델 ECS' 또는 '델 오브젝트스케일'로 구성된 스케일아웃 스토리지 노드로 구성된다. 델은 AI에 최적화된 하드웨어와 강력한 쿼리 엔진을 포함한 풀스택 소프트웨어를 아우르는 통합형 데이터 플랫폼을 제공함으로써 고객들이 AI 시대에 걸맞게 데이터로부터 실행가능한 비즈니스 통찰력을 빠르게 얻을 수 있도록 지원한다는 전략이다. 델 데이터 레이크하우스는 스타버스트 기반의 페더레이션 완료된 안전한 쿼리로 데이터 탐색을 강화해, 인사이트 도출 시간을 최대 90%까지 단축하고, 사용 패턴을 파악해 데이터 레이크하우스로 더욱 스마트하게 데이터를 중앙 집중화할 수 있다. 컴퓨팅과 스토리지를 분리하는 맞춤형 인프라에서 실행되는 분산형 대규모 병렬화 엔진을 통해 필요에 따라 확장가능한 성능을 확보할 수 있다 100% 오픈 포맷을 기반으로 하며 파케이, 아브로, ORC 등의 파일 형식 및 아이스버그, 델타레이크 같은 테이블 형식 등 최신 산업 표준을 통해 미래에 대비할 수 있고, 내장된 데이터 거버넌스를 통해 데이터에 대한 통제권을 유지한다. 데이터 팀에 셀프 서비스 액세스 권한을 부여해 고품질의 데이터를 생성하고, 전사적으로 협업과 데이터 탐색이 용이한 조직 문화를 조성한다. 서버, 소프트웨어 및 스토리지 구성 요소를 포괄하는 턴키 솔루션으로서 구축, 라이프사이클 관리, 지원 서비스를 간소화하도록 설계됐으며, 비용 효율적이고 예측 가능한 지출이 가능하다. 델 데이터 애널리틱스 엔진은 동급 타 기술 대비 절반의 비용으로 3배 빠른 통찰력 확보 시간을 제공한다델 ECS 스토리지는 퍼블릭 클라우드 오퍼링 대비 총 소유 비용을 최대 76% 절감할 수 있다. 김경진 한국델테크놀로지스의 총괄 사장은 “스토리지 혁신을 이끌어온 델이 AI 시대에 스토리지의 새로운 기준을 제시하기 위해 업계를 선도하는 글로벌 리더들과 협력에 박차를 가하고 있다”며 “누구나 손쉽게 실행가능한 인사이트를 얻고, 이전에는 가능하지 않았던 속도를 통해 AI의 잠재력을 실현시킬 수 있도록 돕고자 한다”고 밝혔다.

2024.03.22 18:14김우용

슈퍼마이크로, 풀스택 생성형 AI 슈퍼클러스터 3종 출시

슈퍼마이크로컴퓨터(이하 슈퍼마이크로)는 생성형 AI의 도입을 가속화하기 위한 슈퍼클러스터 포트폴리오를 22일 발표했다. 최신 솔루션은 현재는 물론 미래의 거대언어모델(LLM) 인프라에도 적합한 핵심 빌딩 블록을 제공한다. 슈퍼마이크로 슈퍼클러스터 솔루션 3종은 현재 생성형 AI 워크로드에 사용 가능하다. 4U 수냉식 냉각 시스템 또는 8U 공냉식 냉각 시스템은 강력한 LLM 학습 성능은 물론 대규모 배치와 대용량 LLM 추론용으로 특별히 제작 및 설계됐다. 1U 공냉식 슈퍼마이크로 엔비디아 MGXTM 시스템을 갖춘 슈퍼클러스터는 클라우드 규모 추론에 최적화됐다. 슈퍼마이크로 4U 엔비디아 HGX H100/H200 8-GPU 시스템은 수냉식 냉각을 사용해 8U 공랭식 시스템의 밀도를 두 배로 높이고 에너지 소비량과 데이터센터 TCO를 낮춘다. 차세대 엔비디아 블랙웰 아키텍처 기반의 GPU를 지원하도록 설계됐다. 슈퍼마이크로 냉각 분배 장치(CDU)와 매니폴드(CDM)는 냉각된 액체를 슈퍼마이크로의 맞춤형 D2C 콜드 플레이트에 분배하기 위한 핵심 부품으로, GPU와 CPU를 최적의 온도로 유지하고, 성능을 극대화한다. 이러한 냉각 방식은 데이터센터의 총 전기 비용을 최대 40% 절감하고 물리적 공간도 절약할 수 있다. 엔비디아 HGX H100/H200 8-GPU를 탑재한 시스템은 생성형 Al 학습에 이상적이다. 엔비디아 NV링크 로 상호 연결된 고속 GPU와 더불어 넓은 GPU 메모리 대역폭 및 용량은 LLM 모델의 비용 효율적인 구동에 핵심적인 역할을 한다. 슈퍼마이크로의 슈퍼클러스터는 하나의 AI 슈퍼컴퓨터처럼 작동하는 대규모 GPU 리소스 풀을 생성한다. 조 단위의 토큰으로 구성된 데이터 세트로 학습된 대규모 기초 모델을 처음부터 구축하거나 클라우드 규모의 LLM 추론 인프라를 구축할 때, 비차단 400Gbps 패브릭을 갖춘 스파인 및 리프 네트워크 토폴로지를 사용한다면 32개 노드에서 수천 개의 노드까지 원활하게 확장할 수 있다. 슈퍼마이크로는 수냉식 냉각을 활용하는 테스트를 통해 배포 전에 운영 효율성과 효과를 철저하게 검증한다. 슈퍼마이크로의 엔비디아 MGX 시스템 설계는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 통해 생성형 AI의 주요 병목 현상을 해결하는 미래형 AI 클러스터에 대한 청사진을 제시할 것이다. 이때 병목 현상은 운영비용을 절감하기 위해 고성능 추론 배치 규모로 LLM을 실행하는 GPU 메모리 대역폭과 용량을 의미한다. 256노드 클러스터는 쉽게 구축 및 확장이 가능한 클라우드 규모의 대규모 추론 성능을 지원한다. 랙 5개에 4U 수냉식 냉각 시스템 또는 랙 9개에 8U 공랭식 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 엔비디아 H100/H200 텐서 코어 GPU 256개를 탑재한다. 수냉식 냉각의 경우 공냉식 256 GPU 및 32노드 솔루션과 동일한 설치 면적에서 512 GPU, 64노드를 지원한다. 확장 가능한 유닛 하나에 엔비디아 H100을 포함한 20TB HBM3 또는 엔비디아 H200을 포함한 36TB HBM3e을 탑재한다. 1대1 네트워킹으로 각 GPU에 최대 400Gbps를 제공하며, 최대 조 단위의 매개변수로 LLM을 학습시키기 위한 GPU 다이렉트 RDMA 및 스토리지를 활성화한다. 엔비디아 퀀텀-2 인피니밴드, 엔비디아 스펙트럽-X 이더넷 플랫폼 등 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭으로 연결된다. 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭을 구성한다 .엔비디아 AI 엔터프라이즈 5.0 소프트웨어로 대규모 AI 모델 구축을 가속화하는 새로운 엔비디아 NIM 추론 마이크로서비스를 지원한다. 랙 9개에 1U 공냉식식 냉각 엔비디아 MGX 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 256개의 GH200 그레이스 호퍼 슈퍼칩을 장착하며, 최대 144GB의 HBM3e + 480GB의 LPDDR5X 통합 메모리로, 하나의 노드에 70B+ 매개변수 모델을 수용할 수 있다. 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭을 지원하며, 노드당 최대 8개의 내장 E1.S NVMe 스토리지 장치를 제공한다. 엔비디아 블루필드-3 DPU와 맞춤형 AI 데이터 파이프라인 스토리지 패브릭으로 각 GPU에 많은 처리량과 짧은 지연 시간의 스토리지 액세스를 제공한다. 엔비디아 AI 엔터프라이즈 5.0 소프트웨어를 제공한다. 슈퍼마이크로의 슈퍼클러스터 솔루션은 GPU-GPU 연결을 위해 달성할 수 있는 네트워크 성능을 갖췄으며, LLM 훈련, 딥 러닝, 그리고 대용량 및 대규모 배치 추론에 최적화됐다. 현장 배포 서비스와 결합된 슈퍼마이크로의 L11 및 L12 검증 테스트는 고객에게 매끄러운 사용 경험을 제공한다. 고객은 플러그 앤 플레이 확장형 유닛을 통해 데이터센터에 쉽게 구축하고 더 빠르게 결과를 얻을 수 있다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 "AI 시대에 컴퓨팅 단위는 단순히 서버 수가 아닌 클러스터로 측정된다”며 “슈퍼마이크로는 글로벌 제조량을 월 5,000개의 랙으로 확장해 그 어느 때보다 빠르게 완전한 생성형 AI 클러스터를 제공할 수 있다"고 설명했다. 그는 "확장 가능한 클러스터 빌딩 블록에 64노드 클러스터는 400Gb/s 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹을 갖춰 72TB의 HBM3e및 512개의 엔비디아 HGX H200 GPU를 지원한다”고 밝혔다 이어 “슈퍼마이크로의 슈퍼클러스터 솔루션은 엔비디아 AI 엔터프라이즈 소프트웨어와 결합됐다”며 “그 결과 오늘날 최대 조 단위의 매개변수로 LLM을 학습하는 기업 및 클라우드 인프라에 이상적”이라고 덧붙였다. 카우츠브 상하니 엔비디아 GPU 제품 부문 부사장은 "엔비디아의 최신 GPU, CPU, 네트워킹 및 소프트웨어 기술은 시스템 제조사가 글로벌 시장을 위한 다양한 차세대 AI 워크로드를 가속화할 수 있도록 지원한다"며 “슈퍼마이크로는 블랙웰 아키텍처 기반 제품에 엔비디아 가속 컴퓨팅 플랫폼을 활용해 데이터센터에 쉽게 구축 가능한 최첨단 서버 시스템을 제공하고 있다"고 밝혔다.

2024.03.22 18:06김우용

젠슨 황, 삼성 HBM3E에 친필로 '승인' 사인...엔비디아에 공급 기대감

젠슨 황 엔비디아 최고경영자(CEO)가 미국 캘리포니아주 새너제이에서 열린 'GTC 2024' 행사에 전시된 삼성전자의 5세대 고대역폭메모리 12단 'HBM3E'에 친필 사인을 남겼다. 엔비디아 AI 반도체에 삼성전자의 HBM3E가 탑재될 가능성에 기대감이 커진다. 21일 한진만 삼성전자 반도체(DS)부문 미주총괄(DSA) 부사장은 자신의 사회관계망서비스(SNS)에 황 CEO가 삼성전자 부스에서 12단 HBM3E 실물에 남긴 친필 사인과 부스에 있던 직원들과 함께 찍은 사진을 공유했다. 삼성전자는 12단 HBM3E 실물을 공개한 것은 이번 GTC 행사가 처음이다. 한 부사장은 "젠슨 황 CEO가 우리 부스에 들러줘서 고맙고, 만나지 못해 아쉽다"라며 "삼성 HBM3E에 승인 도장(stamp of approval)을 찍어줘 기쁘다. 삼성 반도체와 엔비디아의 다음 행보가 기대된다"고 전했다. 특이 황 CEO의 삼성전자 부스 방문은 앞서 19일(현지시간) 엔비디아 GTC 2024 글로벌 미디어 행사에서 "우리는 지금 삼성전자의 HBM을 테스트(qualifying)하고 있으며, 기대가 크다"고 발언한 직후여서 업계의 관심이 쏠린다. HBM은 여러 개 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 대폭 끌어올린 고성능 제품이다. HBM은 1세대(HBM)·2세대(HBM2)·3세대(HBM2E)에 이어 4세대(HBM3) 제품이 공급되고 있으며, 올해부터 5세대(HBM3E) 양산이 시작된다. HBM3E는 HBM3의 확장 버전이다. 엔비디아는 AI 반도체로 사용되는 그래픽처리장치(GPU) 시장에서 80% 점유율로 사실상을 독점체제를 구축하고 있기에, HBM 시장에서 핵심 고객사다. SK하이닉스가 HBM 시장에서 점유율 1위를 차지한 데는 지난해 엔비디아에 HBM3을 독점 공급한 영향이 크다. 최근 엔비디아가 공급망 관리를 위해 HBM3E 탑재부터 공급망을 다변화하기로 결정하면서 삼성전자는 HBM3E 물량을 확보하기 위해 적극적으로 나서고 있다. 삼성전자의 12단 HBM3E는 24기가비트(Gb) D램 칩을 실리콘 관통 전극(TSV) 기술로 12단까지 적층해 업계 최대인 36기가바이트(GB) 용량을 구현한 제품이다. 삼성전자는 지난달 27일 12단 HBM3E 샘플을 고객사(엔비디아 포함)에 공급했다고 공식 발표한 바 있다. 삼성전자는 이 제품을 상반기 양산할 예정이다. HBM 시장 경쟁은 가열되고 있다. SK하이닉스는 GTC 2024 전시 부스에서 12단 HBM3E를 전시했으며, 행사 첫날인 지난 18일 업계 최초로 8단 HBM3E 양산을 시작했다고 공식적으로 알리며 시장 우위를 강조했다. 업계에 따르면 SK하이닉스 또한 최근 엔비디아에 12단 HBM3E 샘플을 공급한 것으로 알려져 있다. 또 미국 마이크론도 지난달 HBM3E 양산을 시작했다고 밝히며 경쟁에 뛰어들었다. HBM 시장에서 후발주자인 미국 마이크론은 HBM3 양산을 건너뛰고 HBM3E 대량 생산체제를 갖추면서 삼성전자, SK하이닉스와 전면 경쟁에 돌입했다. 경계현 삼성전자 DS 부문장(사장)은 전날(20일) 삼성전자 정기 주주총회에서 HBM이 한발 늦었다는 지적에 대해 "앞으로 다시는 그런 일이 생기지 않도록 더 잘 준비하고 있다"며 "12단을 쌓은 HBM을 기반으로 HBM3와 HBM3E 시장의 주도권을 찾을 것"이라고 밝혔다. 한편, 시장조사업체 트렌드포스는 지난 13일 "삼성전자는 이미 HBM3에서 상당한 진전을 이뤘다"라며 "HBM3E 검증이 곧 완료될 것으로 예상되며, 연말까지 SK하이닉스와의 시장 점유율 격차를 크게 줄여 HBM 시장의 경쟁 구도를 재편할 태세다"고 진단했다.

2024.03.21 15:54이나리

스노우플레이크, 엔비디아와 풀스택 AI 플랫폼 제공

스노우플레이크는 엔비디아와 파트너십을 강화해 풀스택 AI 플랫폼을 제공한다고 21일 발표했다. 인공지능(AI)을 활용해 기업 고객의 생산성을 높일 수 있도록 지원하는 것으로, 스노우플레이크의 데이터 기반과 안정성 높은 데이터 클라우드의 AI 기술을 풀스택 엔비디아 가속 플랫폼에 결합할 수 있게 된다. 양사는 AI의 생산성과 비즈니스 속도를 높이고 여러 산업군에 걸쳐 새로운 비즈니스 기회를 확대하도록 설계된 인프라와 컴퓨팅 기술을 결합해 안전하고 강력한 기능을 제공한다. 지난해 6월 스노우플레이크와 엔비디아가 엔비디아 네모 통합 기능을 확대한다고 발표했다.. 강화된 파트너십에서 스노우플레이크는 자사 플랫폼에서 데이터 보안, 개인정보보호 및 거버넌스를 원활하게 유지하면서 직접 엔비디아의 네모 리트리버를 활용할 수 있게 된다. 네모 리트리버는 기업이 맞춤형 LLM을 기업 데이터에 연결할 수 있는 생성형 AI 마이크로 서비스다. 이를 기반으로 챗봇 애플리케이션의 성능과 확장성을 개선하고 스노우플레이크 코텍스(프리뷰 공개)로 AI 애플리케이션을 구축한 400개 이상의 기업이 보다 빠르게 비즈니스 가치를 실현할 수 있도록 지원한다. 또한 딥 러닝 추론 애플리케이션에 짧은 지연 시간과 높은 처리량을 제공하는 엔비디아 텐서RT를 활용할 수 있어 기업 고객의 LLM 기반 검색 기능이 향상될 것으로 기대된다. SQL 사용자는 스노우플레이크 코텍스 LLM 기능을 통해 소규모 LLM을 활용해 감정 분석, 번역 및 요약 등의 특정 작업을 몇 초 만에 비용 효율적으로 처리할 수 있다. 미스트랄AI, 메타 등의 고성능 모델을 활용한 AI 애플리케이션의 개발에도 적용할 수 있다. 스노우플레이크의 새로운 LLM 기반 어시스턴트로, 자연어를 통해 스노우플레이크의 코딩 작업에 생성형 AI를 적용한다. 사용자들이 대화 형식으로 질문하면 관련 테이블을 활용해 SQL 쿼리를 작성해 주며 쿼리를 개선하고 인사이트를 필터링하는 등의 작업을 수행할 수 있다. 도큐먼트 AI는 기업들이 LLM을 사용해 문서에서 청구 금액 또는 계약 약관 등의 내용을 쉽게 추출하고 시각화 인터페이스와 자연어를 사용해 결과를 섬세하게 조정할 수 있도록 지원한다. 고객사는 도큐먼트 AI를 사용해 수작업으로 인한 오류를 줄이고 자동 문서 처리를 통해 효율성을 강화한다. 슈리다 라마스워미 스노우플레이크 CEO는 “데이터는 AI의 원동력으로, 효과적인 AI 전략 수립에 매우 중요하다”며 “스노우플레이크는 엔비디아와 협력으로 신뢰할 수 있는 기업 데이터를 위한 안전하고 확장 가능하며 사용이 용이한 플랫폼을 제공하게 됐다”고 밝혔다. 그는 “특히 기술 전문성에 상관없이 모든 사용자가 AI를 사용할 수 있게 해 누구나 AI 기술 혜택을 얻도록 지원한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “기업 데이터는 비즈니스 인텔리전스를 확보할 수 있는 커스터마이징 AI 애플리케이션의 근간”이라며 “엔비디아 가속 컴퓨팅 및 소프트웨어를 스노우플레이크의 데이터 플랫폼에 적용함으로써 고객이 기업 전용의 생성형 AI 애플리케이션을 구축, 배포 및 관리할 수 있게 된다”고 강조했다.

2024.03.21 09:39김우용

데이터브릭스-엔비디아, 기술 통합 강화

데이터브릭스는 엔비디아와 협력을 확대하고 기술 통합을 강화한다고 21일 밝혔다. 엔비디아 GTC 2024 컨퍼런스에서 양사는 데이터브릭스의 데이터 인텔리전스 플랫폼의 데이터 및 AI 워크로드 최적화에 박차를 가할 계획이라고 강조했다. 이 협력은 최근 엔비디아가 데이터브릭스 시리즈I 투자에 참여한 것의 연장선이다. 데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다. 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다. 데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU를 사용한다. 이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다. 한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다. 데이터브릭스 모자이크 AI 모델 서빙의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다. 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공하고, 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다. 데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함되어 있다. 사용자는 이러한 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다. 데이터브릭스와 엔비디아는 데이터 인텔리전스 플랫폼의 모멘텀을 강화해 보다 다양한 조직이 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “이번 파트너십 확장으로 엔비디아의 가속 컴퓨팅 및 소프트웨어를 통해 데이터브릭스의 워크로드를 가속화하고 고객에 보다 많은 가치를 제공할 수 있게 돼 기쁘다"며 “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다"고 밝혔다. 그는 "쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산"이라며 “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다"고 강조했다.

2024.03.21 09:35김우용

Prev 21 22 23 24 25 26 27 28 29 30 Next