검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'DGX-A100 GPU'통합검색 결과 입니다. (189건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

'10코어 GPU' M2 아이패드 에어, 알고보니 9코어

애플이 최근 출시한 M2칩 탑재 신형 아이패드 에어의 GPU가 10코어가 아닌 9코어로 확인됐다. IT매체 나인투파이브맥은 3일(현지시간) 애플이 M2 아이패드 에어의 GPU 사양을 10코어로 공개한 이후 9코어 기반이라고 수정했다고 보도했다. 애플 대변인은 "M2 아이패드 에어의 코어 수를 수정하기 위해 애플닷컴을 업데이트하고 있다. M2 아이패드 에어에 대한 성능 주장은 정확하며, 9코어 GPU를 기반으로 한다”고 밝혔다. 애플 웹사이트에는 M2 칩이 "이전 세대보다 약 50% 더 빠르다"며, "특히 25% 더 빠른 그래픽 처리 능력을 갖추고 있다”고 명시돼 있다. 애플은 최근 웹 사이트에서 M2 아이패드 에어의 GPU 사양을 기존 10코어에서 9코어로 수정했다. GPU 외에 다른 M2 칩 사양은 변경되지 않았다. 이전 세대 아이패드 프로에는 10코어 GPU가 탑재됐기 때문에 신형 아이패드 에어에 9코어 GPU가 탑재된 것은 놀라운 일이라고 IT매체 맥루머스는 평했다.

2024.06.04 11:01이정현

엔비디아, AI 가속 위한 차세대 GPU·솔루션 대거 공개

[타이베이(대만)=권봉석 기자] "대만은 컴퓨터와 킥보드를 만든 데 이어 이제 데이터센터를 만든다. 나아가 걸어다니는 컴퓨터(로봇)를 만들 것이다. 이 여정은 엔비디아에도 중요한 여정이다." 2일(이하 현지시간) 대만 타이베이 남서부에 위치한 국립대만대학교 스포츠센터에 모인 청중은 젠슨 황 엔비디아 CEO의 발언에 일제히 환호했다. 이날 엔비디아는 오후 7시부터 9시까지 두 시간동안 진행된 기조연설로 공식 일정보다 이틀 일찍 컴퓨텍스 타이베이 2024(이하 '컴퓨텍스 2024') 막을 올렸다. 최대 4천 200여 명을 수용할 수 있는 행사장에는 시작 3시간 전인 오후 4시부터 대만을 포함해 여러 국가와 지역에서 모인 언론 관계자와 애널리스트, 협력사 등 업계 관계자가 모여 성황을 이뤘다. ■ "CPU가 정체된 사이 GPU는 1천 배 빠른 혁신 달성" 이날 젠슨 황 CEO는 "60여 년 전 IBM 시스템 360으로 시작된 컴퓨팅 혁신은 '무어의 법칙' 정체로 성장 동력을 잃었다. 반면 새롭게 등장한 GPU(그래픽처리장치) 기반 가속 컴퓨팅은 최대 8년만에 연산 성능을 최대 1천 배 끌어올리며 혁신을 주도하고 있다"고 강조했다. 그는 "GPU 기반 가속 컴퓨팅은 기존 CPU 대비 속도는 100배 높지만 전력 소모는 3배에 그치며 비용 증가는 15%에 불과하다. 1천 달러 PC에 고작 500달러 GPU를 넣어 가능한 혁신을 데이터센터에서 실행한 결과 'AI 팩토리'를 구현했다"고 설명했다. 젠슨 황 CEO는 작년 컴퓨텍스 기조연설에 이어 올해도 "(GPU를) 사면 살수록 돈을 아낀다"는 지론을 강조했다. 그는 "많은 회사가 오늘도 클라우드에서 수억 달러를 들여 데이터를 처리한다. 정확하지 않을 수 있지만 'CEO 계산법'에 따르면 사면 살수록 돈을 아낀다"고 설명했다. ■ 어려운 AI 쉽게 만드는 NIM 공개 이날 엔비디아는 각종 AI 구현에 필요한 소프트웨어를 마치 꾸러미처럼 엮어 도입 난이도를 낮추는 NIM(엔비디아 추론 서비스)를 공개했다. 엔비디아가 다양한 환경에서 사전 검증한 소프트웨어를 지포스 RTX, 암페어 등 쿠다(CUDA)에서 실행할 수 있다. 젠슨 황 CEO는 "상자 안에 담은 AI 소프트웨어와 공통 API를 이용해 필요한 기능을 쉽게 구현할 수 있다. 가장 적합한 구현 사례는 소매업과 의료 등 수십만 개의 서비스에서 활약하는 고객지원 담당자이며 LLM(거대언어모델)과 AI로 이를 구현할 수 있다"고 설명했다. 젠슨 황 CEO는 "미래에는 응용프로그램을 NIM 조합으로 만들 수 있다. 모든 회사가 NIM을 이용하면 굳이 전문가의 힘을 빌지 않아도 필요한 기능을 이야기하면 다양한 기능을 조합해 사람처럼 작동할 것이다. 이것이 우리의 미래다"라고 예측했다. ■ "블루필드 DPU 기반 스펙트럼X 이더넷, 데이터센터 효율 ↑" 엔비디아는 서버용 GPU를 모아 만든 거대한 데이터센터가 외부에서 하나의 거대한 GPU로 쓰일 수 있다고 설명한다. 그러나 이런 구상을 해결하기 위해서는 인간 두뇌 신경망처럼 데이터를 쉽게 주고 받을 수 있는 고속 데이터 전송이 필요하다. 젠슨 황 CEO는 "데이터를 무조건 순차적으로 전송하는 이더넷은 데이터 정체(congestion)가 일어나면 같은 데이터센터에서 실행되는 다른 AI 모델까지 정체시킨다. 50억 달러 규모 데이터센터에서 이용률이 떨어지면 60억 달러 규모 데이터센터와 다름 없을 정도로 가격 대비 연산 성능을 떨어뜨린다"고 설명했다. 이어 "스펙트럼X 이더넷은 데이터 전송 속도를 재구성해 정체 현상을 최소화하는 블루필드 DPU(데이터처리장치)를 탑재했다. 차기 모델인 스펙트럼 X800은 수천 개, X1600은 수백만 개 규모 GPU로 움직이는 데이터센터를 실현할 것"이라고 강조했다. ■ "올해 '블랙웰' 시작으로 매년 새 GPU 출시" 엔비디아는 지난 3월 중순 GTC 2024 기조연설을 통해 내년 출시할 차세대 서버용 GPU '블랙웰'을 공개한 바 있다. 블랙웰 GPU는 대만 TSMC의 4나노급 공정(4NP)으로 만든 반도체 다이(Die) 두 개를 연결해 만든 칩이며 2천80억 개의 트랜지스터를 집적했다. 다이 두 개는 초당 10TB(테라바이트)의 데이터를 주고 받으며 하나의 칩처럼 작동한다. 이날 젠슨 황 CEO는 "GTC 2024에서 공개한 블랙웰은 개발 단계 제품이며 현재는 블랙웰이 순조롭게 양산에 들어갔다"며 실제 제품을 공개했다. 이어 "블랙웰의 성능을 개선한 '블랙웰 울트라'를 오는 2025년, 내부 구조를 완벽히 새로 설계한 새 GPU '루빈'(Rubin)을 2026년 출시하는 등 1년 단위로 새 서버용 GPU를 출시하겠다"고 덧붙였다.

2024.06.03 01:29권봉석

TSMC, 첨단 패키징 생산능력 내년까지 폭증…수요 절반이 엔비디아

대만 주요 파운드리 TSMC의 최첨단 패키징 생산능력이 첨단 AI 반도체 호황으로 내년까지 큰 성장세를 나타낼 것으로 예상된다. 31일 시장조사업체 트렌드포스에 따르면 TSMC의 CoWoS 생산능력은 올해 150%, 내년 70% 이상 증가할 전망이다. CoWoS는 TSMC가 자체 개발한 2.5D 패키징이다. 칩과 기판 사이에 인터포저라는 얇은 막을 삽입해, 패키징 면적을 줄이고 칩 간 연결성을 높인 것이 특징이다. 현재 CoWoS와 같은 2.5D 패키징이 가장 각광받는 산업은 AI다. AI 가속기에는 고성능 시스템반도체와 HBM(고대역폭메모리)를 함께 집적해야 하는데, 여기에 2.5D 패키징이 쓰인다. 트렌드포스는 "엔비디아 블랙웰 플랫폼의 칩 다이(Die) 크기는 이전 세대 대비 2배"라며 "블랙웰이 주력 제품으로 떠오르면서 엔비디아가 TSMC의 CoWoS 수요의 거의 절반을 차지할 것"이라고 밝혔다. 블랙웰은 TSMC의 4나노 공정 기반의 최신형 고성능 GPU다. 반도체 다이 2개를 연결해 2천80억 개의 트랜지스터를 집적했다. 블랙웰은 올해 3분기 출시를 시작해 4분기부터 본격적으로 출하량이 확대될 것으로 예상된다. HBM 시장 역시 올해 큰 변곡점을 앞두고 있다. 현재 엔비디아 GPU 시리즈의 주류인 H100은 주로 80GB(기가바이트)의 HBM3(4세대 HBM)을 탑재한다. 반면 블랙웰은 288GB의 HBM3E(5세대 HBM)을 채택해, 용량을 이전 대비 3~4배가량 늘렸다. 트렌드포스는 "삼성전자, SK하이닉스, 마이크론 등 주요 메모리3사의 계획에 따르면 HBM 생산량은 내년까지 2배로 늘어날 것으로 예상된다"고 설명했다.

2024.05.31 09:04장경윤

Arm, 3나노 공정 검증 마친 클라이언트용 'Arm CSS' 발표

Arm이 AI 산업을 위한 컴퓨팅 서브시스템(CSS) 및 소프트웨어를 공개했다. 신규 CSS는 최선단 파운드리인 3나노미터(nm) 공정 검증을 거쳐, 현재 양산 준비를 마무리했다. Arm은 30일 온라인 기자간담회를 열고 선도적인 AI 기반 경험을 제공하는 클라이언트용 Arm 컴퓨팅 서브시스템을 발표했다. 클라이언트용 Arm CSS는 플래그십 모바일 시스텝온칩(SoC)를 위한 기본 컴퓨팅 요소를 제공한다. 또한 최신 Armv9 CPU, Immortalis GPU, 3nm(나노미터)에서 생산 가능한 CPU 및 GPU용 물리적 구현과 최신 Corelink 시스템 메모리 관리 유닛(SMMU)을 특징으로 한다. 이번 행사에서 Arm은 소프트웨어 개발자가 Arm CPU에서 가능한 최고의 성능을 원활하게 이용할 수 있도록 지원하는 Arm 클레이디(Kleidi)도 함께 공개했다. Arm Kleidi에는 AI 워크로드를 위한 KleidiAI와 컴퓨터 비전 애플리케이션을 위한 KleidiCV가 포함된다. 클라이언트용 Arm CSS는 30% 이상 향상된 컴퓨팅 및 그래픽 성능을 통해 광범위한 AI, 머신러닝 및 컴퓨터 비전(CV) 워크로드를 위한 59%의 더 빠른 AI 추론을 제공한다. 클라이언트용 CSS의 핵심은 성능과 전력 효율을 극대화하기 위한 Arm의 역대 최고 성능, 효율, 다용도 CPU 클러스터다. 새롭게 출시된 Arm Cortex-X925는 Cortex-X 역사상 전년 대비 가장 높은 성능 향상을 제공한다. 최첨단 3나노미터(nm) 공정을 활용할 경우, 2023년 탑재된 플래그십 스마트폰용 4nm SoC 대비 단일 스레드 성능을 36% 높일 수 있다. AI 기능에서는 41%의 성능 향상을 제공해 LLM(대규모 언어 모델)과 같은 온디바이스 생성 AI의 응답성을 크게 개선한다. 또한 Cortex-A725 CPU는 AI 및 모바일 게임 분야에서 35%의 성능 향상을 제공한다. 이는 최신 Armv9 CPU 클러스터를 채택하는 소비자 기기를 위해 전력 효율성과 확장성을 개선한 Arm Cortex-A520 CPU와 업데이트된 DSU-120에 의해 지원된다. 현재까지 최고의 성능과 효율성을 갖춘 GPU인 Arm Immortalis-G925는 광범위한 주요 모바일 게임 애플리케이션에서 37% 더 높은 성능을 제공하며, 여러 AI 및 머신러닝 네트워크에서 측정할 경우 34% 더 높은 성능을 제공한다. Immortalis-G925는 플래그십 스마트폰 시장을 위해 출시된 반면, 확장성이 뛰어난 새로운 GPU 제품군인 Arm Mali-G725 및 Mali-G625 GPU는 프리미엄 모바일 핸드셋부터 스마트워치 및 XR 웨어러블에 이르기까지 광범위한 소비자 기기 시장을 대상으로 한다. 한편 Arm은 전 세계 수백만 명의 개발자가 차세대 AI 지원 애플리케이션을 개발하는 데 필요한 성능, 툴 및 소프트웨어 라이브러리에 지원하는 데 전념하고 있다. 개발자들이 이러한 혁신을 최고의 성능으로 빠르게 구현할 수 있도록 Arm은 AI 워크로드를 위한 KleidiAI와 컴퓨터 비전 애플리케이션을 위한 KleidiCV를 포함하는 Arm Kleidi를 출시한다. KleidiAI는 AI 프레임워크 개발자를 위한 컴퓨팅 커널 세트로, NEON, SVE2 및 SME2와 같은 주요 Arm 아키텍처 기능을 지원해 다양한 디바이스에서 Arm CPU에서 설정 가능한 최고의 성능을 원활하게 이용할 수 있도록 한다. KleidiAI는 파이토치(PyTorch), 텐서플로우(Tensorflow), 미디어파이프(MediaPipe) 및 메타 라마 3(Meta Llama 3)와 같은 인기 있는 AI 프레임워크와 통합되며, 이후 Arm이 새롭게 출시할 추가 기술과도 적합하도록 이전 버전과 호환이 가능하다.

2024.05.30 16:30장경윤

델, 엔비디아 블랙웰 GPU 8개 탑재 4U 서버 공개

[라스베이거스(미국)=김우용 기자] 델테크놀로지스가 엔비디아와의 협력을 확대하며, 엔비디아 블랙웰 GPU를 한 랙에 최대 72개 장착할 수 있는 파워엣지 서버 신제품을 공개했다. 단일 서버 크기는 기존 제품대비 3분의2로 줄이면서 더 높은 성능과 대역폭을 제공한다. 델테크놀로지스는 21일(현지시간) 미국 라스베이거스에서 개최한 '델테크놀로지스월드(DTW) 2024' 컨퍼런스에서 '엔비디아 기반 델 AI 팩토리'에 새로운 서버, 엣지, 워크스테이션, 솔루션, 서비스 등을 추가한다고 발표했다. '엔비디아 기반 델 AI 팩토리'는 델의 AI 포트폴리오를 '엔비디아 AI 엔터프라이즈' 소프트웨어 플랫폼과 통합한 오퍼링이다. 엔비디아 텐서 코어 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 패브릭 및 엔비디아 블루필드 DPU 등의 기술을 기반으로 한다. 고객은 필요에 따라 맞춤화된 통합 기능 또는 사전 검증된 전체 스택 솔루션을 구매해 검색증강생성(RAG), 모델 학습 및 추론과 같은 AI 사용 사례에 적용할 수 있다. 신제품 '델 파워엣지 XE9680L'은 기존 모델 대비 더 작은 4U 폼 팩터에 8개의 엔비디아 블랙웰 아키텍처 GPU를 탑재해 높은 성능을 제공한다. 기존 모델인 '델 파워엣지 XE9680'의 경우 6U 크기 제품이었는데, '델 파워엣지 XE9680L'는 4U 크기로 작아졌다. 업계 표준 x86 랙 상에서 엔비디아 GPU를 최고 수준의 집적도를 자랑한다. 기존 모델 대비 노드당 33% 더 높은 GPU 집적도를 제공한다. 20% 더 많은 5세대 PCIe 슬롯을 장착하고, 노스-사우스 네트워크 확장 용량을 2배로 늘렸다. 델 파워엣지 XE9680L서버는 '다이렉트 리퀴드 쿨링' 기술로 CPU 및 GPU의 냉각 용량을 높여 전반적인 효율성을 향상시켰다. 손쉬운 서비스가 가능하도록 설계됐으며, 랙 스케일 구축 및 현장 설치가 용이하게끔 공장에서부터 완벽하게 구성이 완료된 상태로 출하된다. 델은 업계에서 가장 높은 집적도와 에너지 효율의 랙 규모 턴키 솔루션을 공급함으로써 대규모 GPU 가속 구축의 가치 실현 시간을 단축한다. 델과 엔비디아는 향후 단일 랙에서 64개의 GPU를 지원하는 공냉식 설계 또는 단일 랙에서 72개의 엔비디아 블랙웰 GPU를 지원하는 수냉식 서례 등 다양한 옵션을 선보일 예정이다. 델테크놀로지스는 '엔비디아 AI 엔터프라이즈' 소프트웨어의 배포를 자동화하는 엣지 오케스트레이션 플랫폼 '델 네이티브엣지'를 선보였다. 개발자와 IT 운영자는 이를 이용해 엣지에 AI 애플리케이션 및 솔루션을 손쉽게 구축할 수 있다. 제조업이나 유통업계의 다양한 기업들이 엔비디아 메트로폴리스 영상 분석, 엔비디아 리바 음성 및 번역 기능, 엔비디아 NIM 추론 마이크로서비스를 포함한 새로운 델 네이티브엣지 블루프린트를 통해 빠르고 정확하게 엣지 데이터를 분석할 수 있다. 마이클 델 델테크놀로지스 회장은 “전세계가 AI를 활용하기 위해 빠르게 움직이고 있으며, 이것이 바로 엔비디아와 긴밀하게 협력하는 중요한 이유"라며 "엔비디아 기반 델 AI 팩토리 포트폴리오의 확장은 양사 공동의 사명을 이어가는 것으로, 더 많은 기업과 기관들이 AI를 보다 손쉽게 구축하여 과감하게 차세대 기술에 도전할 수 있도록 하는 것을 목표로 한다”고 밝혔다. 젠슨 황 엔비디아 CEO는 "생성형 AI는 새로운 유형의 컴퓨팅 인프라, 즉 인텔리전스를 생성하는 AI 팩토리를 필요로 한다"며 "엔비디아와 델은 함께 협력해 전세계 다양한 산업군에 컴퓨팅, 네트워킹, 소프트웨어를 포함한 풀스택 오퍼링을 제공해 코파일럿, 코딩 어시스턴트, 가상 고객 서비스 에이전트, 산업용 디지털 트윈 등을 구축할 수 있도록 지원할 계획"이라고 강조했다. DTW 2024 첫째날 기조연설에서 마이클 델 회장이 델 파워엣지 XE9680L을 소개하자, 젠슨 황 CEO는 “그런 말로 나를 유혹하지 마라”며 “랙에 72개의 블랙웰이 있다니 그것은 나를 매우 흥분하게 만든다”며 환하게 웃었다. 한편, 새롭게 공개된 '디지털 어시스턴트를 위한 델 생성형 AI 솔루션'은 델과 엔비디아의 풀스택 솔루션을 기본으로 사용자가 개인화된 셀프서비스를 경험할 수 있게끔 디지털 어시스턴트의 빠른 구축을 돕는다. 함께 발표된 '디지털 어시스턴트를 위한 구축 서비스'는 디지털 어시스턴트 솔루션을 설계, 계획, 구현, 테스트 및 확장할 수 있도록 지원한다. 양사 공동 엔지니어링을 통해 설계된 풀스택 자동화 솔루션인 '엔비디아 기반 델 AI 팩토리'는 다양한 활용 사례에 대한 AI 환경을 빠르게 구축할 수 있게끔 돕는다. 가치 실현 시간을 최대 85% 앞당기며, 엔비디아 추론 마이크로서비스(NIM)'와 함께 사용할 경우 딜리버리에서 추론 작업 실행에 걸리는 전체 시간을 획기적으로 단축한다. '프리시전 AI 워크스테이션 기반 RAG를 위한 델 가속기 서비스'는 AI 개발 주기를 단축하고 AI 애플리케이션 성능을 향상시킨다. 엔비디아 AI 워크벤치 툴킷을 탑재한 델 프리시전 워크스테이션 기반 RAG를 통해 맞춤형 대규모 언어모델을 활용함으로써 안전한 환경에서 신속한 프로토타이핑이 가능하다. '델 파워엣지 XE9680L' 서버는 올해 하반기 중 출시될 예정이다. '델 네이티브엣지'의 엔비디아 지원은 하반기를 시작으로 순차적으로 제공된다. '디지털 어시스턴트를 위한 델 생성형 AI 솔루션' 및 '디지털 어시스턴트를 위한 구현 서비스'는 현재 북미 지역에 한해 제공되고 있다. '프리시전 AI 워크스테이션 기반 RAG를 위한 델 가속 서비스'는 북미, EMEA, 아태지역의 일부 국가에 한해 하반기 중 출시될 예정이다. 제프 클라크 델테크놀로지스 제품 및 운영부문 부사장은 DTW 2024 둘째날 기조연설에서 “기존의 데이터센터 아키텍처는 생성에이아이 워크로드에 적합하지 않다는게 자명해졌다”며 “파워엣지 XE9680L은 한 랙에서 72개 블랙웰 GPU를 탑재할 수 있는데, 이 GPU는 수천, 수만개로 늘어날 수 있다”고 말했다. 그는 “옛 시스템에서 벗어나 완전히 다른 방식으로 구축하고 생성형 AI 워크로드에 맞춰 최적화하면서 발전해 나가야 한다”고 덧붙였다.

2024.05.22 07:45김우용

TSMC "HBM4부터 로직다이 직접 제조"…삼성과 주도권 경쟁 예고

TSMC가 6세대 고대역폭메모리(HBM4)부터 그동안 메모리 영역이었던 로직(베이스) 다이 제조에 직접 나선다고 선언하면서 향후 HBM 시장에 주도권 변화가 예고된다. 앞서 지난 4월 SK하이닉스는 TSMC와 HBM4 공동 개발을 공식 발표한 바 있어 양사의 동맹이 주목되고 있는 상황이다. 반면 메모리와 파운드리 사업을 모두 관장하는 삼성전자는 토탈 패키징 솔루션을 앞세워 경쟁력을 강화한다는 방침이다. AI 시대 HBM 시장이 확대되고 있는 가운데 칩설계, 메모리, 파운드리 업계의 주도권 경쟁이 더욱 심화될 수 있음을 시사하는 대목이다. ■ TSMC, 12나노·5나노 로직다이 직접 생산 대만 파운드리 업체 TSMC는 지난 14일 네덜란드 암스테르담에서 열린 'TSMC 유럽 기술 심포지엄' 행사에서 HBM4에 12나노미터(mn·10억분의 1m)급과 5나노급 로직(베이스) 다이를 사용하겠다고 밝혔다. HBM은 여러 개 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 대폭 끌어올린 고성능 제품이다. 시장에 출시된 5세대 HBM(HBM3E)까지는 D램과 베이스 다이를 SK하이닉스와 같은 메모리 업체가 생산하고, TSMC는 이를 받아 기판 위에 GPU(그래픽처리장치)와 나란히 패키징(조립)한 후 엔비디아에 공급해 왔다. 베이스 다이는 GPU와 연결돼 HBM을 컨트롤하는 역할을 수행한다. 그러나 내년 양산 예정인 HBM4부터는 TSMC가 12나노 또는 5나노급 로직 다이를 활용해 직접 만든다. TSMC는 이 작업을 위해 N12FFC+(12나노)와 N5(5나노) 프로세스의 변형을 사용할 계획이다. 현재 SK하이닉스, 마이크론 등은 메모리 팹이 고급 로직 다이를 생산할 수 있는 장비를 갖추고 있지 않기 때문에 TSMC는 HBM4 제조 프로세스에서 유리한 위치를 차지할 것으로 기대하고 있다. TSMC의 설계 및 기술 플랫폼 수석 이사는 "우리는 HBM4 풀 스택과 고급 노드 통합을 위해 주요 HBM 메모리 파트너와 협력하고 있다"고 전했다. TSMC에 따르면 12FFC+ 프로세스는 스택당 대역폭이 2TB/초가 넘는 12단(48GB) 및 16단(64GB)을 구축할 수 있어 HBM4 성능을 달성하는데 적합하다. N5로 제작된 베이스 다이는 훨씬 더 많은 로직을 포함하고 전력을 덜 소비하므로 더 많은 메모리 대역폭을 요구하는 AI 및 HPC(고성능컴퓨팅)에 유용할 전망이다. HBM4는 더 많은 메모리 용량을 수용하기 위해 현재 사용되는 기술보다 더 발전된 패키징 방법을 채택해야 한다. 이에 TSMC는 자사 첨단 패키징 기술인 'CoWoS' 기술을 업그레이드 중이라고 밝혔다. CoWoS는 칩을 서로 쌓아서 처리 능력을 높이는 동시에 공간을 절약하고 전력 소비를 줄이는 2.5D 패키지 기술이다. TSMC는 "HBM4를 위해 CoWoS-L과 CoWoS-R을 최적화하고 있다"라며 "CoWoS-L과 CoWoS-R 모두 8개 이상의 레이어를 사용하고, 신호 무결성으로 2000개가 넘는 상호 연결의 HBM4 라우팅을 가능하게 한다"고 설명했다. ■ 삼성전자, 메모리-파운드리 토탈 솔루션 강점 앞세워 삼성전자는 첨단 공정 파운드리와 메모리 사업을 동시에 공급하는 맞춤형 토탈 솔루션을 강점으로 내세우고 있다. 메모리에서 HBM을 만든 다음 자체 파운드리 팹에서 패키징까지 모두 가능하다는 의미다. 반도체(DS) 부문 미주지역을 총괄하는 한진만 DSA 부사장은 올 초 기자들을 만나 “최근 고객사들은 파운드리 로직 공정에 자신의 IP나 새로운 IP를 넣어서 기존 메모리와 다른 맞춤형(커스터마이징) 솔루션을 만들고 싶다는 요구를 많이 한다”라며 “이것이 진정한 메모리와 파운드리의 시너지다”고 강조했다. 현재까지 파운드리 시장에서는 AI 반도체 1위 엔비디아 물량을 차지한 TSMC가 앞서 나가고 있다. 또 엔비디아에 HBM3에 이어 HBM3E까지 공급을 확정한 SK하이닉스 또한 HBM 시장 1위를 차지한다. 엔비디아가 거래처 다변화를 추진함에 따라 삼성전자와 마이크론도 HBM을 공급할 가능성이 열려 있다. 반도체 업계 관계자는 "SK하이닉스의 HBM이 각광받는 이유는 품질이 좋은 것도 있지만, TSMC와 밀접한 협력 관계도 영향을 줬을 것"이라며 “TSMC가 HBM4 로직 다이에서 파운드리 경쟁사인 삼성전자와 협력하는 것이 쉽지 않아 보인다. 삼성전자는 HBM을 두고 메모리와 파운드리 두 부분에서 경쟁해야 하는 상황이 됐다”고 말했다.

2024.05.21 09:09이나리

삼성SDS 황성우 "델 덕에 10만명에게 생성형 AI 제공"

[라스베이거스(미국)=김우용 기자] "작년 GPU 서버가 부족했을 때 마이클 델이 구원자였다. 그의 도움 덕분에 이미 생성형 AI 서비스를 고객사에 제공하고 있고, 사용자가 10만명을 넘었다. 삼성SDS는 사용자에게 빠르고 저렴하게 서비스를 제공하기 위해 많은 기술적 노력을 기울였고, 델 파워엣지 서버는 그 과정에서 큰 역할을 했다." 황성우 삼성SDS 대표는 20일(현지시간) 미국 라스베이거스에서 개최된 '델테크놀로지스월드 2024' 컨퍼런스 첫날 기조연설 무대에 올라 이같이 밝혔다. 황성우 대표는 "기업 사용자는 LLM에 질문할 때 긴 응답 시간을 견딜 수 없고, 기업은 최상의 솔루션에 많은 비용을 지불하고 싶어하지 않는다"며 "엔비디아와 파트너십을 기반으로 출범한 델 AI 팩토리는 강력한 데이터 보안과 맞춤형 AI 서비스 개발을 통해 기업의 AI 주권 확립에 기여할 것으로 기대된다"고 말했다. 삼성SDS는 올해 기업용 생성형 AI 도구인 '브리티 코파일럿(Brity co-pilot)'과 자연어 인터페이스 앱을 클라우드에 쉽게 올리게 하는 PaaS '패브릭스(FabriX)'를 선보였다. 작년초부터 촉발된 생성형 AI 트렌드로 많은 기업이 앞다퉈 대규모언어모델(LLM) 구축과 활용에 나섰다. 하지만, LLM 학습과 추론에 필수 인프라인 엔비디아 GPU 공급 부족 상황이 심화됐고, 기업은 GPU를 확보하지 못해 LLM 활용에 애를 먹었다. 삼성SDS는 델테크놀로지스의 GPU 서버를 적정 시기에 공급받아 타사 대비 이른 시점에 생성형 AI 서비스를 구축할 수 있었다. 델테크놀로지스 파워엣지 XE9680 서버는 8개 엔비디아 GPU를 탑재할 수 있는 AI 최적화 서버다. 각 기업의 온프레미스 생성형 AI 환경에 공급되며 큰 인기를 누렸다. 델테크놀로지스 회계연도 2024년 4분기동안 AI 서버 매출은 8억달러에 달했다. 황 대표는 "제조는 표준화돼 있고, 상당 부분 역할에 따라 자동화할 수 있지만, 사무는 인간의 언어를 기반으로 하기에 자동화하기 어려웠다"며 "LLM은 인간의 언어와 의도를 잘 이해하기 때문에 사무 자동화에 큰 도움일 될 것"이라고 밝혔다. 그는 "나는 이를 하이퍼 오토메이션이라고 부른다"며 "삼성SDS는 언어별로 서비스와 솔루션을 자동화할 수 있는 방법을 찾으려 노력해왔다"고 강조했다. 삼성SDS는 생성형 AI를 온프레미스에 구축했다. 이에 대해 황 대표는 "기업 고객은 LLM을 사용한 하이퍼 오토메이션에 큰 관심을 갖고 있지만, 자세한 내부 정보를 LLM에 요청해야 하고, LLM이 회사의 핵심 데이터를 참조하도록 해야 해서 보안 우려를 갖고 있다"며 "기업 고객에게 사이트에서 작동하는 모델을 제공하는 것이 중요해졌다"고 설명했다. 그는 미래의 모든 컴퓨터가 자연어를 활용하게 될 것으로 전망했다. 그는 "미래의 모든 컴퓨터는 언어 인터페이스로 앱과 솔루션을 쉽게 업로드하고 실행할 수 있도록 설계될 것이고, 어쩌면 GPU 중심 컴퓨터 세계가 올지도 모른다"며 "고객이 언어 인터페이스를 통해 쉽고 저렴한 서비스를 받을 수 있도록 삼성 클라우드 플랫폼을 변화시키려고 노력할 것"이라고 밝혔다.

2024.05.21 07:31김우용

인텔, 데이터센터 GPU 맥스 단종 절차 돌입

인텔이 2022년 11월 출시한 '데이터센터 GPU 맥스'(폰테베키오) 단종 절차에 들어갔다. 데이터센터와 슈퍼컴퓨터 등 기존 도입 계약을 맺은 고객사에는 계속 공급하지만 신규 수요처는 찾지 않을 방침이다. 데이터센터 GPU 맥스는 인텔이 자체 개발한 Xe 그래픽코어 128개와 최대 128GB HBM2e, 408MB 람보 L2 캐시 등을 EMIB과 포베로스(FOVEROS) 패키징 기술로 결합한 서버용 GPU다. 2019년 첫 구상도가 등장했고 2021년 팻 겔싱어 CEO가 시제품을 처음 소개했다. 2022년 11월에는 개발명 '폰테베키오' 대신 '데이터센터 GPU 맥스'라는 이름을 얻어 정식 출시됐다. 데이터센터 GPU 맥스의 가장 큰 수요처는 인텔과 HPE가 지난 해 6월 미국 아르곤 국립연구소에 구축한 슈퍼컴퓨터 '오로라'(Aurora)이며 총 6만 3천744개를 탑재했다. 미국 서버 전문매체 서버더홈은 14일(미국 현지시간) 서버 제조사와 인텔 관계자를 인용해 "데이터센터 GPU 맥스는 기존 고객사에 계속해서 공급되지만 신규 수요처는 찾지 않을 방침"이라고 밝혔다. 인텔은 데이터센터 GPU 맥스 후속 제품인 '리알토 브리지'(Rialto Bridge) 출시 계획을 지난 해 3월 취소했다. 대신 내년 후속 제품인 GPU 기반 가속기 '팰콘 쇼어'(Falcon Shore)를 내년 출시 예정이다.

2024.05.15 09:04권봉석

한국IDC "올해 국내 서버 시장 GPU 공급확대로 성장 전환"

한국IDC는 최근 발간한 '국내 엔터프라이즈 인프라스트럭처 서버 컴핏 보고서'에서 국내 서버 시장이 향후 5년간 연평균 성장률(CAGR) 9.9%를 기록하며 2028년 4조7천246억원의 매출 규모를 형성할 것이라고 30일 밝혔다. 국내 서버 시장은 주요 GPU 제조사의 공급이 회복되며 2024년부터 성장세로 전환할 것으로 분석됐다. IDC 보고서에 따르면 작년 국내 서버 시장 매출 규모는 전년 대비 5.1% 감소한 2조9천521억원으로 나타났다. 신규 데이터센터 증가에도 불구하고 서버 증설 물량이 기대에 미치지 못한 점이 시장 감소의 주요 원인으로 꼽힌다. 2022년말부터 생성형AI 시장의 가파른 성장으로 인해 기업 IT예산이 GPU 서버에 집중되며 기존 데이터센터 랙서버 물량의 감소, GPU 서버 공급 지연 문제 등의 요인이 시장 하락에 영향을 미친 것으로 분석됐다. 국내 서버 시장은 그간 기업의 디지털화를 지원하는 클라우드가 성장의 동력이었으나 재작년부터 생성형 AI 시장이 급격히 성장하며 시장 판도가 바뀌었다. 작년 정부의 공공 클라우드 전환 사업 예산 삭감으로 투자 방향을 잃은 국내 클라우드 사업자들이 생성형AI를 위한 GPU 서버 확보에 IT투자를 집중하는 추세다. 특히 생성형AI를 구축하기 위해서 많은 데이터의 트레이닝을 위한 8GPU 서버가 선호되며8GPU 서버 공급이 가능한 서버 벤더가 국내 서버 시장을 주도했다. 향후 제조, 통신, 공공, 금융 등 다양한 산업의 GPU서버 도입도 증가하면서 생성형AI 시장의 저변이 확대될 것으로 예상된다. 엔비디아가 서버 GPU를 단독으로 공급하면서 수요가 몰리는 경향이 있었으나, AMD도 서버 GPU를 출시하며 향후 인퍼런싱 단계에서 GPU외에 다른 가속기 수요도 증가할 전망이다. 아직 생성형AI의 초기 단계로 트레이닝을 위한 8GPU 서버의 수요가 빠르게 증가하고 있지만 본격적으로 생성형AI가 상용화되는 시점에서는 인퍼런싱에 대한 수요도 증가하면서 8GPU 서버와 단일 GPU 벤더로 집중되는 현상은 해소될 것으로 예상된다. IDC는 서버를 크게 x86 프로세서를 사용하는 x86서버와 그 외 비x86 서버로 구분하고 있다. 대부분의 플랫폼이 x86 서버 기반으로 전환되면서 국내에서 대략적으로 90% 이상이 x86 서버로 공급되고 있으나 일부 공공 및 금융권에서는 여전히 미션크리티컬 서버로 비x86 서버 기반의 유닉스 시스템이 운영되고 있다. 저전력으로 운영되는 ARM 서버도 글로벌 클라우드 서비스 사업자 중심으로 빠르게 성장하는 추세다. 이런 기조를 바탕으로 국내 비x86 서버 시장의 향후 연평균 성장률은 5.9%를 기록하며 2028년에는 3천866억원의 매출 규모를 형성할 전망이다. 국내 x86 서버 시장 역시 기업의 AI 및 클라우드 등 디지털 전환을 주도하면서 향후 5년간 연평균 성장률은 10.3%로 증가하여 2028년에는 4조3천379억원의 매출 규모를 기록할 것으로 예상된다. 한국IDC에서 엔터프라이즈 인프라 시장 리서치를 담당하고 있는 김민철 수석연구원은 “서버 시장의 경우 아직 생성형AI의 초기 단계지만 GPU 서버에 대한 투자 과열과 늘어나는 GPU는 소비 전력 증가 및 발열 상승으로 이어지고 있다"며 "이는 데이터센터의 운영 비용 증가로 이어져 앞으로 수도권의 추가적인 데이터센터 구축은 점차 힘들어질 것”이라고 설명했다. 그는 "현재 생성형AI는 대부분 LLM 기반으로 운영되고 있으나, 향후에는 이미지, 사운드, 비디오 등 다양한 고용량 데이터가 증가하며 AI기술을 위한 GPU 서버 공급이 더욱 증가할 것"이라고 전망했다.

2024.04.30 09:46김우용

SK하이닉스, TSMC 테크 행사서 'HBM·패키징 협력 관계' 강조

SK하이닉스는 24일(미국시간) 미국 캘리포니아 주 산타클라라에서 열린 'TSMC 2024 테크놀로지 심포지엄'에 참가했다고 25일 밝혔다. SK하이닉스는 이번 행사에서 AI 메모리인 HBM(고대역폭메모리)의 선도적인 경쟁력을 알리고, TSMC의 첨단 패키지 공정인 CoWoS(Chip on Wafer on Substrate) 협업 현황 등을 공개했다. CoWoS는 칩들을 실리콘 기반의 인터포저 위에 올려 한꺼번에 패키징하는 기술이다. TSMC 2024 테크놀로지 심포지엄은 TSMC가 매년 주요 파트너사들을 초청해 각 사의 신제품 및 신기술을 공유하는 자리다. SK하이닉스는 이 행사에서 'Memory, The Power of AI'라는 슬로건을 걸고 업계 최고 성능인 HBM3E를 선보여 많은 관심을 끌었다. 이 제품은 최근 AI 시스템에 탑재해 평가했을 때 I/O(입출력 통로)당 최대 10Gb/s(기가비트/초)의 데이터 전송 속도를 기록하는 등 업계 최고 수준을 보인 것으로 알려졌다. 또한 SK하이닉스는 TSMC와 협력존을 열고 회사가 HBM 리더십을 확보하는 데 CoWoS 분야에서의 협력이 중요했다고 강조하며, 차세대 HBM 등 신기술을 개발하기 위해 양사가 더 긴밀하게 협업해 나갈 계획이라고 밝혔다. 이 밖에도 SK하이닉스는 AI 산업을 지원할 다양한 고성능 제품군을 선보였다. 인터페이스를 하나로 통합한 CXL 메모리, 서버용 메모리 모듈인 MCRDIMM 및 3DS RDIMM, 온디바이스 AI에 최적화된 LPCAMM2 및 LPDDR5T, 그리고 차세대 그래픽 D램인 GDDR7 등 다양한 라인업을 공개했다. 본 행사에 앞서 22일(미국시간) 진행된 워크숍에서는 권언오 SK하이닉스 부사장(HBM PI 담당), 이재식 부사장(PKG Engineering 담당)이 'HBM과 이종 집적 기술' 등에 관해 발표를 진행했다. SK하이닉스는 AI 메모리 선도 경쟁력을 강화하기 위해 기술, 비즈니스, 트렌드 등 다방면에서 파트너와의 협력 관계를 지속해 나간다는 계획이다.

2024.04.25 18:21장경윤

최태원 회장, 젠슨 황 엔비디아 CEO 만나 'AI 파트너십' 논의

최태원 SK그룹 회장이 미국 주요 팹리스 기업인 엔비디아의 젠슨 황 최고경영자(CEO)와 만남을 가졌다. 업계는 두 인사가 AI 반도체 분야에서의 협력 강화 방안을 논의했을 것으로 보고 있다. 최태원 회장은 25일 사회관계망서비스(SNS) 인스타그램에 젠슨 황 엔비디아 CEO와 함께 찍은 사진을 게재했다. 장소는 미국 산타클라라 엔비디아 본사로 추정된다. 사진에서 최 회장과 황 CEO는 함께 엔비디아의 브로슈어에 적힌 황 CEO의 자필 메시지를 보며 대화를 나누는 모습이 담겼다. 황 CEO는 최 회장의 영어 이름인 토니(Tony)를 지칭하며 "AI와 인류의 미래를 함께 만들어가는 파트너십을 위해!"라는 내용의 자필 편지를 전했다. 업계는 두 인사가 이번 만남으로 AI 산업에서의 협력 강화를 모색했을 것으로 관측하고 있다. 엔비디아는 미국 주요 팹리스 기업으로, AI 산업에 필수적으로 활용되고 있는 고성능 GPU(그래픽처리장치) 및 AI 가속기를 개발하고 있다. AI용 반도체 시장에서 엔비디아가 차지하는 점유율은 80% 이상으로 압도적이다. SK하이닉스는 지금까지 엔비디아의 AI반도체에 고대역포메모리(HBM)을 독점 공급하며 주도권을 쥐고 있다. 지난 3월에는 4세대 HBM 제품인 8단 HBM3E를 가장 먼저 공급하면서 양사는 공고한 협력 체계를 유지하고 있다. 한편, 업계에서는 최태원 회장이 HBM 경쟁사인 삼성전자와 마이크론을 의식하고 젠승 황 CEO를 만난 것이란 해석이 나온다. 지난해 SK하이닉스는 엔비디아에 HBM3을 독자 공급해 왔는데, 엔비디아가 HBM3E부터 공급망 다각화에 나서면서 경쟁이 심화되고 있기 때문이다. 앞서 젠승 황 CEO는 지난달 미국 새너제이에서 열린 엔비디아 연례 개발자 콘퍼런스 'GTC 2024'에서 삼성전자 부스를 방문했으며, 전시된 삼성의 12단 HBM3E에 "젠슨 승인(JENSEN APPROVED)"이라고 사인하기도 했다. '승인'에 대한 구체적인 의미는 알려지지 않았지만, 업계에서는 삼성전자가 엔비디아에 HBM3E 공급한다는 기대감이 높아진 상태다.

2024.04.25 18:10장경윤

지코어, 엔비디아 파트너 네트워크 어워드 '산업 혁신기업 부문' 수상

퍼블릭 클라우드, 엣지 컴퓨팅 및 엣지 AI 전문기업 지코어는 '2024 EMEA(유럽·중동·아프리카) 엔비디아 파트너 네트워크 어워드'에서 엔비디아 GPU를 기반으로 한 획기적인 AI 음성-텍스트 변환 솔루션의 성공적인 출시로 '산업 혁신 부문'에서 높은 평가를 받았다고 25일 밝혔다. '엔비디아 파트너 네트워크 어워드'는 가속 컴퓨팅 및 AI 분야에서 변함없는 노력과 혁신 정신을 보여준 파트너의 탁월한 공로를 치하하기 위해 마련된 것으로, 이번에 지코어가 받은 '산업 혁신상'은 특정 산업 분야에서 혁신을 주도한 파트너에게 수여되는 상이다. 지코어는 앞서 AI를 사용해 영어 음성을 룩셈부르크어 텍스트로 변환하는 최초의 AI 음성-텍스트 번역 학습 모델을 선보였다. 이 모델을 사용하면 연극, 영화, 음악 등 다양한 매체에 녹음된 영어 음성 전체를 룩셈부르크어로된 텍스트로 즉시 번역이 가능하고, 이를 영화 자막 등에 활용할 수 있다. 지코어의 이번 음성-텍스트 변환 모델은, 2억 4천400만개의 가중치를 포함하는 오픈 소스 위스퍼(Whisper) 모델의 축소 버전인 '위스퍼스몰(Whisper Small)을 기반으로 구축됐다. 컴퓨팅 학습 리소스에 대한 엄청난 수요를 충족하기 위해 지코어는 엔비디아 A100 텐서 코어 GPU로 구동되는 하이엔드 솔루션을 사용했다. 현재 지코어는 이 솔루션이 컨퍼런스 및 행사에서 사용될 수 있도록 실시간 번역을 활성화하는 모델을 개발하고 있다. 향후에는 영어 외에 프랑스어와 독일어 등의 언어를 추가해 음성의 텍스트 변환 기능을 언어를 초월한 의사소통의 핵심 도구로 만들어 나간다는 계획이다. '음성-텍스트 변환' 모델은 지코어의 최첨단 엣지 AI 솔루션의 일부이며, 엔비디아 GPU를 기반으로 한 AI 학습용 GPU 클라우드 및 엣지에서의 AI 추론을 포함한다. 안드레 레이텐바흐 지코어 CEO는 “지코어의 AI 혁신에 대한 끊임없는 도전이 엔비디아 파트너 네트워크 어워드에서 인정 받게 되어 매우 뜻깊게 생각한다”며 “언어의 종류를 초월해 누구나 보다 원활하고 효율적으로 의사소통 할 수 있도록 지코어는 획기적인 엣지 AI 서비스를 선도하며 새로운 표준을 제시해 나갈 것”이라고 전했다. 엔비디아 EMEA 채널 디렉터인 더크 바푸스는 “AI는 여러 언어를 번역하는 능력을 통해 소통과 연결을 촉진한다”며 “지코어는 엔비디아의 GPU를 기반으로 영어 음성을 룩셈부르크어 텍스트로 번역해 낸 최초의 혁신적 성과를 높게 인정 받은 것”이라고 밝혔다.

2024.04.25 12:36김우용

中, 슈퍼마이크로·델 등 통해 엔비디아 AI칩 '우회 수급'

중국의 대학 및 연구기관이 수입이 금지된 미국 엔비디아의 AI 칩을 리셀링(되팔기) 방식으로 우회 수급했다고 로이터통신이 23일(현지시간) 보도했다. 로이터가 입수한 입찰 문서에 따르면, 10개의 구매자는 미국 슈퍼마이크로, 델, 대만 기가바이트가 제작한 서버 제품에서 엔비디아의 고성능 AI 반도체를 확보했다. 특히 지난해 11월부터 올해 2월 말 사이 진행된 입찰에는 엔비디아의 가장 진보된 칩 중 일부가 포함됐다. 구매자는 중국과학원, 산둥인공지능연구소, 후베이지진관리국, 국영 항공연구센터, 우주과학센터 등이다. 해당 칩들을 되판 기업은 이름이 잘 알려지지 않은 중국 소매업체들로 나타났다. 다만 이 업체들이 미국의 대중(對中) 반도체 수출 규제가 강화되기 전에 확보한 재고를 판매한 것인지는 알려지지 않았다고 로이터통신은 전했다. 앞서 미국은 지난 2022년 9월 엔비디아의 AI 반도체인 A100, H100의 중국 수출을 국가 안보상의 이유로 금지시킨 바 있다. 이후 지난해 10월에는 수출 제한 범위를 A800, H800 등 저사양 제품으로도 확대했다. 이와 관련해 엔비디아 대변인은 "해당 입찰은 수출 규제 이전에 보급돼 널리 사용 가능한 제품"이라며 "이는 협력사 중 어느 누구도 규제를 위반했다는 사실을 나타내지 않으며, 전 세계적으로 판매되는 제품 중 무시할 수 있는 부분"이라고 답변했다.

2024.04.24 09:04장경윤

인텔 "서버·AI PC서 메타 라마3 구동 지원"

인텔은 19일 메타가 공개한 생성 AI LLM(거대언어모델) 라마3(Llama 3)를 제온 프로세서와 가우디 AI 가속기, 코어 울트라 탑재 AI PC 등에서 지원한다고 밝혔다. 메타가 공개한 라마3는 오픈소스 생성 AI 모델이며 데이터셋 중 비영어권 데이터 비중을 5%까지 높였다. 현재 매개변수 80억 개, 700억 개 버전이 선 공개됐다. 매개변수 4천억 개 버전은 현재 데이터셋 훈련중이다. 인텔은 가우디 AI 가속기, 제온/코어 울트라 프로세서와 아크 GPU로 메타가 선공개한 매개변수 80억/700억 개 버전의 구동을 검증했다고 밝혔다. 인텔은 파이토치(PyTorch), 딥스피드, 인텔 옵티멈 하바나 라이브러리, 인텔 파이토치 익스텐션 등 오픈소스 소프트웨어로 수행한 자체 벤치마크 결과도 공개했다. 인텔이 2분기 중 출시할 P코어 제온6 프로세서는 80억 개 모델 추론 구동시 4세대 제온 스케일러블 프로세서 대비 지연 시간을 절반으로 단축했다. 또 700억 개 버전에서 토큰 하나당 지연시간을 0.1초 미만으로 줄였다. 코어 울트라 프로세서는 내장 아크 GPU를 이용해 라마3 구동시 사람이 읽을 수 있는 것보다 더 빠른 속도로 토큰을 생성했다. Xe 행렬곱셈 확장(XMX)을 내장한 아크 A770은 16GB 메모리를 활용해 라마3 처리를 가속한다. 가우디2 AI 가속기는 라마2 3개 모델(70억개, 130억개, 7천억개)에 이어 라마3 모델도 구동했다. 올 하반기 출시될 가우디3 AI 가속기도 라마3를 지원한다. 인텔은 향후 매개변수를 늘리고 성능을 강화한 라마3 모델도 지속 지원할 예정이다.

2024.04.19 10:24권봉석

지코어 "삶을 바꾸는 생성 AI의 위치는 엣지"

“인공지능(AI)이 인류의 미래를 바꿀 것이라 전망되지만, AI가 어떻게 산업에 연결돼 서비스로 다가오고 경제 생활을 만들어낼 지 알 수 없다. 가시적인 변화는 AI가 생산성으로 이어져야 가능할 것이다. 일반인공지능(AGI)도 중요한 문제고 인류의 미래를 바꾸겠지만, 기업의 먹거리와 인류의 삶을 바꾸는 AI는 결국 엣지에서 있을 것이다.” 지코어코리아 김진용 팀장은 지디넷코리아가 17일 서울 인터컨티넨탈코엑스에서 개최한 '제21회 어드밴스드컴퓨팅컨퍼런스플러스(ACC+) 2024' 기조연설에서 이같이 밝혔다. 김진용 팀장은 "생성형 AI는 2년도 안 돼 부풀려진 기대치의 정점을 찍었고, 곧 환멸의 골짜기에 도달할 것으로 보인다”며 “생성형 AI 기업의 운영 비용은 월 100만달러에 달하는 큰 부담을 주고 실질적인 이익을 벌어들이지 못하는 상황이기 때문”이라고 설명했다. 김 팀장은 “현 시점에서 필요한 것은 기존 자산을 잘 조합하고 새로운 아이디어를 고안해내서 새로운 혁신을 이루는 것”이라며 “AI 학습과 추론, 모델을 묶어서 사용자 가까이 있는 디바이스와 안전한 통신으로 연결되는 모든 세트를 갖춰야 한다”고 강조했다. 지코어는 160개 이상의 국가와 지역에 PoP를 운영하고 있다. 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업이라고 스스로를 강조한다. 특히 생성형 AI 학습과 추론에 필요한 전용 인프라를 클라우드 서비스로 제공하고 있다. 최근 지코어코리아는 한국 데이터센터를 개소했다. 품귀현상을 보이는 엔비디아 H100 텐서코어 GPU 서버를 설치했다.지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다. 김진용 팀장은 “생성형 AI의 아키텍처는 기존 엔터프라이즈용 애플리케이션과 달리 서비스 부분에서 많은 자원이 필요하다”며 “지코어는 훈련용과 추론용 인프라로 GPU 자원을 제공하며, 더 특별한 수요에 대응하는 IPU도 제공한다”고 말했다. 지코어의 또 다른 강점은 네트워킹 인프라다. 콘텐츠딜리버리네트워크(CDN)에서 시작한 회사란 장점을 살려 초저지연시간을 보장하는 고속 네트워크를 생성 AI에 제공할 수 있다. 지코어의 클라우드 컴퓨팅은 '서버리스 컴퓨팅'에 기반한다. 거대언어모델(LLM)을 사용할 때 자원 할당을 별도로 하지 않아도 되며, 실제로 모델을 작동시키는 양만큼만 비용을 내면 된다. 그는 “AI는 지연시간에 민감한 서비스기에 지코어는 글로벌 평균 26밀리초의 지연시간을 유지하며, 한국의 경우 한자릿수 밀리초의 지연시간으로 이용할 수 있다”며 “다양한 LLM을 기업이 모두 미리 깔아놓을 수 없으므로 정말 필요할 때 자원과 모델을 곧바로 활용할 수 있도록 서버리스 컴퓨팅으로 제공하고 있다”고 설명했다. 지코어는 중앙의 인프라와 네트워킹에 더해 엣지 단계에서 AI 모델 추론을 수행할 수 있는 환경도 제공한다. '인퍼런스앳더엣지'란 서비스는 160여개 지코어 POP의 캐싱서버에 암페어 알트라맥스와 엔비디아 L40S 칩을 두고 고객의 AI 서비스를 구동할 수 있게 한다. 필요한 LLM도 캐싱해 빠르게 제공할 수 있으며, 유사한 추론을 반복적으로 하게 되는 상황을 감안해 모델응답을 캐시할 수 있다. 김 팀장은 “사용자가 지코어 기잔의 AI 서비스에 접속하면 인퍼런스앳더엣지의 AI 칩으로 다양한 모델을 끌어와 서비스를 돌릴 수 있다”며 “지리적 혹은 정치적 이유에 따른 규제 차이에 맞게 답변과 모델에 차이를 둬야 할 때도 맞춤형으로 대응가능하다”고 말했다. 그는 여기에 '5G 보안 네트워크' 기반으로 생성 AI와 사용자 디바이스를 연결할 수 있다고 했다. 사용자, 기업 등의 데이터가 외부에 유출되지 않도록 제로트러스트 네트워크를 통해 정보를 주고 받을 수 있다. 그는 “어떤 IoT 디바이스든 데이터를 실제 AI 서비스 장소까지 안전하게 전달하는 센서 데이터 보안 확보가 가능하다” 그는 “지코어의 서비스를 통해 '모든 것의 인터넷(IoT)'에서 '모든 것의 AI(AioT)'라 할 수 있게 된다”며 “지코어는 앞으로 AI 시장이 우리 현실 속에 들어온 엣지 디바이스에서 일어날 것으로 생각하며 이를 실현하기 위해 어느 기업보다 먼저 아키텍처를 고안해 선보이고 실제로 잘 움직이도록 잘 조율해 서비스에 녹여왔다”고 강조했다.

2024.04.17 11:53김우용

지코어코리아, 한국에 엔비디아 H100 기반 데이터센터 개소

글로벌 퍼블릭 클라우드, 엣지 컴퓨팅 및 엣지AI 전문기업 지코어는 4일 서울 더플라자호텔에서 기자간담회를 개최하고 엔비디아 H100 기반의 AI 퍼블릭 클라우드 서비스를 한국시장에 출시한다고 밝혔다. 오는 15일 한국에 개소하는 지코어 데이터센터는 AI 학습에서 현존하는 가장 효과적인 GPU로 인정받는 엔비디아 H100 서버 40대를 설치한다. GPU 기준으로 320개다. 그 동안 국내 AI 기업은 AI 모델을 개발하고 학습시키는데 있어 필수적인, 고성능 GPU 확보에 큰 어려움을 겪고 있었다. 이제 한국의 AI 전문기업은 더 이상 대규모의 GPU를 확보하기 위해 수십주를 기다리거나 타국에 위치한 자원을 활용하지 않고, 초고성능 AI 컴퓨팅 자원을 지코어의 엣지 클라우드를 통해 쉽게 활용할 수 있다. 지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다. 유니파이드패브릭매니저(UFM)으로 관리되는 논블로킹 클러스터는 핫 스페어와 콜드 스페어를 각각 구성해 서비스 품질도 GDPR의 기준을 충족한다. 각 서버당 2TB에 달하는 메모리와 112개에 달하는 CPU코어로 대용량 데이터 처리 및 고성능 컴퓨팅 작업 환경을 제공한다. 서버당 12KW에 달하는 전력량 충족, 빠른 네트워크, 안전한 센터 설계 등으로 최상의 서비스 구현이 가능하다. 지코어는 이 서비스를 준비하면서 NHN클라우드와 데이터센터 선정에서부터 한국고객의 수요를 반영한 서비스 구성에 이르기까지 긴밀히 협업했다. NHN클라우드는 한국 AI산업의 역량이 급부상함에 따라 국내 고객들이 원하는 특수한 요구사항을 잘 파악하고 있는 만큼 지코어 서비스를 현지화하고 고객 맞춤형으로 구성하는데 있어서 큰 역할을 했다. NHN클라우드는 지코어의 데이터센터 운영에도 지속적으로 참여할 예정이다. 정현용 지코어코리아 한국지사장은 “한국은 AI 반도체, 시스템, 서비스 등 AI 기술 전반에 걸쳐 세계적으로 엄청난 성장 잠재력을 지니고 있는 국가”라며 “이제 국내 초고속 통신망 내에 위치한 지코어의 데이터센터는 물론, 전세계와 초저지연 네트워크로 상호 연결돼 있는 지코어의 글로벌 엣지 네트워크를 접목해 한국기업들이 글로벌 AI시장에서 선도적인 위치를 선점해 나갈 수 있기를 기대한다”고 말했다. 그는 “국내 AI시장 및 고객에 대한 전문적 이해와 경험을 보유한 NHN클라우드와의 지속적이고 긴밀한 협업을 통해 공공기관은 물론 연구소, 금융 및 제조업계 등을 비롯해 다양한 영역에서 급속히 증가하고 있는 국내 AI 수요에 빠르고 신속하게 대응해 나갈 것”이라고 강조했다. 김동훈 NHN클라우드 대표는 “국내는 물론 글로벌 AI 인프라 시장의 패러다임이 급격히 변화하고 있는 만큼, NHN클라우드는 광주 국가 AI 데이터센터를 포함해 판교 데이터센터(NCC1) 등 자사 데이터센터에 1천 개 이상의 엔비디아 H100으로 구축하는 등 국내 최대 규모 GPU 클러스터를 구축해 나가고 있다”고 밝혔다. 그는 이어 “지코어는 전세계 160개 이상의 PoP를 기반으로 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업으로, 엔비디아의 최신 GPU인 H100을 발빠르게 한국에 도입함으로써 국내 AI 시장의 도약을 위한 새로운 국면을 맞게 한 일등공신”이라며 “NHN클라우드는 지코어와의 파트너십을 통해 국내 AI 인프라 시장의 경쟁력을 강화하고, 글로벌 진출 및 시장 변화에 적극적으로 대응해 나갈 것”이라고 덧붙였다. 이날 기자간담회에 자크 플리스 주한 룩셈부르크 초대 대사 내정자가 참석해 룩셈부르크 소재의 글로벌 IT 기업인 지코어가 한국 기업고객들에게 혁신적인 기술을 전하고 협력 기회를 확대할 수 있기를 기대한다며 축사를 전했다. 지코어는 기업의 AI 도입과정 모든 단계에 도움을 주기 위해 완전 자동화된 AI 인프라, 다양한 관리도구, 안전하고 신뢰할 수 있는 보안체계 등을 갖춘 클라우드 플랫폼 환경을 서비스하고 있다.

2024.04.04 13:45김우용

가비아, AI 기업에 GPU 서비스 57% 할인

가비아(대표 김홍국)는 GPU 서비스를 인공지능(AI) 및 딥러닝 관련 기업에게 최대 57% 할인을 제공한다고 4일 밝혔다. 이 이벤트로 AI 서비스를 개발, 제공 중인 기업은 GPU 서버 및 고전력 랙을 저렴한 가격으로 사용할 수 있게 됐다. 가비아의 GPU 서버호스팅 상품은 자체 GPU 서버가 없는 고객에게 서버를 임대해주는 서비스다. AI 스타트업이나 단기로 GPU 서버가 필요한 고객이 부담 없이 이용할 수 있다. 가비아는 RTX 3080부터 A6000까지 다양한 GPU 제품군을 보유했다. 가비아는 서버호스팅 서비스를 도입하는 고객 모두에게 약정 없이 할인가를 적용하고, 월 2만 원 상당의 GPU 전문 모니터링 서비스를 무상으로 제공할 방침이다. 이미 자체 물리 서버를 보유하고 있는 고객이라면 고전력 랙 코로케이션 상품을 선택하면 된다. 코로케이션이란 자사가 보유하고 있는 서버를 가비아에 위탁하여 운영하는 서비스다. 고객은 저전력부터 고전력 하이퍼스케일 IDC까지 기업의 비즈니스 용도에 맞게 상품을 선택하여 이용하면 된다. 가비아는 코로케이션 신규 고객에게 랙당 5A 추가 전력과 회선 100M를 무상으로 제공한다고 밝혔다. 이벤트 참여를 원하는 기업은 가비아 공식 홈페이지에서 신청하면 된다. 참여 고객이 많을 경우 이벤트는 조기 종료될 수 있다. 가비아 측은 “최근 AI가 IT 업계의 트렌드로 떠오르면서 관련 기업이 많이 생겨남에 따라, AI 서비스를 제공하는 기업 고객의 부담을 줄이고자 이번 이벤트를 기획했다”며 “가비아가 과학기술정보통신부가 지정한 보안관제 전문기업인 만큼 고객은 가비아에서 안전하고 안정적인 GPU 서비스를 이용할 수 있다”고 밝혔다.

2024.04.04 10:36김우용

ISC, 美 CPU사 양산 검증 통과...대면적용 신규 소켓 사업 순항

아이에스시(ISC)가 고성능 시스템반도체용 테스트 소켓 사업 확장에 추진력을 얻고 있다. 지난해 개발한 대면적용 소켓으로 주요 고객사와 검증에 돌입해, 최근 양산 적용에 대한 승인을 받은 것으로 파악됐다. 2일 업계에 따르면 ISC는 올 1분기 북미 CPU 고객사로부터 신규 테스트 소켓에 대한 퀄(품질) 테스트를 완료했다. ISC가 이번에 승인을 받은 제품은 대면적 시스템반도체용 실리콘 러버 소켓이다. 모델명은 WiDER2로, ISC가 지난해 개발한 제품이다. 이전 세대(WiDER) 대비 작동 범위 및 대응력을 높였다. 테스트 소켓은 패키징 공정이 끝난 칩의 양품 여부를 최종적으로 검사하는 데 쓰인다. 테스트 방식에 따라 포고핀(Pogo pin)과 러버(Rubber)로 나뉜다. 이 중 러버 소켓은 칩에 손상을 줄 가능성이 낮고 미세공정에 적합하다. ISC는 지난해 북미 CPU 고객사에 WiDER2를 공급해 R&D(연구개발) 영역에서 테스트를 거쳐 왔다. 이후 올 1분기에는 양산 적용에 대한 퀄 테스트를 통과했다. 이르면 올 2분기부터 발주가 진행될 예정으로, 실제 공급 규모는 시장 상황에 따라 가변적일 것으로 관측된다. 업계가 ISC의 WiDER 사업에 주목하는 이유는 반도체 산업의 트렌드에 있다. 최근 CPU·GPU 등 시스템반도체 시장은 AI 산업의 발전에 대응하고자 데이터 처리 성능을 급격히 끌어올리고 있다. 특히 서버용 반도체의 경우, 핵심 칩과 각종 고성능 메모리·인터페이스 칩을 함께 집적하는 방식으로 진화하고 있다. 이 같은 반도체의 고성능화는 필연적으로 칩 면적의 확장을 촉진한다. 반도체 후공정 소부장 기업들 역시 점차 커지는 칩 면적에 대응하기 위한 신규 장비, 부품 등을 적극 개발해 왔다. 반도체 업계 관계자는 "칩 사이즈를 최대한 줄이려던 모바일 시대와 달리, AI 시대에서는 성능의 극대화를 위해 칩 사이즈를 키우는 방향으로 나아가고 있다"며 "부품 업계도 칩 면적 확대와 함께 높아지는 기술적 난이도에 잘 대응한다면 글로벌 경쟁력을 확보할 수 있을 것"이라고 설명했다. 한편 ISC는 이와 관련해 "구체적으로 말씀드릴 수 있는 사안은 없다"고 밝혔다.

2024.04.02 11:08장경윤

"토종 AI칩, 엔비디아와 경쟁 위해 특화 시장 공략해야"

“엔비디아가 AI 반도체 시장에서 지배적인 입지에 있다고 해도 국내 기업이 경쟁을 포기하고 종속되면 안 됩니다. 국산 AI 반도체가 성공하려면 애플리케이션 맞춤형 저전력 NPU(신경망처리장치)를 개발하고 특화된 시장(니치 마켓)을 공략해야 합니다.” 김형준 차세대지능형반도체사업 단장은 지디넷코리아와 인터뷰에서 국산 AI 반도체 기술 개발에 대한 방향성에 대해 이같이 강조했다. 차세대지능형반도체사업단을 이끄는 수장인 김형준 단장은 반도체 소자 및 공정 전문가다. 김 단장은 1986년부터 서울대학교 재료공학부에서 교수 생활을 시작해 서울대학교 반도체공동연구소, 한국반도체디스플레이기술학회, 한국재료학회, 한국결정학회 등 다양한 학술 단체를 이끌었고, 2001년부터 2011년까지 국책 사업으로 진행된 '2010 시스템집적반도체개발사업단'에서 사업단장을 역임했다. 차세대지능형반도체사업단은 정부(과학기술정보통신부, 산업통상자원부)가 국내 차세대지능형 반도체 개발과 생태계 구축을 위해 2020년 9월 출범한 조직으로, 10년간 산·학·연간 협력을 돕는 가교 역할을 한다. 사업단으로부터 지원받은 AI 반도체는 사피온이 지난해 11월 출시한 'X330'과 퓨리오사AI가 올해 2분기에 출시하는 '레니게이트'를 비롯해 딥엑스, 텔레칩스 등이 대표적이다. ■ 국산 NPU, 저전력·가격 경쟁력 내세워 니치 마켓 공략 필요 AI 반도체 시장에서 엔비디아의 GPU(그래픽처리장치)는 80% 점유율을 차지한다. 엔비디아는 하드웨어뿐 아니라 '쿠다(CUDA)' 소프트웨어를 공급해 AI 반도체 시장을 장악할 수 있었다. 반면 국내 스타트업들은 GPU 보다 저전력에 특화된 분야에서 처리 능력이 뛰어난 NPU(신경망처리장치)에 주력하고 있다. 최근 애플, 아마존, 마이크로소프트(MS) 등 미국 빅테크 기업도 NPU 칩을 개발하는 추세다. “이런 상황에 국내 스타트업이 엔비디아와 경쟁 및 글로벌 시장에서 성공할 수 있을지에 대해 의구심이 든다”는 기자의 질문에 김 단장은 “엔비디아의 GPU도 AI 모델에 따라 여러 종류를 판매하고 있으므로, 국내 업체도 특정 추론 모델에 특화된 맞춤형 NPU 반도체를 만들어 니치 마켓을 공략해야 한다”고 답했다. 그는 이어 “AI 반도체가 지속 가능하려면 저전력이 되어야 한다”라며 “데이터센터에는 약 1만장 이상의 GPU가 탑재되며, 이로 인해 많은 전력이 소모된다는 지적이 따른다. 전 세계 데이터센터 소비량은 현재 남아프리카공화국의 전력 소비량과 비슷하다. 또 2027년 전 세계 데이터센터가 필요한 전력은 스웨덴의 1년 전력량과 맞먹는 85~134Twh가 될 전망이다. 이는 최근 업계가 저전력 NPU 반도체에 관해 관심이 높아지는 이유다”라고 설명했다. NPU는 GPU보다 저렴한 가격으로도 경쟁력을 갖출 수 있다. 엔비디아 GPU는 리드타임(주문해서 받기까지 기간)이 1년 이상 걸리고 1개 칩당 5천만원 이상으로 비싼 가격이다. 김 단장은 “일례로 인도네시아, 말레이시아, 베트남 등의 국가가 데이터센터를 만들고 싶어도 엔비디아 GPU의 비싼 가격으로 인해 선뜻 투자하기 어려울 것”이라며 “국산 NPU가 뛰어난 성능에 엔비디아 GPU보다 저렴한 가격에 공급한다면, 해당 시장을 개척할 수 있을 것”이라고 말했다. 또한 “우리나라가 예전에 F35 전투기를 개발할 당시, 구매하는 것보다 개발 비용이 수십 배 더 들었지만, 결국 기술 확보를 위해 개발에 착수하고 국산화에 성공했다. 그 결과 현재 전투기도 수출하는 국가가 되었다. 이렇듯 AI 반도체도 개발을 지속해야 하며, 결코 미국에 종속되어서는 안 된다”고 강조했다. ■ 실증 사업 통해 레퍼런스 확보 중요…엣지 시장에 기회 있을 것 국내 AI 반도체 기업은 데이터센터 실증 사업 통해 레퍼런스를 확보하는 것이 중요하다. 정부는 AI 반도체 육성을 위해 K-클라우드 사업을 전개하고 있으며, KT, 네이버 등의 데이터센터는 GPU 대신 국산 NPU를 도입해 일부 실증 테스트를 진행하고 있다. 김 단장은 “NPU 기업은 데이터센터 실증 테스트를 적극 활용해서 제품 경쟁력을 높이는 것이 필요하다”며 “레퍼런스를 바탕으로 국내뿐 아니라 해외에 NPU를 수출할 수 있을 것”이라고 조언했다. 언제쯤 국내 NPU 반도체가 해외의 주요 고객사에 수출될 수 있을지에 대한 질문에 김 단장은 “국내 스타트업의 칩 양산이 올해 본격화되기에 2026년에는 성공 여부가 판가름 날 것”이라며 “냉정하게 경쟁력이 없다고 판단되면 사업을 접어야 할 것”이라고 말했다. 그는 “하지만 데이터센터 외에도 공장 자동화, 모바일, 자율주행차 등 엣지 쪽에는 굉장히 많은 애플리케이션이 있다”라며 “특화된 시장을 겨냥해 AI 응용 칩을 만들면 반드시 기회가 있을 것으로 본다”고 전망했다.

2024.04.02 10:46이나리

HPE, 생성형 AI용 슈퍼컴퓨팅 포트폴리오 출시

HPE는 지난 18일 엔비디아 연례 컨퍼런스 엔비디아 GTC에서 생성형 AI, 딥러닝, 머신러닝 애플리케이션의 운영 고급화를 위한 업계 가장 통합적인 AI 네이티브 포트폴리오를 새롭게 업데이트 했다고 26일 발표했다. HPE와 엔비디아는 공동 엔지니어링한 풀스택 생성형 AI 솔루션을 선보였다. HPE 머신러닝 추론 소프트웨어 프리뷰 버전과 엔터프라이즈급 검생증강생성(RAG) 레퍼런스 아키텍처 등도 소개됐다. HPE와 엔비디아는 블랙웰 플랫폼 기반 제품 개발을 지원한다. 대규모 AI 모델의 개발 및 훈련을 위해 사전 구성 및 테스트된 풀스택 솔루션을 원하는 기업을 위해 생성형 AI용 HPE 슈퍼컴퓨팅 솔루션이 출시됐다. 고객들이 생성형 AI 및 딥러닝 프로젝트 개발을 가속할 수 있도록 목적 기반의 턴키 솔루션은 엔비디아 칩으로 구동되며 최대 168개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩이 제공된다. 해당 솔루션은 대기업, 연구소 및 정부 기관들이 인공지능 및 머신러닝 소프트웨어 스택을 활용한 모델 개발 과정을 더욱 단순화할 수 있도록 지원한다. 이러한 소프트웨어 스택은 고객들이 대규모 언어 모델(LLM), 추천 시스템, 벡터 데이터 베이스 등 생성형 AI와 딥러닝 프로젝트를 더욱 빠르게 추진할 수 있도록 한다. 설치에서부터 설치까지 모든 서비스가 제공되는 턴키 솔루션을 이용해 AI 연구 센터와 대기업은 가치 창출까지의 시간을 더욱 단축하고 훈련은 2-3배 더욱 신속히 진행할 수 있다. 디스커버 바스셀로나 2023 행사에서 선보였듯 HPE의 생성형 AI용 엔터프라이즈 컴퓨팅 솔루션은 이제 유연하고 확장 가능한 사용량 기반 과금 모델을 제공하는HPE 그린레이크를 통해 이용할 수 있다. 엔비디아와 공동 엔지니어링해 사전 구성된 미세 조정 및 추론 솔루션은 생성형 AI 애플리케이션을 제작하기 위해 필요한 정확한 컴퓨팅, 스토리지, 소프트웨어, 네트워킹 및 컨설팅 서비스를 제공함으로써 소요 시간과 비용을 절감해 준다. 이러한 AI 네이티브 풀스택 솔루션은 프라이빗 데이터 기반의 파운데이셔널 모델을 제작하기 위해 필요한 속도, 규모, 관리 기능을 제공하고 하이브리드 클라우드 모델 내 생성형 AI 애플리케이션을 배포할 수 있도록 지원한다. HPE와 엔비디아의 고성능 AI 컴퓨팅 클러스터 및 소프트웨어를 기반으로 해당 솔루션은 경량 모델 미세조정, RAG, 대규모 추론 등에 이상적이다. 이 솔루션을 실행하는 700억 개의 파라미터를 가진 라마 2 모델의 미세 조정 시간은 노드 수에 따라 선형적으로 감소하여 16노드 시스템에서는 6분이 소요된다. 이러한 속도와 성능 덕분에 고객은 버추얼 어시스턴트, 지능형 챗봇, 기업용 검색과 같은 AI 애플리케이션으로 비즈니스 생산성을 개선하여 가치 실현을 더욱 빠르게 달성할 수 있다. 또한, 해당 솔루션은 HPE 프로라이언트 DL380a Gen11 서버를 기반으로 엔비디아 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 플랫폼, 엔비디아 블루필드-3 DPU로 사전 구성됐다. 이에 더해 HPE의 머신러닝 플랫폼과 애널리틱스 소프트웨어, 생성형 AI 모델 추론용으로 최적화된 엔디비아 NIM 마이크로서비스가 제공되는 엔비디아 AI 엔터프라이즈 5.0 소프트웨어뿐만 아니라 엔비디아 네모 리트리버 및 기타 데이터 사이언스와 AI 라이브러리를 이용할 수 있다. 솔루션 도입 시AI 기술 격차를 해소하기 위해서 HPE 서비스 전문가들이 적합한 모델 조정 기술 등을 포함해 솔루션의 설계, 배포부터 관리까지 지원한다. HPE와 엔비디아는 기업들이 AI 및 ML 개념검증 단계에서 실제 애플리케이션 생산으로 넘어갈 수 있는 소프트웨어 솔루션을 제공하기 위해 협업하고 있다. HPE 고객들은 HPE 머신 러닝 추론 소프트웨어 솔루션을 프리뷰 버전으로 이용할 수 있으며 해당 소프트웨어를 이용해 기업들은 빠르고 안전하게 ML 모델을 대규모로 배포할 수 있다. 프라이빗 데이터를 이용하여 생성형 AI 애플리케이션을 빠르게 구축 및 배포해야 하는 기업들을 위해서 HPE는 엔비디아 네모 리트리머 마이크로 서비스 아키텍처에 기반한 엔터프라이즈 RAG용 레퍼런스 아키텍처를 개발했다. 해당 레퍼런스 아키텍처는 HPE 에즈메랄 데이터 패브릭 소프트웨어와 파일스토리지용 HPE 그린레이크로부터 추출한 종합적인 데이터 파운데이션을 기반으로 한다. 이외에도 데이터 준비, AI 훈련 및 추론 등을 지원하기 위해 해당 솔루션은 HPE 에즈메랄 유니파이드 애널리틱스 소프트웨어와 HPE의 AI 소프트웨어에서 모든 오픈소스 툴과 솔루션을 병합하여 사용할 수 있도록 했다. HPE 머신 러닝 데이터 매니지먼트 소프트웨어, HPE 머신 러닝 개발환경 소프트웨어, 신규 HPE 머신러닝 추론 소프트웨어 등도 이에 해당된다. HPE 소프트웨어는 HPE 슈퍼컴퓨팅과 생성형 AI 용 엔터프라이즈 컴퓨팅 솔루션 모두에서 이용가능해 고객은 생성형 AI 워크로드를 일정한 환경에서 관리할 수 있다. HPE는 향후 새롭게 발표된 엔비디아 블랙웰 플랫폼을 기반으로 제품을 개발할 계획이며 이러한 제품은 2세대 트랜스포머 엔진을 통합해 생성형 AI 워크로드를 가속한다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩, HGX 200, HGXB100 등이 장착된 HPE 제품에 관한 더욱 자세한 정보는 추후 공개될 예정이다. 안토니오 네리 HPE 회장 겸 CEO는 “생성형 AI의 미래를 실현하고 AI 생명주기 전반을 다루기 위한 솔루션은 설계부터 하이브리드로 제작되어야 한다”며 “AI는 하이브리드 클라우드 환경이 필요한 워크로드로, 온프레미스나 코로케이션 시설, 퍼블릭 클라우드에서 AI 모델을 훈련하는 것에서부터 엣지에서의 추론 작업까지 모든 환경에 걸쳐 진행된다”고 설명했다. 그는 “HPE와 엔비디아는 오랫동안 혁신을 위해 협력해왔다. 양사는 공동 설계한 AI 소프트웨어 및 하드웨어 솔루션을 지속적으로 선보이며 고객들이 기획에서부터 제작까지 생성형 AI를 가속해서 개발하고 배포할 수 있도록 도와줄 것”이라고 강조했다. 젠슨 황 엔비디아 창립자 겸 CEO는 “생성형 AI는 커넥티드 디바이스, 데이터 센터 및 클라우드 내 데이터에서 인사이트를 도출해내며 전 산업의 혁신을 일으킬 수 있다”며 “엔비디아와 HPE의 협력 확대를 통해 기업들은 데이터를 활용하여 새로운 AI 애플리케이션을 개발 및 배포함으로써 전례없는 생산성 향상을 경험하고 비즈니스를 새롭게 전환할 수 있을 것”이라고 밝혔다.

2024.03.26 16:44김우용

Prev 1 2 3 4 5 6 7 8 9 10 Next