• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
창간특집
인공지능
배터리
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'DGX-A100 GPU'통합검색 결과 입니다. (189건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

솔루스첨단소재, 북미 GPU 기업에 AI 가속기용 동박 승인 받아

솔루스첨단소재가 북미 그래픽처리장치(GPU) 기업의 신제품 인공지능(AI) 가속기에 자사 하이엔드 동박을 탑재하기 위한 첫 승인을 받았다. 솔루스첨단소재는 그간 유수의 글로벌 빅테크 기업에 고성능 다층 인쇄회로기판용 동박을 공급해왔으나 북미 GPU 기업에 동박 공급 승인을 받은 것은 이번이 처음이다. 26일 업계에 따르면 솔루스첨단소재는 최근 동박적층판(CCL) 제조 고객사를 통해 북미 GPU 기업의 AI 가속기용 동박을 승인받았다. 솔루스첨단소재의 동박은 올해 출시 예정인 신형 AI 가속기에 탑재될 예정이다. AI 가속기란 AI 학습·추론에 특화한 반도체 패키지를 말한다. 이번 승인은 솔루스첨단소재가 제조하는 고성능 다층 인쇄회로기판용 동박이 글로벌 빅테크 기업으로부터 품질을 인정받고, 공급이 확정됐다는 데 의미가 있다. 글로벌 빅테크 기업은 통상 공급처와 장기간 협력관계를 맺기 때문에 솔루스첨단소재가 중장기적인 먹거리를 확보했다고 평가할 수 있다. 업계 관계자는 "GPU 업체가 솔벤더(독점 협력업체)를 통해 CCL을 받다가 공급망을 다각화하기 위해 협력업체를 추가로 채택하고 있다"며 "엄격한 품질 테스트를 통과하면 중장기 계약으로 이어지기 때문에 사업 수익성 측면에서 의미가 크다"고 말했다. 솔루스첨단소재 동박은 신호 손실을 최소화하기 위해 표면의 거칠기(조도)를 0.6마이크로미터(μm) 이하로 낮춘 '하이엔드' 제품이다. 제품 분류 상으로는 저조도(Low Profile) 동박, 극저조도(Very Low Profile) 동박보다 더 거칠기를 낮춘 초극저조도(Hyper Very Low Profile) 동박에 해당한다. 솔루스첨단소재는 유럽통합법인 볼타에너지솔루션(Volta Energy Solutions, VES)의 룩셈부르크 공장에서 동박을 제조한다. 볼타에너지솔루션은 두께 2μm 이하의 초극박부터 표면을 매끄럽고 균일하게 만드는 저조도 동박까지 제품 용도에 맞는 다양한 동박 제조 기술을 보유하고 있다. AI 가속기를 비롯한 고성능 AI 반도체 시장은 급격히 성장할 것으로 예상된다. 시장조사업체 가트너에 따르면 전 세계 AI 반도체 매출 올해 671억 달러(90조원)에서 2027년 1194억 달러(155조원)로 3년 만에 3배 가량 커질 전망이다. 솔루스첨단소재의 동박은 AI가속기 외에도 데이터센터, 통신장비 기지국 레이더, 스마트폰 연성기판, IC카드·USIM카드, 항공기, 우주선 등 다양한 산업군에 적용 가능하다. 글로벌 반도체 기업을 비롯해 미국 최대 전자상거래 기업, 세계 최대 통신장비 기업 등 10개 이상의 글로벌 빅테크 기업을 최종 고객사로 확보하고 있다. 한편, 솔루스첨단소재는 전기차, 반도체, 디스플레이 등 전방 시장 둔화로 최근 2년 연속 적자(2022년 영업손실 452억원, 2023년 영업손실 788억원)를 기록했다. 최근 회사는 동박 제조 기술력을 기반으로 글로벌 고객사와의 협력을 늘려감에 따라 올해 실적에 긍정적인 영향을 미칠 것으로 관측된다.

2024.03.26 16:17이나리

슈퍼마이크로, 풀스택 생성형 AI 슈퍼클러스터 3종 출시

슈퍼마이크로컴퓨터(이하 슈퍼마이크로)는 생성형 AI의 도입을 가속화하기 위한 슈퍼클러스터 포트폴리오를 22일 발표했다. 최신 솔루션은 현재는 물론 미래의 거대언어모델(LLM) 인프라에도 적합한 핵심 빌딩 블록을 제공한다. 슈퍼마이크로 슈퍼클러스터 솔루션 3종은 현재 생성형 AI 워크로드에 사용 가능하다. 4U 수냉식 냉각 시스템 또는 8U 공냉식 냉각 시스템은 강력한 LLM 학습 성능은 물론 대규모 배치와 대용량 LLM 추론용으로 특별히 제작 및 설계됐다. 1U 공냉식 슈퍼마이크로 엔비디아 MGXTM 시스템을 갖춘 슈퍼클러스터는 클라우드 규모 추론에 최적화됐다. 슈퍼마이크로 4U 엔비디아 HGX H100/H200 8-GPU 시스템은 수냉식 냉각을 사용해 8U 공랭식 시스템의 밀도를 두 배로 높이고 에너지 소비량과 데이터센터 TCO를 낮춘다. 차세대 엔비디아 블랙웰 아키텍처 기반의 GPU를 지원하도록 설계됐다. 슈퍼마이크로 냉각 분배 장치(CDU)와 매니폴드(CDM)는 냉각된 액체를 슈퍼마이크로의 맞춤형 D2C 콜드 플레이트에 분배하기 위한 핵심 부품으로, GPU와 CPU를 최적의 온도로 유지하고, 성능을 극대화한다. 이러한 냉각 방식은 데이터센터의 총 전기 비용을 최대 40% 절감하고 물리적 공간도 절약할 수 있다. 엔비디아 HGX H100/H200 8-GPU를 탑재한 시스템은 생성형 Al 학습에 이상적이다. 엔비디아 NV링크 로 상호 연결된 고속 GPU와 더불어 넓은 GPU 메모리 대역폭 및 용량은 LLM 모델의 비용 효율적인 구동에 핵심적인 역할을 한다. 슈퍼마이크로의 슈퍼클러스터는 하나의 AI 슈퍼컴퓨터처럼 작동하는 대규모 GPU 리소스 풀을 생성한다. 조 단위의 토큰으로 구성된 데이터 세트로 학습된 대규모 기초 모델을 처음부터 구축하거나 클라우드 규모의 LLM 추론 인프라를 구축할 때, 비차단 400Gbps 패브릭을 갖춘 스파인 및 리프 네트워크 토폴로지를 사용한다면 32개 노드에서 수천 개의 노드까지 원활하게 확장할 수 있다. 슈퍼마이크로는 수냉식 냉각을 활용하는 테스트를 통해 배포 전에 운영 효율성과 효과를 철저하게 검증한다. 슈퍼마이크로의 엔비디아 MGX 시스템 설계는 엔비디아 GH200 그레이스 호퍼 슈퍼칩을 통해 생성형 AI의 주요 병목 현상을 해결하는 미래형 AI 클러스터에 대한 청사진을 제시할 것이다. 이때 병목 현상은 운영비용을 절감하기 위해 고성능 추론 배치 규모로 LLM을 실행하는 GPU 메모리 대역폭과 용량을 의미한다. 256노드 클러스터는 쉽게 구축 및 확장이 가능한 클라우드 규모의 대규모 추론 성능을 지원한다. 랙 5개에 4U 수냉식 냉각 시스템 또는 랙 9개에 8U 공랭식 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 엔비디아 H100/H200 텐서 코어 GPU 256개를 탑재한다. 수냉식 냉각의 경우 공냉식 256 GPU 및 32노드 솔루션과 동일한 설치 면적에서 512 GPU, 64노드를 지원한다. 확장 가능한 유닛 하나에 엔비디아 H100을 포함한 20TB HBM3 또는 엔비디아 H200을 포함한 36TB HBM3e을 탑재한다. 1대1 네트워킹으로 각 GPU에 최대 400Gbps를 제공하며, 최대 조 단위의 매개변수로 LLM을 학습시키기 위한 GPU 다이렉트 RDMA 및 스토리지를 활성화한다. 엔비디아 퀀텀-2 인피니밴드, 엔비디아 스펙트럽-X 이더넷 플랫폼 등 확장성이 뛰어난 스파인-리프 네트워크 토폴로지를 갖춘 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭으로 연결된다. 병렬 파일 시스템 옵션을 갖춘 맞춤형 AI 데이터 파이프라인 스토리지 패브릭을 구성한다 .엔비디아 AI 엔터프라이즈 5.0 소프트웨어로 대규모 AI 모델 구축을 가속화하는 새로운 엔비디아 NIM 추론 마이크로서비스를 지원한다. 랙 9개에 1U 공냉식식 냉각 엔비디아 MGX 시스템을 갖춘 슈퍼클러스터는 확장 가능한 유닛 하나에 256개의 GH200 그레이스 호퍼 슈퍼칩을 장착하며, 최대 144GB의 HBM3e + 480GB의 LPDDR5X 통합 메모리로, 하나의 노드에 70B+ 매개변수 모델을 수용할 수 있다. 400G 인피니밴드 또는 400GbE 이더넷 스위치 패브릭을 지원하며, 노드당 최대 8개의 내장 E1.S NVMe 스토리지 장치를 제공한다. 엔비디아 블루필드-3 DPU와 맞춤형 AI 데이터 파이프라인 스토리지 패브릭으로 각 GPU에 많은 처리량과 짧은 지연 시간의 스토리지 액세스를 제공한다. 엔비디아 AI 엔터프라이즈 5.0 소프트웨어를 제공한다. 슈퍼마이크로의 슈퍼클러스터 솔루션은 GPU-GPU 연결을 위해 달성할 수 있는 네트워크 성능을 갖췄으며, LLM 훈련, 딥 러닝, 그리고 대용량 및 대규모 배치 추론에 최적화됐다. 현장 배포 서비스와 결합된 슈퍼마이크로의 L11 및 L12 검증 테스트는 고객에게 매끄러운 사용 경험을 제공한다. 고객은 플러그 앤 플레이 확장형 유닛을 통해 데이터센터에 쉽게 구축하고 더 빠르게 결과를 얻을 수 있다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 "AI 시대에 컴퓨팅 단위는 단순히 서버 수가 아닌 클러스터로 측정된다”며 “슈퍼마이크로는 글로벌 제조량을 월 5,000개의 랙으로 확장해 그 어느 때보다 빠르게 완전한 생성형 AI 클러스터를 제공할 수 있다"고 설명했다. 그는 "확장 가능한 클러스터 빌딩 블록에 64노드 클러스터는 400Gb/s 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹을 갖춰 72TB의 HBM3e및 512개의 엔비디아 HGX H200 GPU를 지원한다”고 밝혔다 이어 “슈퍼마이크로의 슈퍼클러스터 솔루션은 엔비디아 AI 엔터프라이즈 소프트웨어와 결합됐다”며 “그 결과 오늘날 최대 조 단위의 매개변수로 LLM을 학습하는 기업 및 클라우드 인프라에 이상적”이라고 덧붙였다. 카우츠브 상하니 엔비디아 GPU 제품 부문 부사장은 "엔비디아의 최신 GPU, CPU, 네트워킹 및 소프트웨어 기술은 시스템 제조사가 글로벌 시장을 위한 다양한 차세대 AI 워크로드를 가속화할 수 있도록 지원한다"며 “슈퍼마이크로는 블랙웰 아키텍처 기반 제품에 엔비디아 가속 컴퓨팅 플랫폼을 활용해 데이터센터에 쉽게 구축 가능한 최첨단 서버 시스템을 제공하고 있다"고 밝혔다.

2024.03.22 18:06김우용

데이터브릭스-엔비디아, 기술 통합 강화

데이터브릭스는 엔비디아와 협력을 확대하고 기술 통합을 강화한다고 21일 밝혔다. 엔비디아 GTC 2024 컨퍼런스에서 양사는 데이터브릭스의 데이터 인텔리전스 플랫폼의 데이터 및 AI 워크로드 최적화에 박차를 가할 계획이라고 강조했다. 이 협력은 최근 엔비디아가 데이터브릭스 시리즈I 투자에 참여한 것의 연장선이다. 데이터브릭스 모자이크 AI와 엔비디아는 데이터브릭스의 엔드투엔드 플랫폼에서의 생성형 AI 모델 구축과 배포를 향상하기 위해 모델 훈련 및 추론 분야에서 협력할 방침이다. 데이터브릭스는 데이터 및 모델 전반에 대한 완벽한 제어와 거버넌스는 물론, 생성형 AI 솔루션을 구축, 테스트 및 배포하기 위한 포괄적인 툴 세트를 제공한다. 데이터브릭스 모자이크 AI는 생성형 AI 모델 훈련을 위해 대형 언어 모델(LLM) 개발에 최적화된 엔비디아 H100 텐서 코어 GPU를 사용한다. 이로써 모자이크 AI는 엔비디아 가속 컴퓨팅의 성능을 활용하고, 고객을 위해 LLM을 커스터마이징할 수 있는 효율적이며 확장 가능한 플랫폼을 제공할 수 있게 된다. 한편, 데이터브릭스는 모델 배포를 위해 스택 전반에서 엔비디아 가속 컴퓨팅 및 소프트웨어를 활용한다. 데이터브릭스 모자이크 AI 모델 서빙의 핵심 구성 요소는 최첨단 성능을 제공하고 솔루션의 비용 효율성, 확장성 및 성능을 보장하는 엔비디아 텐서RT-LLM 소프트웨어다. 모자이크 AI는 텐서RT-LLM의 출시 파트너로서 엔비디아 팀과 긴밀한 기술 협력을 이어왔다. 데이터브릭스는 자사의 벡터화된 차세대 쿼리 엔진인 포톤에서 엔비디아 가속 컴퓨팅에 대한 기본적인(native) 지원을 제공하고, 이로써 고객의 데이터 웨어하우징 및 분석 워크로드의 속도와 효율성을 개선한다는 계획이다. 포톤은 업계 최고 수준의 가격 대비 성능과 총소유비용(TCO)을 자랑하는 데이터브릭스의 서버리스 데이터 웨어하우스인 데이터브릭스 SQL을 구동하고 있다. 데이터 쿼리 처리를 위해 GPU를 사용하는 데이터브릭스 고객이 늘어나는 가운데, 양사의 협력은 이러한 성장을 더욱 가속화할 것으로 기대된다. 데이터브릭스 머신러닝은 엔비디아 GPU를 포함하는 사전 구축된 딥러닝 인프라를 제공하며, ML용 데이터브릭스 런타임에는 드라이버와 라이브러리 등 사전 구성된 GPU 지원이 포함되어 있다. 사용자는 이러한 툴을 통해 적합한 엔비디아 인프라를 기반으로 신속하게 작업을 시작할 수 있을 뿐만 아니라, 사용자 간 일관된 환경을 유지할 수 있다. 데이터브릭스는 3대 주요 클라우드에서 엔비디아 텐서 코어 GPU를 지원해, ML 워크로드를 위한 고성능 단일 노드 및 분산 훈련을 지원한다. 데이터브릭스와 엔비디아는 데이터 인텔리전스 플랫폼의 모멘텀을 강화해 보다 다양한 조직이 품질, 속도 및 민첩성을 갖춘 차세대 데이터 및 AI 애플리케이션을 개발할 수 있도록 지원해 나갈 계획이다. 알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “이번 파트너십 확장으로 엔비디아의 가속 컴퓨팅 및 소프트웨어를 통해 데이터브릭스의 워크로드를 가속화하고 고객에 보다 많은 가치를 제공할 수 있게 돼 기쁘다"며 “엔비디아는 분석 사용 사례에서 AI에 이르기까지 데이터브릭스의 기본 모델 이니셔티브를 다수 지원해 왔다"고 밝혔다. 그는 "쿼리 가속화를 위한 상호 협력을 통해 더 많은 기업에게 가치를 입증할 수 있을 것으로 기대한다”고 덧붙였다. 젠슨 황 엔비디아 창립자 겸 CEO는 “AI 시대에서 기업이 보유하고 있는 데이터는 인텔리전스를 도출하는 데 필요한 매우 중요한 자산"이라며 “엔비디아와 데이터브릭스는 효율성을 개선해 더욱 우수한 인사이트와 결과를 얻고자 하는 기업을 위해 데이터 처리를 가속화하고, 이로써 AI의 개발과 배포를 향상할 수 있다"고 강조했다.

2024.03.21 09:35김우용

오라클, 엔비디아와 '소버린 AI' 제공 협력 발표

오라클은 엔비디아와 협력 관계를 확장해, 전 세계 고객들을 대상으로 소버린 AI 솔루션을 제공하기 위한 계획을 20일 발표했다. 이 협력을 통해 오라클의 분산형 클라우드와 AI 인프라스트럭처, 생성형 AI 서비스는 엔비디아의 가속 컴퓨팅 및 생성형 AI 소프트웨어와 결합해 각국 정부 및 기업의 AI 팩토리 배포를 지원한다. 양사의 AI 팩토리는 광범위한 운영 통제 기능을 통해 클라우드 서비스를 국가 또는 기업 조직의 안전한 자체 지역 내 로컬 환경에서 운영하고, 이를 통해 경제 성장을 촉진하고 다각화하기 위한 주권 목표를 지원한다. OCI 전용 리전과 오라클 알로이, 오라클 EU 소버린 클라우드, 오라클 정부 클라우드 등에 배포 가능한 오라클의 기업용 AI 서비스는 엔비디아의 풀스택 AI 플랫폼과 결합돼 데이터의 운영과 위치 및 보안에 대한 제어력을 강화하여 고객의 디지털 주권을 지원하는 최첨단 AI 솔루션을 제공한다. 현재 세계 각국은 자국의 문화적, 경제적 목표를 달성하기 위해 AI 인프라 투자를 늘려 나가고 있다. 기업 고객들은 26개국에 위치한 66개의 오라클 클라우드 리전을 통해 인프라 및 애플리케이션 전반에 걸쳐 100여 개 클라우드 및 AI 서비스에 접근할 수 있고, 이를 통해 IT 마이그레이션, 현대화 및 혁신을 추진할 수 있다. 양사의 통합 오퍼링은 유연한 운영 통제 기능을 바탕으로 퍼블릭 클라우드를 통하거나 특정한 위치의 고객사 데이터센터에 직접 배포 가능하다. 오라클은 고객이 원하는 모든 장소에서 로컬 방식으로 AI 서비스 및 자사의 완전한 클라우드 서비스를 제공할 수 있는 유일한 하이퍼스케일러다. OCI는 배포 유형과 관계없이 동일한 서비스 및 가격 정책을 일관되게 제공하여 클라우드 서비스 이용을 보다 간단하게 계획하고 이전 및 관리할 수 있도록 한다. 오라클의 클라우드 서비스는 엔비디아 가속 컴퓨팅 인프라와 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼 등 다양한 엔비디아 스택을 활용하고 있다. 엔비디아 텐서RT, 엔비디아 텐서RT-LLM, 엔비디아 트리톤 추론 서버 등 엔비디아 추론 소프트웨어를 기반으로 구축되어 최근 발표된 엔비디아 NIM 추론 마이크로서비스도 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼에 포함된다. 스위스 뱅킹 소프트웨어 제공업체인 아발록은 자체 데이터센터에서 완전한 OCI 퍼블릭 클라우드 리전을 운용하기 위해 OCI 전용 리전을 도입했다. 아발록의 마틴 부치 최고 기술 책임자는 "OCI 전용 리전은 최신 클라우드 인프라에 대한 액세스를 제공하면서도 데이터 보존을 최대한 제어하려는 아발록의 노력과 부합한다"며 "이는 우리가 은행과 자산 관리사의 디지털 혁신을 지속적으로 추진하는 데 큰 도움이 된다”고 설명했다. 뉴질랜드의 선도적인 정보 관리 서비스 제공업체인 팀 아이엠은 뉴질랜드 최초로 현지 기업이 소유 및 운영하는 하이퍼스케일 클라우드인 팀 클라우드를 구축하기 위해 오라클 알로이를 도입했다. 팀 아이엠의 이언 로저스 CEO는 "클라우드의 성능은 십분 활용하면서도 뉴질랜드 국경 내에서 데이터 무결성을 유지할 수 있는 독자적인 하이퍼스케일 클라우드 솔루션에 대한 뉴질랜드 기업들의 수요가 갈수록 증가하고 있다"며 "팀 아이엠은 오라클 알로이와 더불어, 엔비디아 AI 플랫폼을 자사 클라우드 서비스에 통합할 수 있는 가능성을 통해 공공 분야 및 민간 기업, 뉴질랜드 원주민 단체들이 디지털 환경의 복잡성을 해소하고 디지털 혁신 과정을 최적화하는 과정에 기여할 수 있는 클라우드 서비스 제공업체로 자리 매김했다"고 밝혔다. 오라클은 엔비디아 GTC에서 발표된 최신 엔비디아 그레이스 블랙웰 컴퓨팅 플랫폼을 자사의 OCI 슈퍼클러스터 및 OCI 컴퓨트 서비스 전반에 도입함으로써 지속적으로 증가하는 고객의 AI 모델에 대한 요구사항에 대응해 나갈 계획이다. OCI 슈퍼클러스터는 새로운 OCI 컴퓨트 베어 메탈 인스턴스와 초저지연 RDMA 네트워킹, 고성능 스토리지를 통해 훨씬 더 빠른 속도를 제공할 전망이다. OCI 컴퓨트에는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩과 엔비디아 블랙웰 B200 텐서 코어 GPU가 모두 탑재된다. 엔비디아 GB200 그레이스 블랙웰 슈퍼칩은 컴퓨팅의 새로운 시대를 선도할 획기적 성능을 제공한다. 전 세대 GPU 대비 최대 30배 빠른 실시간 대규모 언어 모델(LLM) 추론, 25배 낮은 TCO, 25배 적은 에너지 소모량 등을 자랑하는 GB200은 AI 학습, 데이터 처리, 엔지니어링 설계 및 시뮬레이션 등의 작업 성능을 대폭 강화해 준다. 엔비디아 블랙웰 B200 텐서 코어 GPU는 가장 높은 성능이 요구되는 AI, 데이터 분석, 고성능 컴퓨팅(HPC) 워크로드를 처리하기 위해 설계됐다. 또한 검색 증강 생성(RAG) 추론 배포를 위한 엔비디아 네모 리트리버를 비롯한 엔비디아 NIM 및 쿠다-X 마이크로서비스는 OCI 고객이 자체 데이터를 사용해 생성형 AI 코파일럿 및 기타 생산성 도구에 더 많은 인사이트를 제공하는 동시에, 해당 도구들의 정확성을 향상시키는 작업에도 도움이 될 것으로 보인다. 점점 더 복잡해지는 AI 모델에 대한 고객의 수요 증가에 부응하기 위해 오라클과 엔비디아는 OCI 상에서 구동되는 엔비디아 DGX 클라우드 서비스에 엔비디아 그레이스 블랙웰 슈퍼칩을 추가할 예정이다. 고객들은 LLM의 매개변수가 조 단위에 달하게 된 현 시점에 보다 에너지 효율적인 학습 및 추론을 지원하기 위해 양사가 함께 설계한 슈퍼컴퓨팅 서비스인 엔비디아 DGX 클라우드를 통해 새로운 GB200 NVL72 기반 인스턴스에 액세스 할 수 있다. DGX 클라우드 클러스터의 전체 구성에는 2만개 이상의 GB200 가속기와 엔비디아 CX8 인피니밴드 네트워킹이 포함돼 더욱 탁월한 확장성 및 성능을 갖춘 클라우드 인프라를 제공할 예정이다. 해당 클러스터는 5세대 NV링크가 탑재된 72개의 블랙웰 GPU NVL 72와 36개 그레이스 CPU로 구성된다. 사프라 카츠 오라클 CEO는 "AI가 전 세계의 비즈니스, 산업 및 정책을 재편함에 따라, 국가와 기업 조직은 가장 중요한 데이터를 안전하게 보호하기 위해 디지털 주권을 강화해야 한다"며 "오라클은 엔비디아와의 지속적인 협력 관계와 클라우드 리전을 로컬 차원에서 신속히 배포할 수 있는 독보적인 역량을 통해 전 세계에서 보안에 대한 타협과 우려 없이 AI를 활용할 수 있도록 보장할 것"이라고 밝혔다. 젠슨 황 엔비디아 설립자 겸 CEO는 "생성형 AI가 혁신을 주도하는 시대에 데이터 주권은 문화적, 경제적 필수 요소"라며 "엔비디아의 가속 컴퓨팅 및 생성형 AI 서비스와 결합된 오라클의 통합 클라우드 애플리케이션 및 인프라 서비스는 각 국가 및 지역이 데이터 주권을 바탕으로 스스로 미래를 직접 설계할 수 있는 유연성과 보안을 제공한다."라고 강조했다. 오라클과 엔비디아가 공동 제공하는 소버린 AI 솔루션은 발표와 함께 바로 사용 가능하다.

2024.03.20 10:45김우용

삼성·SK하이닉스, '12단 HBM3E' 경쟁 가열...美GTC서 실물 공개

AI 반도체 시장 성장으로 고대역폭메모리(HBM) 경쟁이 치열해진 가운데 삼성전자, SK하이닉스, 마이크론이 최신 제품인 HBM3E 실물을 나란히 공개해 주목된다. 엔비디아는 18~21일(현지시각) 3일간 미국 캘리포니아 실리콘밸리에서 연례 개발자 콘퍼런스 GTC 2024를 개최했다. GTC에는 엔비디아 협력사인 삼성전자, SK하이닉스, 마이크론 등이 전시 부스를 마련하고 최신 HBM3E 실물을 전시해 눈길을 끌었다. HBM은 여러 개 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 대폭 끌어올린 고성능 제품이다. HBM은 1세대(HBM)·2세대(HBM2)·3세대(HBM2E)에 이어 4세대(HBM3) 제품이 공급되고 있으며, 올해 상반부터 5세대(HBM3E) 양산이 시작된다. 엔비디아는 AI 반도체로 사용되는 그래픽처리장치(GPU) 시장에서 80% 점유율로 사실상을 독점체제를 구축하고 있기에, 메모리 시장에서 최대 고객사로 여겨진다. 이런 이유로 메모리 업체가 엔비디아 행사에서 앞다퉈 최신 HBM3E를 공개한 이유다. 삼성전자는 부스에서 D램을 12단까지 쌓은 12단 HBM3E 실물을 처음으로 공개했다. 삼성전자는 HBM 시장에서 SK하이닉스에 뒤쳐졌다는 평가를 인식한듯 지난달 27일 업계에서 처음으로 12단 HBM3E 샘플을 고객사에 제공하기 시작했다고 공식 발표한 바 있다. 삼성전자에 따르면 12단 HBM3E는 초당 최대 1280GB의 대역폭과 36GB 용량을 제공해 성능과 용량 모두 전작인 8단 HBM3 대비 50% 이상 개선된 제품이다. 삼성전자는 '어드벤스드 TC NCF'(Thermal Compression Non Conductive Film, 열압착 비전도성 접착 필름) 기술로 12단 제품을 8단 제품과 동일한 높이로 구현했다. NCF 소재 두께는 업계 최소 칩간 간격인 '7마이크로미터(um)'다. SK하이닉스도 지난 1월 CES 2024에서 처음으로 12단 HBM3E 실물을 전시한데 이어 이번 GTC에서도 공개했다. SK하이닉스 또한 지난달 엔비디아에 12단 HBM3E 샘플을 공급을 시작한 것으로 알려진다. 이에 더해 SK하이닉스는 GTC 행사 첫날 업계 최초로 8단 HBM3E 양산을 시작했다고 공식적으로 알리며 시장 우위를 강조했다. SK하이닉스의 8단 HBM3E는 엔비디아 'H200' GPU에 공급된다. SK하이닉스는 가장 먼저 HBM3 양산과 동시에 엔비디아에 독점 공급권을 따내면서 HBM 시장에서 선두를 달려왔다. 이날 SK하이닉스는 경쟁사인 삼성전자와 달리 적층에 어드밴스드 MR-MUF(매스 리플로우-몰디드 언더필) 공정을 적용해, 열 방출 성능을 이전 세대(HBM3) 대비 10% 향상시켰다는 점도 내세웠다. MR-MUF는 반도체 칩을 쌓아 올린 뒤 칩과 칩 사이 회로를 보호하기 위해 액체 형태의 보호재를 공간 사이에 주입하고 굳히는 공정이다. 마이크론 또한 GTC에서 8단 HBM3E를 전시했다. 후발주자인 마이크론은 HBM3을 건너 뛰고 지난달 27일 8단 HBM3E 양산을 시작했다고 밝히며 “해당 HBM3E는 엔비디아가 2분기에 출시하는 GPU H200에 탑재될 예정"이라고 전했다. 아울러 마이크론도 이달부터 엔비디아에 12단 HBM3E 샘플을 공급한다. 한편, 엔비디아는 올해부터 GPU에 HBM3E를 탑재한다. 엔비디아는 올해 2분기 말에 출시되는'H200'에는 HBM3E 6개를 탑재되고, 하반기에 출시하는 'B100'에는 HBM3E 8개가 탑재된다. B100은 엔비디아가 오늘 발표한 차세대 GPU '블랙웰'이다. 시장조사업체 트렌드포스에 따르면 전체 D램 매출에서 HBM이 차지하는 비중이 지난해 8.4%에서 올해 말 20.1%로 증가한다고 전망했다. 올해 HBM의 연간 비트(용량) 증가율은 약 260%에 달할 것으로 내다봤다. 현재 주류인 HBM3 시장에서 SK하이닉스는 90% 이상을 점유하고 있는 것으로 집계된다. 삼성전자는 향후 몇 분기에 걸쳐 AMD의 MI300에 HBM3을 공급하면서 점진적으로 시장 점유율을 늘릴 것으로 전망된다.

2024.03.19 16:02이나리

레노버, 엔비디아와 하이브리드 AI 솔루션 공개

레노버는 18일(현지시간) 개최된 엔비디아 GTC에 참가하고 신규 하이브리드 AI 솔루션을 발표했다. 지난 레노버 테크 월드에서 발표한 엔비디아와 파트너십을 기반으로 양사는 기업들로 하여금 AI 시대에 필수적인 컴퓨팅 기술을 갖추고 새로운 AI 활용 사례를 효율적으로 개발 및 구현할 수 있도록 지원할 예정이다. 양사의 엔지니어링 협력을 통해 이번 하이브리드 AI 솔루션은 포켓에서 클라우드에 이르는 고객 데이터에 AI를 효과적으로 활용할 수 있도록 만들어졌다. 이로써 레노버는 '모두를 위한 AI' 비전에 한 걸음 더 가까워졌을 뿐 아니라, 생성형 AI를 위한 획기적인 아키텍처의 시장 출시를 지원하게 됐다. 이제 개발자들은 엔비디아 AI 엔터프라이즈 소프트웨어 실행에 최적화된 레노버 하이브리드 AI 솔루션을 통해 엔비디아 NIM 및 네모 리트리버와 같은 마이크로 서비스에 액세스할 수 있게 된다. 전 세계 산업들이 방대한 데이터를 분석하기 위해 AI를 사용하기 시작하면서, 컴퓨팅 집약적인 워크로드를 처리하기 위한 전력효율성도 강조되고 있다. 레노버는 효율적인 고성능 컴퓨팅(HPC)을 구현하는데 앞장서 왔으며, 엔비디아 GPU 디자인이 적용된 HPC는 그린500 리스트 1위를 차지했다. 레노버 넵튠 다이렉트 수냉식 기술을 적용한 해당 디자인은 고열 및 다중 GPU 환경에서도 낮은 온도를 유지하여 컴퓨팅 성능을 가속화한다. 레노버는 확장된 레노버 씽크시스템 AI 포트폴리오를 새롭게 공개하며, 대규모 AI 워크로드를 효율적으로 처리해 내는 데 있어 획기적인 이정표를 세웠다. 해당 포트폴리오는 두 개의 엔비디아 8방향 GPU 시스템을 탑재하고 있으며, AI 구현을 가속하기 위한 전력 효율성 및 거대 컴퓨팅 능력을 갖추고 있다. 생성형 AI, 자연어 처리(NLP) 및 대규모 언어 모델(LLM) 개발을 위해 설계됐으며, 엔비디아 HGX AI 슈퍼컴퓨팅 플랫폼에는 엔비디아 H100, H200 텐서 코어 GPU, 신규 엔비디아 그레이스 블랙웰 GB200 슈퍼칩, 엔비디아 퀀텀-X800 인피니밴드 및 스펙트럼-X800 이더넷 네트워킹 플랫폼이 포함되어 있다. 레노버 씽크시스템 AI 서버는 엔비디아 B200 텐서 코어 GPU를 탑재해 생성형 AI의 새로운 막을 열었다. 엔비디아 블랙웰 아키텍처는 생성형 AI 엔진, 엔비디아 NV링크 인터커넥트 및 향상된 보안 기능을 갖추고 있는 점이 특징이다. 또한, B200 GPU는 최대 25배 더 빠른 실시간 추론 성능으로 1조 매개변수를 갖춘 언어 모델을 지원한다. 이는 AI, 데이터 분석 및 HPC 워크로드에 최적 설계됐다. 신규 레노버 씽크시스템 SR780a V3 서버는 1.1대의 전력효율지수(PUE)를 갖춘 5U 시스템으로, 설치 공간을 절약할 수 있는 점이 특징이다. 한편, CPU와 GPU에는 레노버 넵튠 다이렉트 수냉식 기술과 엔비디아 NV스위치 기술을 사용해 발열 문제없이 최대 성능을 유지할 수 있다. 10년간 사용된 레노버 넵튠 다이렉트 수냉식 기술은 온수 루프를 재활용하여 데이터 센터 시스템을 냉각하고, 기존 공랭 방식에 비해 최대 40%의 전력 소비 절감 및 3.5배의 열효율을 향상시킨다. 레노버 씽크시스템 SR680a V3 서버는 듀얼 소켓 공랭 시스템으로, 엔비디아 GPU와 인텔 프로세서를 탑재하여 AI를 최대 활용할 수 있도록 설계됐다. 해당 시스템은 방대한 계산 능력을 제공하며, 업계 표준 19인치 서버 랙 타입으로써 과도한 공간을 차지하거나 선반을 필요로 하지 않는 고밀도 하드웨어로 구성됐다. 레노버 PG8A0N 서버는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩을 탑재한 AI용 1U 서버이자 가속기용 개방형 수냉식 기술을 갖췄다. GB200은 45배 더 빠른 실시간 LLM 추론 성능과 더불어 40배 더 낮은 총소유비용(TCO), 40배 더 적은 에너지로 구동된다. 레노버는 엔비디아와의 긴밀한 협업을 통해 AI 트레이닝, 데이터 처리, 엔지니어링 설계 및 시뮬레이션을 위한 GB200 랙 시스템을 제공할 예정이다. 고객들은 레노버가 지닌 엔비디아 인증 시스템 포트폴리오를 통해 '엔비디아 AI 엔터프라이즈'를 사용할 수 있게 된다. 이는 프로덕션급 AI 애플리케이션 개발 및 배포를 위한 엔드 투 엔드 클라우드 네이티브 소프트웨어 플랫폼이다. 또한, 엔비디아 AI 엔터프라이즈에 포함된 엔비디아 NIM 추론 마이크로 서비스를 레노버 엔터프라이즈 인프라에서 실행함으로써, 고성능 AI 모델 추론을 할 수 있다. 레노버 씽크시스템 AI 서버 포트폴리오에는 중앙 집중화된 리소스 관리 시스템을 제공하는 '레노버 엑스클라리티 관리 시스템'과 AI 모델 개발 및 훈련, HPC 워크로드를 위한 클러스터된 컴퓨팅 리소스 사용을 간소화하는 통합 플랫폼 '레노버 리코(LiCO)'가 포함되어 있다. 또한, 4세대 및 5세대 인텔 제온 스케일러블 프로세서를 지원하며, 고전력 GPU를 위한 써멀 헤드룸을 갖췄다. 레노버는 워크스테이션에서 클라우드에 이르기까지 엔비디아 OVX와 엔비디아 옴니버스 설계, 엔지니어링 및 구동을 지원하고 있다. 기업들이 맞춤형 AI, HPC 및 옴니버스 애플리케이션을 신속하게 구축할 수 있도록 레노버는 엔비디아 MGX 모듈형 레퍼런스 디자인을 통해 신속하게 모델을 구축하고 있다. 이로써 맞춤형 모델을 제공받은 CSP 업체들은 가속화된 컴퓨팅을 통해 AI 및 옴니버스 워크로드를 대규모 처리할 수 있게 된다. 엔비디아 H200 GPU를 기반으로 한 해당 시스템은 테라바이트급의 데이터를 처리하는 AI 및 고성능 컴퓨팅 애플리케이션을 통해 과학자와 연구자들이 직면한 문제를 해결할 수 있도록 돕는다. 레노버는 엔비디아와 협력을 통해 대규모 AI 트레이닝, 미세 조정, 추론 및 그래픽 집약적 워크로드 처리를 위한 최대 4개의 RTX 6000 에이다 제너레이션 GPU를 제공해 데이터 사이언스 워크스테이션을 강화했다. 이는 자동화된 워크플로를 통해 AI 개발자의 생산성을 향상시킨다. 엔비디아 AI 워크벤치)를 갖춘 신규 레노버 워크스테이션은 소프트웨어 툴로써 추론, 대규모 시뮬레이션, 까다로운 워크플로를 위한 강력한 AI 솔루션을 개발 및 배포할 수 있도록 돕는다. 엔비디아 AI 워크벤치는 모든 개발자로 하여금 생성형 AI 및 머신 러닝 개발을 지원한다. 이제 레노버 씽크스테이션과 씽크패드 워크스테이션에서 이용 가능한 신규 엔비디아 A800 GPU는 AI용으로 특별히 설계돼, 모든 종류의 AI 워크플로를 활용하는 조직들을 위해 안전하고 프라이빗한 데이터 사이언스 및 생성형 AI 지원 환경을 제공한다. 커크 스카우젠 레노버 인프라스트럭처 솔루션 그룹(ISG) 사장은 “레노버와 엔비디아는 전 세계 비즈니스를 위한 증강 지능의 경계를 허물고 있다”며 “생성형 AI를 지원하는 최첨단 하이브리드 AI 솔루션 포트폴리오를 통해 데이터가 있는 어느 곳이든 AI 컴퓨팅을 활용할 수 있게 됐다”고 밝혔다. 그는 “우리는 실시간 컴퓨팅, 전력 효율성, 배포 용이성 개선을 기반으로 새로운 AI 활용 사례가 시장에 나올 수 있는 변곡점에 놓여있다”며 “레노버는 엔비디아와 파트너십을 통해 효율성, 성능, 비용 측면에서 획기적인 발전을 이루어 모든 산업 군에서 AI 애플리케이션 활용을 가속화할 것”이라고 강조했다. 밥 피트 엔비디아 엔터프라이즈 플랫폼 부문 부사장은 “AI는 기업들이 데이터를 통해 새로운 인사이트를 얻고 생산성을 향상시킬 수 있는 강력한 힘”이라며 “엔비디아 기술과 통합된 레노버의 새로운 엔터프라이즈 AI 솔루션은 AI를 위한 컴퓨팅 성능을 강화하는 데 있어 중추적인 이정표일 뿐만 아니라, 기업들이 생성형 AI를 활용할 수 있도록 신뢰도 있는 하이브리드 시스템을 제공한다”고 밝혔다.

2024.03.19 13:54김우용

델테크놀로지스, 엔비디아 기반 'AI 팩토리 솔루션' 공개

델테크놀로지스는 엔비디아와 전략적 협력을 강화하고 '델 AI 팩토리 위드 엔비디아' 솔루션을 출시한다고 19일 밝혔다. '델 AI 팩토리 위드 엔비디아'는 델의 생성형 AI 솔루션 포트폴리오 중 하나로, 기업과 기관들이 자체 보유한 데이터와 AI 툴, 그리고 온프레미스 인프라를 보다 안전하고 빠르게 통합하여 생성형 AI 투자 효과를 극대화하도록 돕는 것을 골자로 한다. 델과 엔비디아는 긴밀한 협력을 통해 델의 엔드투엔드 생성형 AI 솔루션 포트폴리오를 강화하고, 고객들이 비즈니스 혁신을 가속화하는 한편 생산성을 높일 수 있도록 지원에 나선다. '델 AI 팩토리 위드 엔비디아'는 델의 서버, 스토리지, 클라이언트 디바이스, 소프트웨어 및 서비스와 엔비디아의 AI 인프라 및 소프트웨어 팩키지를 결합한 통합형 솔루션이다. 고속 네트워크 패브릭을 기반으로 구성된다. 엄격한 테스트와 검증을 거친 랙 단위 설계가 가능하며, 이를 통해 데이터로부터 가치 있는 통찰력과 성과를 이끌어낼 수 있도록 돕는다. 이 솔루션은 또한 엔터프라이즈 데이터 보안 분야의 기존 오퍼링들을 비롯해 보안 및 개인 정보 보호를 위한 델의 서비스 오퍼링과 함께 활용할 수 있다. '델 AI 팩토리 위드 엔비디아'는 모델 생성 및 튜닝에서부터 증강, 그리고 추론에 이르는 생성형 AI의 전체 수명주기에 걸쳐 다양한 AI 활용 사례와 애플리케이션을 지원한다. 델이 제공하는 프로페셔널 서비스를 활용해 조직에서는 전략을 세우고, 데이터를 준비하여 구현하고 적용하기 까지의 과정을 가속할 수 있으며, 조직 전반의 AI 역량을 향상시킬 수 있다. 이 솔루션은 기존의 채널 파트너를 통해 구매하거나, '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 델테크놀로지스는 엔비디아와 협력해 '엔비디아 그레이스 블랙웰 슈퍼칩'을 기반으로 하는 랙 스케일 고밀도 수랭식 아키텍처를 채용할 예정이다. 이 시스템은 엔터프라이즈 AI 워크로드의 성능 집적도 향상을 위한 기반으로서 차세대 생태계를 지원하게 된다. 델 파워엣지 XE9680 서버는 '엔비디아 B200 텐서 코어 GPU'를 포함한 신규 엔비디아 GPU 모델을 지원할 예정이며, 이를 통해 최대 15배 높은 AI 추론 성능과 TCO 절감을 기대할 수 있다. 델 파워엣지 서버는 엔비디아 블랙웰 아키텍처 기반의 다른 여러 GPU와 H200 텐서 코어 GPU, 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹 플랫폼도 지원할 예정이다. '검색 증강 생성을 위한 델과 엔비디아의 생성형 AI 솔루션'은 '엔비디아 AI 엔터프라이즈'의 새로운 마이크로서비스를 활용해 사전 검증된 풀스택 솔루션을 제공함으로써 RAG(검색 증강 생성) 기술 도입을 가속한다. 자체 보유한 고유 데이터 및 지식 베이스와 같이 사실에 근거한 새로운 데이터 세트를 통해 생성형 AI 모델 품질을 개선하고 결과 정확도를 높일 수 있다. '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 자체적으로 도메인 맞춤형 AI 모델을 구축하려는 기업 및 기관들을 위해 사전 검증된 풀스택 솔루션을 제공한다. 이와 함께 '생성형 AI를 위한 델 프로페셔널 서비스'는 포트폴리오 전반에 대한 통합, 관리, 보호를 지원하여 비즈니스 성과를 더 빠르게 달성할 수 있게끔 돕는다. 델 구현 서비스는 델의 신규 RAG 솔루션 및 모델 훈련을 비롯해 보안 위험을 평가하고 영향을 최소화하도록 돕는 '생성형 AI 데이터 보호를 위한 자문 서비스' 등을 포함한다. 젠슨 황 엔비디아 설립자 겸 CEO는 "AI 팩토리는 향후 산업군 별로 인텔리전스를 창출하는 핵심 역할을 할 것"이라며 "엔비디아와 델은 함께 기업이 AI 팩토리를 통해 기업들이 자체 보유한 고유의 데이터를 강력한 인사이트로 전환할 수 있도록 지원하고 있다”고 밝혔다. 김경진 한국델테크놀로지스 총괄 사장은 “엔터프라이즈 고객들은 복잡한 AI 요구에 대응하고 이를 빠르게 해결할 수 있는 솔루션을 갈망하고 있다”며 “양사의 노력으로 탄생한 턴키 솔루션은 데이터와 사용 사례를 원활하게 통합하고, 맞춤형 생성 AI 모델 개발을 간소화한다”고 덧붙였다. '델 AI 팩토리 위드 엔비디아'는 기존 채널 파트너를 통하거나, 또는 '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 엔비디아 H200 텐서 코어 GPU를 탑재한 델 파워엣지 XE9680 서버는 델 회계연도 2분기(5월~7월)에 출시되며, 엔비디아 B200 및 B100 GPU를 탑재한 XE9680 서버는 4분기(11월~내년 1월) 내에 출시될 예정이다. 'RAG를 위한 델과 엔비디아의 생성형 AI 솔루션'은 현재 기존 채널 파트너와 델 에이펙스를 통해 전 세계에서 구입할 수 있으며, '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 4월에 출시될 예정이다. 'RAG를 위한 델 구현 서비스'는 5월 31일부터 한국을 비롯한 일부 지역에서 제공되며, '모델 훈련을 위한 델 인프라스트럭처 구축 서비스'와 '델 생성형 AI 데이터 보안을 위한 자문 서비스'는 3월 29일부터 한국을 비롯한 일부 국가에서 출시될 예정이다.

2024.03.19 13:47김우용

래블업, 엔비디아 GTC 2024에 실버스폰서로 참가

래블업은 오는 18일부터 21일까지 미국 새너제이 컨벤션센터에서 열리는 엔비디아의 'GTC 2024' 컨퍼런스에 실버 스폰서로 참가한다고 14일 밝혔다. 엔비디아의 GTC 행사는 5년 만에 대면 행사로 개최된다. 30만 명 이상의 참가자가 온·오프라인으로 참여할 것으로 기대되는 GPU 분야에서 가장 큰 기술 행사다. 래블업은 이번 컨퍼런스에서 AI 기술의 최전선에 서 있는 두 가지 주제에 대해 발표할 예정이다. 첫 번째 발표 'From Idea To Crowd: Manipulating Local LLMs At Scale'을 래블업 신정규 대표와 김준기 CTO가 진행하며, 이 세션에서 양자화, QLoRA 등의 리소스 절약 및 모델 압축 기술과 vLLM, TensorRT-LLM 결합을 통해 백엔드닷AI가 어떻게 대규모 로컬 LLM을 효율적으로 조작하는지 소개한다. 이는 AI 모델의 성능을 최적화하고, 리소스 사용을 최소화하는 혁신적인 접근 방식을 제공할 예정이다. 김준기 CTO는 두 번째 발표인 'Personalized Generative AI: Operation and Fine-Tuning in Household Form Factors'를 20일에 진행한다. 이 세션에서 클라우드 및 개인 PC의 GPU를 이용하여 사용자 맞춤형 생성형 AI를 개발하고 서비스할 수 있는 방법을 시연한다. AI 기술을 일상 생활에 더욱 밀접하게 통합하는 개인화된 AI의 새로운 가능성을 제시할 예정이다. 래블업은 전시부스에서 APAC 지역 유일의 엔비디아 DGX레디 소프트웨어인 백엔드닷AI 엔터프라이즈를 시연한다. 백엔드닷AI는 엔비디아 DGX 시스템 및 기타 GPU 가속 컴퓨팅 리소스의 성능을 극대화하며, 사용자 환경을 변경하지 않고도 GPU 사용성을 높여주는 AI 인프라 운영 플랫폼이다. 부스에서 생성 AI 개발을 간소화하고 자동화하는 ML옵스 소프트웨어 플랫폼인 '패스트트랙'으로 파운데이션 모델을 다양한 산업 분야에 특화하거나 나만의 챗봇으로 자동 미세 조정하는 실시간 시연도 제공된다. 래블업 측은 “MWC에 이어 이번 GTC에서 엔비디아 및 델, AMAX, 웨카 같은 글로벌 파트너사와 협력을 강화하며 함께 본격적인 글로벌 진출을 꾀할 예정”이라고 밝혔다.

2024.03.14 10:50김우용

30만 AI 개발자 모인다...엔비디아 'GTC 2024' 임박

엔비디아는 지난 4일 '엔비디아(NVIDIA) GTC 2024'를 앞두고 APAC(아시아·태평양) 지역 온라인 사전 인터뷰를 진행했다고 8일 밝혔다. 인터뷰에는 그레그 에스테스 엔비디아 기업 마케팅, 개발자 프로그램 부문 부사장이 참석해 GTC 2024의 준비 과정과 특별히 주목할 만한 세션 등을 언급했다. 세계 최대 AI 개발자 콘퍼런스 GTC는 오는 18일부터 21일까지 미국 캘리포니아주 새너제이에서 개최된다. 팬데믹 이후 5년만에 대면 행사로 돌아온 GTC는 온라인으로도 참석 가능한 하이브리드 형태로 진행된다. 900개의 세션, 250개 이상의 전시, 수십 개의 기술 워크샵 등으로 구성됐으며 30만 명 이상의 전세계 개발자 커뮤니티 회원들이 참석할 것으로 기대된다. 엔비디아는 이번 GTC가 지난 해에 비해 2배 이상의 규모로 진행되는 만큼 행사를 위해 준비를 했으며 성공적인 행사가 될 것이라고 전했다. 특히 젠슨 황 엔비디아 창립자 겸 CEO의 기조연설은 1만명 이상 수용 가능한 SAP 센터에서 진행된다. 젠슨 황 CEO 기조연설은 이달 19일 오전 5시(한국 시간)에 생중계되며, 이후 온디맨드(On-demand)로 제공된다. 또한 디즈니 리서치, 구글 딥마인드, 존슨앤드존슨 이노베이티브 메디슨, 스탠포드 대학교 등 조직 내 리더들이 진행하는 세션을 포함해 약 60개 이상의 강좌가 준비돼 있다. 대기업부터 스타트업, 개발자부터 AI에 관심이 있는 개인 등이 각자의 다양한 요구에 맞게 강좌를 선택할 수 있으며 온라인으로도 수강 가능하다. 그레그 에스테스는 글로벌 차원에서 AI 발전을 위한 엔비디아의 역할을 묻는 질문에 "GTC는 개발자와 컴퓨팅 생태계가 함께 모여 서로를 끌어올릴 수 있는 세계 최고의 장소"라며 "여러 산업의 선도 기업들과 수천 명의 학생들이 최고의 AI를 경험하기 위해 이곳을 찾는다. 엔비디아는 그들을 하나로 모으는 호스트인 것을 매우 자랑스럽게 생각한다"고 말했다.

2024.03.08 13:38장경윤

AIC, 韓 보안 전시회서 新 GPU 서버 최초 공개

AIC가 신제품 GPU 서버인 CB201-B5와 CB401-TU를 국내에서 최초 공개한다. AIC가 오는 20일부터 22일까지 일산 킨텍스에서 개최되는 '세계 보안 엑스포(SECON) & 전자정부 정보보호 솔루션 페어(eGISEC) 2024'에 참가한다고 8일 밝혔다. AIC는 이번 박람화에서 최신 서버 및 스토리지 기술을 선보일 예정이다. 보안 시장에 필수 요소인 고가용성 및 고용량 스토리지 시스템의 경우 SB407-TU, HA401-TU 및 JBOD 제품들을 선보일 예정이다. 마이클량 AIC의 최고 경영자(CEO) 겸 사장은 "AIC는 이번 전시회를 통해 한국 시장에 다양한 제품을 선보이게 돼 기쁘게 생각한다"며 "특히 이번에 출시된 GPU 서버는 뛰어난 성능과 안정성을 제공하도록 구축돼 고성능 GPU 서버 솔루션이 필요한 다양한 기업에 탁월한 선택이 될 것"이라고 말했다.

2024.03.08 10:37이한얼

KAIST, 대규모 데이터 출력 때 GPU 에러 해결

인공지능(AI) 그래픽 연산 장치(GPU)에서 메로리 한계로 인해 초병렬 연산 등 대규모 데이터 출력 때 발생하는 에러 문제를 국내 연구진이 해결했다. 향후 가정에서 사용하는 메모리 크기가 작은 GPU로도 생성형 AI 등 대규모 출력이 필요한 고난이도 연산을 빠르게 수행할 수 있게 됐다. 초병렬 연산은 GPU로 수 십 만~수 백 만 개의 작은 연산들을 동시에 수행하는 것을 말한다. KAIST(총장 이광형)는 전산학부 김민수 교수 연구팀이 한정된 크기의 메모리를 지닌 GPU를 이용해 수십, 수백 만개 이상의 스레드들로 초병렬 연산을 하면서 수 테라바이트의 큰 출력 데이터가 발생하더라고 메모리 에러 없이 해당 출력 데이터를 메인 메모리로 고속 전송 및 저장할 수 있는 데이터 처리 기술(일명 INFINEL)을 개발했다고 7일 밝혔다. 출력데이터는 데이터 분석 결과 또는 인공지능에 의한 생성 결과물에 해당하는 데이터를 말한다. ■기존 기술 문제들 최근 AI의 활용이 급속히 증가하면서 지식 그래프와 같이 정점과 간선으로 이루어진 그래프 구조 데이터의 구축과 사용도 점점 증가하고 있다.. 그러나 그래프 구조 데이터에 대해 난이도가 높은 초병렬 연산을 수행할 경우 그 출력 결과가 매우 커 각 스레드 출력 크기를 예측하기 어렵다는 문제가 발생한다. 또, GPU는 근본적으로 CPU와 달리 메모리 관리 기능이 매우 제한적이기 때문에 예측할 수 없는 대규모의 데이터를 유연하게 관리하기 어렵다. 이러한 이유로 지금까지는 GPU를 활용해 '삼각형 나열'과 같은 난이도가 높은 그래프 초병렬 연산을 수행할 수 없었다. ■해결 방법 김 교수팀은 이를 근본적으로 해결하는 인피넥(INFINEL) 기술을 개발했다. 이 기술은 GPU 메모리 일부 공간을 수백 만 개 이상의 청크(chunk)라 불리는 매우 작은 크기의 단위들로 나누고 관리하면서, 초병렬 연산 내용이 담긴 GPU 커널(kernel) 프로그램을 실행하도록 설계했다. 이때 각 스레드는 메모리 충돌 없이 빠르게 자신이 필요한 청크 메모리들을 할당받아 자신의 출력 데이터를 저장할 수 있도록 했다. 또한, GPU 메모리가 가득 차도 무중단 방식으로 초병렬 연산과 결과 출력 및 저장을 지속할 수 있다. 김민수 교수 연구팀은 INFINEL 기술의 성능을 다양한 실험 환경과 데이터 셋을 통해 검증했다. 종래의 최고 성능 동적 메모리 관리자 기술에 비해 약 55배, 커널을 2번 실행하는 2단계 기술에 비해 약 32배 연산 성능이 향상됐디. ■기대효과 이 기술을 사용하면 가정에서 사용하는 메모리 크기가 작은 GPU로도 수 테라 바이트 이상의 출력 데이터가 발생하는 고난이도 연산을 빠르게 수행할 수 있다고 연구진은 설명했다. 김민수 전산학부 교수는 “생성형 AI나 메타버스 시대에는 GPU 컴퓨팅의 대규모 출력 데이터를 빠르게 처리할 수 있는 기술이 중요해질 것으로 예상되며, INFINEL 기술이 그 일부 역할을 할 수 있을 것”이라고 말했다. 이번 연구에는 박성우 박사과정 학생이 제1 저자, 김민수 교수가 창업한 그래프 딥테크 기업인 (주)그래파이 소속 오세연 연구원이 제 2 저자, 김민수 교수가 교신 저자로 참여했다. 연구결과는 국제 학술지 'PPoPP' 3월 4일자 발표됐다. 한편, 이번 연구는 과기정통부 IITP SW스타랩 및 ITRC 사업, 한국연구재단 선도연구센터인 암흑데이터 극한 활용 연구센터의 지원을 받아 수행됐다.

2024.03.07 16:29박희범

엣지 AI 칩, 6년간 '2배' 성장 전망…PC·스마트폰서 채택 활발

엣지 AI용 프로세서 시장이 PC, 스마트폰 등 다양한 산업의 수요 증가로 견조한 성장세를 이뤄낼 것으로 예상된다. 23일 시장조사업체 옴디아에 따르면 세계 엣지 AI용 반도체 시장 규모는 지난 2022년 310억 달러(한화 약 41조2천200억 원)에서 오는 2028년 600억 달러(약 79조7천300억 원)로 2배가량 증가할 전망이다. 엣지 AI는 중앙 집중형 서버를 거치지 않고 기기 주변의 로컬 네트워크를 통해 데이터를 처리하는 기술을 뜻한다. 엣지 AI는 최근 IT 업계의 화두로 떠오른 온디바이스 AI와도 맞닿아 있다. 온디바이스 AI는 기기 자체에서 AI 기능을 처리하는 기술로, 실제 구동 환경에서는 클라우드 및 엣지 네트워크를 동시에 활용하는 '하이브리드 AI' 운용이 필요하기 때문이다. 옴디아는 이들 기술과 연관된 AI 가속기, AI용 주문형 반도체, GPU(그래픽처리장치) 등 관련 산업이 견조한 성장세를 보일 것으로 내다봤다. 예상 시장 규모는 2022년 310억 달러에서 2028년 600억 달러로, 연평균 성장률은 11% 달할 전망이다. 실제로 AI 시대를 겨냥한 시스템 반도체는 스마트폰, 노트북 등에서 점차 도입이 확대되는 추세다. 스마트폰의 경우 삼성전자, 퀄컴, 미디어텍 등이 최신 모바일 AP(애플리케이션 프로세서)에 AI 성능을 앞다퉈 강조하고 나섰다. 일례로 삼성전자는 올해 초 '엑시노스 2400'을 공개하면서 AI 성능이 전작 대비 14.7배 향상됐다고 설명한 바 있다. 퀄컴이 지난해 10월 공개한 '스냅드래곤 8 3세대'는 내부 '헥사곤' NPU(신경망처리장치) 성능을 98%, 효율성을 40%가량 높였다. 노트북용 프로세서도 상황은 비슷하다. 애플 'M3' 시리즈, 퀄컴 '스냅드래곤 X 엘리트', AMD '8000G' 등 최신 프로세서들이 모두 AI 기능 구현을 위한 성능을 갖췄다. 옴디아는 "최근 엣지 AI용 반도체가 활발히 출시되면서 AI PC로의 전환을 앞당기고 있다"며 "스마트폰 시장도 현재 3분의 2 이상이 어떠한 형태로든 AI 기능을 갖추고 있어, 프리미엄 제품을 중심으로 성장세가 예상된다"고 밝혔다. 국내 스타트업들도 엣지 AI용 NPU 시장 진출을 준비하고 있다. 모빌린트는 80 TOPS(TOPS: 초당 1조 번의 정수 연산처리) 수준의 고성능 NPU를 개발해, 올해 첫 시제품 양산을 목표로 하고 있다. 딥엑스는 올해 산업별로 다른 성능을 갖춘 온디바이스용 NPU 4종을 양산하고, 내년에는 LLM(대규모언어모델) 및 생성형 AI를 구동하는 초저전력 온디바이스 AI 칩을 출시할 계획이다. 옴디아는 "AI ASSP(특정 용도로 설계된 표준 칩)가 전통적인 GPU의 자리를 흡수해 전체 엣지 AI용 프로세서 시장의 비중을 19%에서 28%로 확대할 것"이라며 "PC 시장은 기존 스마트폰 칩셋 구조인 CPU·GPU·NPU를 점점 더 많이 채택하고 있다"고 설명했다.

2024.02.23 14:39장경윤

엔비디아, 4분기 매출 265% 급증…AI 서버로 '퀀텀 점프'

글로벌 팹리스 엔비디아가 또 다시 '어닝 서프라이즈'를 달성했다. 폭발적인 인공지능(AI) 서버 수요 증가세에 따른 효과로, 회사는 올해 상반기에도 당초 예상을 뛰어넘는 매출을 달성할 수 있을 것으로 내다봤다. 엔비디아는 22일 2023 회계연도 4분기(2024년 1월 종료) 매출이 221억 달러로 전년 동기에 비해 265% 증가했다고 발표했다. 이는 전분기에 비해서도 22% 늘어난 것이며 증권가 전망치 204억 달러를 크게 웃돌았다. 같은 분기 주당 순이익(GAAP 기준)도 4.93달러로 전분기 대비 33%, 전년동기 대비 765% 늘어났다. 엔비디아 호실적의 주역은 데이터센터 사업이다. 해당 분기 데이터센터 사업 매출은 184억 달러로 전분기 대비 27%, 전년동기 대비 409% 증가했다. 젠슨 황 엔비디아 최고경영자(CEO)는 "가속컴퓨팅 및 생성형 AI가 티핑 포인트(특정 현상이 급속도로 커지는 지점)에 도달했다"며 "국가, 산업을 가리지 않고 전 세계적으로 수요가 급증하고 있다"고 밝혔다. 엔비디아는 올 상반기 실적에 대해서도 긍정적인 전망을 내비쳤다. 회사는 2024 회계연도 1분기(2024년 4월 종료) 매출 예상치로 전분기 대비 8% 증가한 240억 달러를 제시했다. 이 전망치 역시 증권가 예상보다 9% 가량 상회한 수치다. 현재 엔비디아는 AI 산업의 핵심인 고성능 그래픽처리장치(GPU)와 이를 기반으로 한 AI 가속기 시장을 사실상 독과점하고 있다. 올해에도 3나노미터(nm) 기반의 신규 제품 'B100' 출시를 목표로 하는 등, 시장 지배력 유지를 위한 행보를 이어가고 있다.

2024.02.22 08:50장경윤

시스코-엔비디아, 'AI 네트워킹' 동맹 체결

시스코와 엔비디아가 인공지능(AI) 네트워킹 인프라 동맹을 체결했다. 시스코는 지난주 암스테르담에서 개최한 '시스코 라이브'에서 엔비디아와 AI 인프라 솔루션 파트너십을 발표했다. 이 파트너십에 따르면, 시스코는 엔비디아 GPU 클러스터에 특수목적 이더넷 네트워킹 기반 솔루션을 제공한다. 엔비디아의 GPU 클러스터를 이더넷 인프라로 확장할 수 있는 솔루션이다. 엔비디아의 텐서코어 GPU는 시스코 UCS-X 시리즈, UCS-X 시리즈 다이렉트 등 시스코 UCS M7 세대 랙 및 블레이드 서버에서 사용가능하다. 각종 AI 관련 프레임워크와 사전훈련 모델, 개발 도구 등을 포함하는 엔비디아 AI 엔터프라이즈를 시스코를 통해 사용할 수 있다. 시스코는 엔비디아와 참조 아키텍처를 공동 검증하고 고객에게 제공한다. 생성 AI 추론을 위한 플렉스포드, 플래시스택용 시스코검증설계(CVD, Cisco Validated Design)를 시작으로 여러 검증 아키텍처가 출시될 예정이다. 시스코는 넥서스 대시보드, 시스코 인터사이트 등을 사용해 엔비디아 GPU 클러스터 운영을 간소화한다. 시스코 사우전드아이즈와 시스코 가시성 플랫폼이 AI 인프라 모니터링을 제공한다. AI 인프라의 핵심인 GPU의 성능을 높이려면 여러 GPU를 연결하는 네트워킹 기술이 필요하다. 여기서 GPU 연결에 노드 내부와 노드 외부 등 두 종류의 네트워킹이 요구된다. LLM 환경은 기존 네트워크 물량 대비 최소 3~4배의 네트워킹 물량이 필요하다. 손실없는 완벽한 논블로킹 네트워킹 구조를 요구하므로, 네트워킹 장비와 케이블 수가 문자그대로 '기하급수'로 증가한다. 엔비디아의 경우 표준 아키텍처에 의하면, DGX 같은 전용 서버 한 대에 GPU를 8개씩 장착할 수 있다. 8개의 GPU는 노드 내 연결은 엔비디아의 NV링크란 독점 기술을 쓴다. 그리고 GPU 서버를 여러대 연결하는 노드 외 연결은 고대역폭 인피니밴드나 이더넷 스위치를 이용한다. 엔비디아는 H100 GPU의 노드 연결에 400Gbps의 고대역폭 네트워킹을 기본 사양으로 권고한다. 엔비디아는 고사양 GPU 신제품을 내놓을 때마다 대폭의 네트워킹 사양 업그레이드를 요구해왔다. V100 GPU에서 A100으로 넘어가면서 네트워킹 사양을 100Gbps에서 200Gbps로 올렸다. 성능 요구치는 초당 300GB에서 600GB로 올렸다. H100의 성능 요구치는 초당 900GB에 이른다. 만약 네트워킹 사양을 부족하게 구성하면 아무리 많은 GPU를 구비한다 해도 LLM 학습이나 추론 성능이 떨어질 수밖에 없다. 빠른 AI 서비스를 출시하려면 고비용의 대규모 AI 인프라 도입에서 특히 각 연산 요소 간 통신에 필요한 네트워킹이 필수적이다. 현재 엔비디아 GPU 클러스터링의 네트워킹 인프라는 인피니밴드 중심이다. 델오로그룹 분석에 의하면, 전세계 엔비디아 기반 AI 인프라의 90%는 엔비디아 멜라녹스의 인피니밴드를 사용중인 것으로 추정된다. 인피니밴드가 이더넷을 압도하며 AI 인프라에 활용된 건 고대역폭과 안정성 때문이다. 하지만 기술의 발전으로 인피니밴드로만 구현가능했던 부하분산, 안정성, 고대역폭, 저지연시간 등의 요건이 이더넷에서도 충족가능해졌다. AI 인프라는 다수의 GPU 간 병렬 연산을 빠르게 수행하기 위해 다양한 부하분산 기술을 필요로 한다. RDMA, GPU 간 P2P, GPU 다이렉트스토리지 등이 활용된다. 이중 대표적인 오프로딩 기술인 RDMA는 워크로드 내 존재하는 다수의 프로토콜 계층을 건너뛰는 제로카피 기술 'DMA'를 네트워킹까지 확장한 것이다. RDMA는 서버 간 혹은 서버와 스토리지 간 간섭없는 메모리 접근을 제공해 GPU 간 병렬 연산 능력을 극대화한다. 시스코의 경우 실리콘원 G200 스위치 ASIC을 통해 고급 혼잡 관리, 패킷 스프레이 기술, 링크 장애 조치 등 AI 환경에 유용한 여러 기능을 제공한다. 이 ASIC의 경우 전력 효율도 우월해 인피니밴드 대비 운영비용을 더 절감할 수 있다. 인피니밴드보다 이더넷을 AI 인프라에 활용할 경우 운영 인력 확보도 더 용이해진다. 인피니밴드와 달리 이더넷은 표준 기술이고 경쟁 시장이기 때문에 개방적이면서 누구나 쉽게 구축 및 운영할 수 있다. 이미 이더넷으로 구축된 외부 서비스와 연동도 더 쉽다. 운영 인력의 저변도 매우 넓다. 척 로빈스 시스코 회장 겸 최고경영자는 “AI는 우리가 일하고 생활하는 방식을 근본적으로 변화시키고 있으며, 이러한 규모의 변화로 인해 기업은 인프라를 재고하고 재구축해야 한다는 것을 역사를 통해 알 수 있다”며 "엔비디아와 훌륭한 파트너십을 강화하면 기업은 AI 솔루션을 대규모로 구축, 배포, 관리 및 보호하는 데 필요한 기술과 전문 지식을 갖추게 될 것”이라고 밝혔다. 젠슨 황 엔비디아 CEO는 "모든 기업이 생성 AI를 통해 비즈니스를 혁신하기 위해 경쟁하고 있다"며 “시스코와 긴밀히 협력해 기업이 평생 가장 강력한 기술인 AI의 혜택을 받는 데 필요한 인프라를 그 어느 때보다 쉽게 확보할 수 있도록 만들고 있다”고 강조했다.

2024.02.13 11:56김우용

젠슨 황 엔비디아 "세계 각국, AI 인프라 독자 구축해야"

젠슨 황 엔비디아 CEO가 세계 각국이 독자적인 AI(인공지능) 인프라를 구축해야 함을 강조했다고 로이터통신 등이 12일 보도했다. 이날 두바이에서 열린 '세계정부정상회의(WGS) 2024'에 참석한 황 CEO는 "AI의 경제적 잠재력을 활용하면서 자국의 문화를 보호하려면 모든 국가가 자체 AI 인프라를 보유해야 한다"며 "다른 국가가 그런 일을 하도록 허용해서는 안 된다"고 말했다. 그는 이어 "가능한 한 빨리 AI 산업의 주도권을 잡고, 업계를 활성화하고, 인프라를 구축하는 것은 전적으로 각국 정부에 달렸다"고 덧붙였다. AI 산업의 위험성에 대해서는 "과도한 두려움"이라는 입장을 밝혔다. 황 CEO는 "자동차, 항공 등 다른 신기술 및 산업도 성공적으로 규제된 바 있다"며 "AI에 대한 공포를 부추기면서 아무 것도 하지 않도록 장려하는 사람들은 실수를 하고 있다고 생각한다"고 강조했다. 현재 엔비디아는 AI 구현의 핵심으로 꼽히는 고성능 서버용 GPU(그래픽처리장치) 분야에서 압도적인 시장 점유율을 차지하고 있다. 덕분에 최근 엔비디아의 시가총액은 1조8천200억 달러까지 상승하면서 지난 2002년 이후 처음으로 아마존을 앞지르기도 했다.

2024.02.13 08:49장경윤

윈도서버2025 가을 출시…역대급 업데이트 예고

마이크로소프트가 온프레미스 서버용 운영체제(OS)의 차세대 버전인 '윈도서버 2025'를 오는 가을 중 출시한다. 윈도서버2025는 핫패치, 차세대 액티브디렉토리(AD) 및 SMB 프로토콜, 미션크리티컬 데이터 및 스토리지, 하이퍼V 업데이트, AI 기능 등을 포함한다. 마이크로소프트는 최근 올 가을 출시될 윈도서버2025의 새 기능을 소개하는 블로그를 게재했다. 작년 11월 열린 연례컨퍼런스 '마이크로소프트 이그나이트 2023'에서 윈도서버 차기 버전을 소개했었다. 당시엔 버전명 없이 '윈도서버 브이닷넥스트'란 이름으로 소개했고, 최근 공식 버전명을 발표했다. 윈도서버는 작년 출시 30년을 맞았다. 마이크로소프트는 윈도서버2025를 10년 내 가장 혁신적 업데이트라고 강조했다. ■ 서버 중단 없는 온프레미스 OS 패치 윈도서버2025는 시스템 재부팅 없이 정기 업데이트를 설치할 수 있는 '핫패치'를 제공한다. 핫패치를 이용하면 구동중인 워크로드를 중단하지 않고 매월 정기 업데이트를 실시할 수 있다. 윈도서버2022 버전의 경우 애저 에디션만 핫패치를 이용할 수 있었다. 윈도서버2025는 애저 아크의 애저 포털을 통해 온프레미스 서버 워크로드의 핫패치를 수행한다. 마이크로소프트는 지난 이그나이트에서 사내 X박스팀이 윈도서버 핫패치를 이용해 1천개 이상의 서버에서 실행되는 18개의 서로 다른 서비스를 시스템 중단없이 업데이트한 사례를 공유했다. X박스팀은 2개 서비스에서 120개의 SQL서버를 실행하며 이 워크로드는 15년째 실행되고 있다. 현재 X박스팀의 윈도서버 워크로드는 애저 가상머신(VM)에서 실행되고 있다. 이 팀은 윈도서버2022 애저 에디션을 사용해 연간 12회 실시해야 하는 업데이트 패치를 48시간 내 모든 시스템에 완료했다. 업데이트 설치를 위한 시스템 다운은 없었고 전통적인 패치 시간보다 더 짧게 걸렸다. 윈도서버2025 핫패치는 온프레미스 자체에서 일어나지 않으므로 애저 구독을 해야 한다. 단 하이퍼컨버지드인프라(HCI)인 애저스택ACI를 사용하는 경우 따로 결제하지 않아도 된다. ■ 액티브디렉토리와 SMB 프로토콜 차기 버전 윈도서버2025는 차세대 액티브디렉토리(AD)와 서버메시지블록(SMB) 프로토콜을 포함한다. AD는 1999년 처음 공개된 도메인 내 개체 관리 서비스다. 윈도서버2016 버전 후 별다른 업데이트가 없었다. 새로운 AD는 도메인 제어 데이터베이스 페이지 크기를 8K에서 32K로 늘렸다. AD가 처음 도입된 윈도2000 당시만 해도 시스템이 별로 크지 않았지만, 오늘날 시스템은 수백개 코어를 이용하고 있어 기존 도메인 관리 데이터베이스의 확장성에 제한을 받았다. 또한 TLS 1.3에 대한 LDAP 및 SCHANNEL 지원, 기밀 속성에 대한 암호화 향상, NTLM 인증 제거 및 케르베로스(Kerberos) 기본 설정, 복제 우선 순위 지정 등이 새 버전 업데이트에 포함된다. 윈도 파일공유 프로토콜인 SMB도 업그레이드된다. QUIC을 통한 SMB가 윈도서버2025에 통합된다. 안전한 SMB VPN을 생성해 사용자에게 암호화된 통신과 향상된 성능을 제공한다. QUIC은 네트워크 프로토콜로 TCP 대신 UDP를 사용한다. 윈도서버2025에서 파일 공유를 TCP/IP나 RDMA 대신 UDP로 할 수 있다는 것이다. 현재 QUIC을 통한 SMB는 윈도서버2022 애저 에디션에만 도입돼 있다. 윈도서버 2025는 데이터센터, 스탠더드 에디션에서도 QUIC을 통한 SMB를 사용할 수 있다. TLS 1.3 연결로 보안 연결을 수행할 수 있다. ■ GPU도 가상화하는 하이퍼V 윈도의 가상화 하이퍼바이저인 '하이퍼V'도 개선된다. 하이퍼V는 현재 윈도, 애저, 애저스택, 윈도서버, X박스 등의 하이퍼바이저로 사용되고 있다. 새로운 하이퍼V는 GPU 가상화를 할 수 있다. 가상GPU 자원을 직접 VM 내부에 매핑함으로써 여러 VM이 복수의 GPU 클러스터를 분할해 할당받을 수 있다. 윈도서버 GPU-P 지원이란 이 개선은 GPU 파티션을 만들어 VM에 할당하는 것이다. 실시간 마이그레이션, 장애조치, 클러스터링을 지원한다. GPU와 관련된 고가용성이 가능해진다. 하이퍼V가 동적 프로세서 호환성을 제공하게 된다. 시스템 가동 시 애초에 할당된 프로세서 외에도 클러스터 전체의 모든 프로세서를 살펴보고 동종 집합의 경우 사용가능하게 만들어준다. 서버 OS를 새 버전으로 업그레이드할 때 기존 애플리케이션과 데이터는 보호된다. 기존 워크로드의 애플리케이션과 데이터는 컨테이너화되고, OS 업데이트 후 재활용된다. 현재 윈도10과 윈도11 클라이언트의 OS 버전 업그레이드 방식과 동일하다. ■ 더 빨라지고 안전해지는 스토리지 윈도서버2025는 새로운 NVMe 드라이버를 쓸 수 있다. NVMe 디바이스와 관련된 성능을 개선하고 CPU 오버헤드를 줄이려는 목적이다. 새 드라이버를 사용하면 NVMe 디바이스 성능을 70% 향상시킬 수 있다고 한다. 정식 버전은 90% 성능 개선을 예고하고 있다. 소프트웨어정의스토리지(SDS)를 구성할 때 사용가능한 SAN용 NVMeoF(NVMe오버패브릭) TCP 이니시에이터가 출시된다. 스토리지 복제본 사용 성능이 3배 향상될 예정이다. ReFS 네이티브 중복제거도 제공된다. ReFS 중복제거가 학데이터에 최적화되거나 핫데이터를 사용하도록 설정된다.

2024.02.08 12:46김우용

마우저, 어드밴텍 '인텔 아크 기반 GPU 카드' 공급

마우저일렉트로닉스는 어드밴텍의 'VEGA-P110' PCIe 인텔 아크 A370M 임베디드 GPU 카드를 공급한다고 6일 밝혔다. 어드밴텍의 고성능 임베디드 GPU 카드는 16개의 PCIe 인터페이스와 8개의 Xe 코어, 128개의 인텔 Xe 매트릭스 확장 엔진을 갖췄다. 또한 인텔 딥 링크(Deep Link) 및 인텔 오픈비노 등 인텔의 최첨단 AI 기술이 탑재됐다. 이를 통해 VEGA-P110 GPU 카드는 CPU/GPU 워크로드를 최적화함과 동시에, AI 및 그래픽 컴퓨팅 성능을 가속화할 수 있다. VEGA-P110 GPU 카드에는 기본 1천550MHz GPU 클럭 속도는 물론, 4GB의 64b GDDR6 메모리가 포함돼 있다. 마우저는 "VEGA-P110은 증가하는 GPU 및 비전 AI 성능에 대한 요구 사항을 충족하고, 다양한 제품 지원을 통해 오픈 AI 생태계를 확장하고자 하는 어드밴텍과 인텔 간의 새로운 협력의 결과"라고 밝혔다.

2024.02.06 11:22장경윤

"엔비디아, GPU 생산에 인텔 패키징 기술도 활용"

엔비디아가 서버용 GPU 생산량 확대를 위해 이르면 올해 2분기부터 대만 TSMC 이외에 인텔 3차원 반도체 적층 기술을 활용할 전망이다. 대만 경제일보(經濟日報)는 31일(현지시간) 업계 관계자를 인용해 이같이 보도했다. 엔비디아가 현재 시장에 공급하는 A100/H100 등 서버용 GPU는 TSMC의 2.5차원 반도체 적층 기술인 'CoWoS'(칩 온 웨이퍼 온 서브스트레이트)로 생산된다. 엔비디아는 현재 TSMC CoWoS 처리 역량 중 90% 가량을 고성능 GPU 생산에 활용한다. 그러나 수요 폭증에 처리량이 따라가지 못해 공급 지연 현상이 발생하며 일부 회사는 AMD나 인텔 등 경쟁사 CPU·GPU로 전환을 시도하기도 한다. 경제일보는 "지난 해 12월 기준 TSMC의 월간 CoWoS 패키지 처리 역량은 웨이퍼 4만 장 가량이며 인텔이 가지고 있는 3차원 반도체 적층 기술 포베로스(FOVEROS) 활용시 추가로 월간 5천 장을 처리할 수 있을 것"이라고 전망했다. 단, 인텔은 엔비디아 GPU를 구성하는 칩 생산에 관여하지 않는다. TSMC와 기타 파운드리가 생산한 GPU와 HBM 메모리 등 구성 요소를 미국 오레곤과 뉴멕시코 주 소재 시설로 보내 최종 제품으로 완성하는 방식이다. 경제일보는 "엔비디아가 TSMC에 이어 인텔 포베로스 기술까지 활용하면 서버 시장의 공급 적체 해소에 도움을 줄 것"이라고 평가했다.

2024.02.01 10:04권봉석

AI 네트워킹, 인피니밴드에서 이더넷으로 대세 바뀐다

챗GPT 등장 후 생성형 인공지능(AI) 기반 서비스가 모든 산업군에 변화를 만들고 있다. AI 기술은 모든 산업의 새로운 먹거리로 인식되는 상황이다. 대기업, 인터넷서비스기업, 클라우드 기업 등은 AI 시장을 선점하려 대대적인 물량 투자와 함께 기업 인프라를 개혁하고 있다. 오늘날 AI 기술은 챗GPT 이전과 이후로 나뉜다고 할 정도다. 챗GPT를 뒷받침하는 트랜스포머 아키텍처는 인간과 소통하듯 '자연스러운' 대규모언어모델(LLM)을 만들어냈다. 그리고 이 '자연스러움'을 더욱더 인간처럼 구현하려면 방대한 규모의 고성능 GPU 클러스터 인프라가 필수적이다. AI 인프라의 근간인 GPU, 서버, 스토리지, 네트워크 등은 수많은 제품을 요구하는 고비용 서비스다. LLM의 경우 GPU 갯수를 늘릴수록 학습 시간을 획기적으로 늘릴 수 있는 구조다. 예를 들어 2년 전 나온 GPT-3.5의 경우 1만개의 GPU로 서비스된다. GPT-3.5를 GPU 한개로 학습시킨다면 약 355년이 필요하다. AI 인프라 기술 그 자체는 전과 크게 달라지지 않았다. AI 인프라가 작은 연산 자원을 대규모로 한대 묶어 성능을 획기적으로 높이는 고성능컴퓨팅(HPC) 기술을 근간으로 한다. HPC 기술은 처음에 CPU를 중심으로 발전하다 21세기 들어 GPU 클러스터로 발전했다. 현재 LLM 학습과 추론을 위한 GPU 시장은 엔비디아 독주 체제다. 엔비디아 텐서코어 H100이나 A100 GPU는 칩셋 하나당 5천만원 내외의 단가로 거래되고, 그마저도 공급부족으로 품귀현상을 보인다. 주문한다고 해도 구하기 쉽지 않고, 가격도 고공행진중이다. 오픈AI의 GPT, 구글 제미나이, 메타 라마 등 유명 LLM의 발전과 출시는 GPU의 빅테크 쏠림과 공급부족 현상을 한층 부추기고, 일반 수요자를 더 안달나게 만든다. 이런 독점 체제를 깨기 위해 AMD, 인텔 등이 경쟁 제품을 속속 출시중이다. ■ AI 인프라에서 네트워킹이 왜 중요한가 AI 인프라의 핵심인 GPU의 성능을 높이려면 여러 GPU를 연결하는 네트워킹 기술이 필요하다. 여기서 GPU 연결에 노드 내부와 노드 외부 등 두 종류의 네트워킹이 요구된다. 엔비디아의 경우 표준 아키텍처에 의하면, DGX 같은 전용 서버 한 대에 GPU를 8개씩 장착할 수 있다. 8개의 GPU는 노드 내 연결은 엔비디아의 NV링크란 독점 기술을 쓴다. 그리고 GPU 서버를 여러대 연결하는 노드 외 연결은 고대역폭 인피니밴드나 이더넷 스위치를 이용한다. 엔비디아는 H100 GPU의 노드 연결에 400Gbps의 고대역폭 네트워킹을 기본 사양으로 권고한다. 엔비디아는 고사양 GPU 신제품을 내놓을 때마다 대폭의 네트워킹 사양 업그레이드를 요구해왔다. V100 GPU에서 A100으로 넘어가면서 네트워킹 사양을 100Gbps에서 200Gbps로 올렸다. 성능 요구치는 초당 300GB에서 600GB로 올렸다. H100의 성능 요구치는 초당 900GB에 이른다. 만약 네트워킹 사양을 부족하게 구성하면 아무리 많은 GPU를 구비한다 해도 LLM 학습이나 추론 성능이 떨어질 수밖에 없다. 빠른 AI 서비스를 출시하려면 고비용의 대규모 AI 인프라 도입에서 특히 각 연산 요소 간 통신에 필요한 네트워킹이 필수적인 것이다. 고성능 AI 인프라 수용을 위한 네트워킹은 전통적인 워크로드 수용을 위한 인프라보다 거대할 수밖에 없는 구조다. 노드 내 GPU 간 연산 능력은 4개의 GPU를 내부 버스를 통해 P2P로 연결하는 NV링크 또는 서버 내 8개의 GPU를 연결하기 위해 NV스위치를 통해 극대화 가능하다. 여러 GPU 노드를 클러스트링하고 각 GPU 노드들의 통신 간 병목현상을 최소화하려면 GPU 당 한개의 고성능의 네트워크인터페이스카드(NIC)를 할당하게 된다. 각 NIC는 400Gbps 대역폭을 수용할 수 있어야 한다. GPU 한개에 1대의 400Gbps급 스위치를 연결하게 된다. 400Gbps가 제공되는 고사양의 스위치를 근간으로 2티어에서 3티어 구조의 '리프스파인(Leaf-spine)' 아키텍처를 구성하므로 대형 GPU 노드 클러스터의 경우 최소 수십대의 400Gbps급 스위치가 기본 제공돼야 한다. 엔비디아의 멀티 GPU 클러스터 상품인 '슈퍼팟(SuperPOD)'의 경우 32대의 DGX H100 노드를 최대 256개의 GPU 클러스터링으로 연결하며, 이론적으로 최대 57.8 TBps의 데이터 연산 성능을 제공하게 돼 있다. 따라서 기존 네트워크 물량 대비 최소 3~4배의 네트워킹 물량이 필요해진다. LLM의 경우 손실없는 완벽한 논블로킹 네트워킹 구조를 요구하므로, 네트워킹 장비와 케이블 수가 문자그대로 '기하급수'로 증가한다. ■ 왜 인피니밴드보다 이더넷인가 AI 인프라는 다수의 GPU 간 병렬 연산을 빠르게 수행하기 위해 다양한 부하분산 기술을 필요로 한다. RDMA, GPU 간 P2P, GPU 다이렉트스토리지 등이 활용된다. 이중 대표적인 오프로딩(Off-Loading)기술인 RDMA(Remote Direct Memory Access)는 워크로드 내 존재하는 다수의 프로토콜 계층을 건너뛰는 제로카피 기술 'DMA(Direct Memory Access)'를 네트워킹까지 확장한 것이다. RDMA는 서버 간 혹은 서버와 스토리지 간 간섭없는 메모리 접근을 제공해 GPU 간 병렬 연산 능력을 극대화한다. 인피니밴드나 RDMA오버컨버지드이더넷(RoCE)를 통해 활용가능하다. 수백개 GPU가 병렬처리를 통해 수백, 수천 시간을 학습하고 빠르게 서비스를 제공하려면 네트워크의 안정성도 중요하다. 잠깐의 방해도 재연산을 하게 만들 수 있다. 과거 네트워킹 기술의 성능과 안정성 면에서 인피니밴드가 이더넷보다 앞선 것으로 여겨져왔다. 인피니밴드가 이더넷의 대역폭을 월등히 앞섰기 때문에 HPC 분야에서 주료 인피니밴드를 활용했었다. 엔비디아 DGX 서버도 이더넷보다 인피니밴드를 장려한다. 안정성의 측면에서 인피니밴드는 패킷 무손실을 전제하지만, 이더넷은 어느정도의 패킷손실을 전제로 한다. LLM 인프라가 HPC 기술을 바탕에 두기 때문에 GPU 클러스터의 네트워킹은 인피니밴드를 주로 쓴다. 만약 앞서 계산했듯 기존 비즈니스 워크로드 대비 3~4배 많은 네트워킹 인프라 물량을 인피니밴드로 구성하면 비용 부담이 적지 않다. 특히 인피니밴드 기술은 제조사 간 경쟁이 사라진 독점 기술이다. 과거 인피니밴드 솔루션을 개발하고 공급해오던 기업들이 하나둘 대형 업체에 흡수되거나 사라졌는데, 마지막 독립 업체로 남아 있던 멜라녹스도 엔비디아에 인수됐다. 지금은 엔비디아가 인피니밴드 기술을 독점 공급하는 상황이다. 공개 표준 기술이 아니므로 인피니밴드 핵심 기술은 비공개다. 발전 방향이나 정도가 엔비디아 결정에 100% 달려있다. 비용 구조도 엔비디아 종속적이다. 심지어 인피니밴드 스위치 공급 부족 현상이 GPU 공급부족보다 더 심각하다는 말까지 나온다. 비용, 기술 모두 특정업체 종속적인 상황에서 인피니밴드는 외부의 여러 워크로드를 LLM에 연동하기 힘들게 하는 장애물이 된다. 인피니밴드를 다룰 줄 아는 전문가는 매우 희귀하며, 기술적 어려운 정도도 매우 높다. AI 인프라에서 인피니밴드가 당연시 된 건 이더넷 기술에 대한 오해 때문이기도 하다. 얼마전까지 인피니밴드는 속도 면에서 이더넷을 앞섰으며, 400Gbps란 대역폭은 인피니밴드의 전유물처럼 여겨졌었다. 하지만, GPU 제조사인 엔비디아도 네트워킹 영역의 무게중심을 인피니밴드에서 이더넷으로 이동하고 있을 정도다. 대부분의 기존 AI 네트워크 인프라는 인피니밴드라는 프로토콜과 특정 업체가 시장을 독점했지만, 이젠 표준 기반 기술을 통해 비용 이슈 제거 및 편리한 운영 관리가 가능한 표준 기반의 RDMA 방식인 RoCE가 인피니밴드 기술을 대체할 것으로 기대된다. 근래 들어 이더넷 진영은 400G, 800G 제품을 선보이면서 인피니밴드와 동등한 성능을 제공하게 됐다. 지금은 인피니밴드나 이더넷이나 현존하는 NIC과 스위치 포트에서 낼 수 있는 최대한의 대역폭이 400Gbps로 똑같다. 이젠 인피니밴드와 이더넷 모두에서 어느정도 동급 성능을 기대할 수 있을 정도로 이더넷 기술의 진화는 뚜렷해졌고 엔비디아의 GPU 성능 테스트 도구인 NCCL을 이용해 인피니밴드와 RoCE를 비교 테스트 결과를 보더라도 대역폭과 지연시간이 동등하거나 약간의 차이만 보일정도로 AI 인프라 영역에서의 이더넷 기술의 상당한 신뢰성을 제공할 수 있는 프로토콜로 발전하고 있다. RoCEv2(버전2)는 인피니밴드의 헤더와 RDMA 기술을 그대로 탑재했으며, TCP 제거, UDP 활용 등을 통해 이더넷 스위치의 지연시간을 개선하고 있다. 안정성 면에서도 PFC, ECN 등 이더넷의 표준 기술로 패킷 손실을 최대한 상쇄할 수 있다. 무엇보다 이더넷은 표준 기술이고 치열한 경쟁을 보이는 시장이기 때문에 개방적이면서 누구나 쉽게 구축 및 운영할 수 있다. 이미 이더넷으로 구축된 외부 서비스와 연동도 더 쉽다. 운영 인력의 저변도 매우 넓다. 기술 로드맵상으로도 인피니밴드와 이더넷은 800Gbp란 같은 방향을 가리키고 있는데, 오히려 이더넷의 대역폭 증가가 인비니밴드를 앞선 상황이다. 인피니밴드의 800G 이후 계획은 시점을 확정하지 않은 반면, 이더넷의 800G는 이미 상용화됐다. 2025년이면 1.6Tbps 기반 패브릭 기술 제품도 출시될 것으로 예상된다. 이같은 흐름속에 시스코는 LLM 인프라용 제품으로 넥서스 시리즈 스위치를 제공하고 있다. 네트워킹 프로비저닝과 모니터링에 쓰이는 오케스트레이션 툴 '넥서스 대시보드'는 대규모 AI 인프라의 빠른 구축과 관리를 위해 턴키 기반 자동화와 로스리스 안정성을 보장하는 가시성을 제공한다. 또한 지연시간에 민감한 AI 트래픽의 가시성을 제공하는 분석 도구와 솔루션도 이용가능하다. 시스코는 특히 전용 SoC 칩으로 넥서스 스위치를 구동해 인피니밴드 장비보다 더 적은 전력으로 고성능 AI 인프라를 구동할 수 있다고 강조한다. AI 인프라에서 서서히 독점의 시대가 저물고 있다. 개방형 표준 제품과 기술이 갈수록 높아지는 AI 인프라 투자 및 운영 비용을 절감하고 기업 경쟁력을 높이는 열쇠가 될 것이다.

2024.01.30 16:07김우용

AIOCP, 데이터 서버용 그래픽카드 AI GPU 컨설팅 무료 제공

이호스트ICT가 GPU 성능을 설정하고 효율적인 구매를 돕는 AI GPU 컨설팅 서비스를 AIOCP를 통해 무료 제공한다고 29일 밝혔다. AIOCP는 이호스트ICT에서 운영하는 서버 전문 브랜드다. 기계학습(ML)이나 딥러닝 등의 AI 연구 개발에 필요한 작업 요구 사항을 분석하여 최적화된 성능을 구현하기 위한 컨설팅 서비스를 제공한다. DDoS방어, 방화벽 운영, 네트워크 모니터링, 장애 대응 솔루션도 무상 제공하고 있다. 또한, 이호스트ICT는 티어 3급 고가용성을 확보한 IDC 시설을 통해 4만 킬로와트(kw) 규모의 안정적인 고전력 IDC 환경을 제공한다. 김철민 대표는 "이호스트ICT는 서버 전문 브랜드 AIOCP를 보유하고 있어, GPU 서버 뿐 아니라 관련된 통합 인프라를 안정적으로 공급 가능한 기업"이라며 "4차 산업을 이끄는 AI 기술을 함께 만들어간다는 자부심을 가지고 고객 만족과 사업 확장을 위해 노력하고 있다"라며 포부를 전했다.

2024.01.29 16:52남혁우

  Prev 1 2 3 4 5 6 7 8 9 10 Next  

지금 뜨는 기사

이시각 헤드라인

윤곽 잡힌 K-로봇 청사진…자원 효율적 안배 집중해야

"갤S25 엣지, 더 싸게 사자"...자급제폰 온라인몰서 인기

닛산 몰락·혼다 후퇴 '후진하는 일본차'..."남일 아냐"

"기술이 뚫려도 제도가 막았어야"...유심 해킹 민낯

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현