• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 인터뷰
  • 인사•부음
  • 글로벌뉴스
창간특집
인공지능
배터리
컨퍼런스
칼럼•연재
포토•영상

ZDNet 검색 페이지

'서버 GPU'통합검색 결과 입니다. (24건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

[인터뷰] "엔비디아 사로 잡은 비결, '델 AI 팩토리' 덕분"

"바이 델(Buy Dell·델 제품을 사세요), 바이 델, 바이 델!" 지난 달 18일. 미국 새너제이에서 열린 엔비디아 연례 개발자 회의 GTC 행사에 마련된 델 테크놀로지스 부스에선 '인공지능(AI) 대부'로 불리는 젠슨 황 엔비디아 최고경영자(CEO)가 목청을 높여 이처럼 외쳤다. 컴퓨터를 필요로 하는 이들이라면 누구나 알고 있는 '델'의 PC뿐 아니라 AI 인프라 경쟁력을 인정하며 엔비디아의 가장 최고 파트너라는 점을 치켜 세워준 것이다. AI 열풍이 한창이던 1년 전 엔비디아 GTC 행사에서도 황 CEO는 델 테크놀로지스를 공개 석상에서 언급하며 끈끈한 관계를 과시했다. 당시 황 CEO는 "정보기술(IT)과 관련해 무엇이든 필요한 것이 있다면 델에 전화하면 된다"고 밝혔다. 이는 델 테크놀로지스 주가에도 영향을 줘 지난해 5월 시가총액이 1천억 달러를 넘기도 했다. 이처럼 엔비디아의 두터운 신임을 받고 있는 델 테크놀로지스가 올해 AI 인프라를 전면 업그레이드하며 시장 강자의 면모를 다시 한 번 드러내고 있다. 엔비디아 기반 델 AI 팩토리의 최신 포트폴리오를 앞세워 최근 달궈지고 있는 글로벌 AI 인프라 시장에서 주도권 굳히기에 본격 나선 모습이다. 최근 지디넷코리아와 만난 양원석 델 테크놀로지스 인프라스트럭처 솔루션 사업부 전무는 "우리는 AI PC부터 엣지, 코어 데이터센터, 클라우드까지 엔드 투 엔드(end-to-end) AI 솔루션 포트폴리오를 가지고 있다는 것이 강점"이라며 "서버 자체 기술력, 공급망 관리 능력, 영업 능력, 기술 지원 능력 등을 갖추고 있는 덕분에 글로벌뿐 아니라 한국에서도 서버 부문 1위 업체로 인정 받고 있다"고 운을 뗐다. 그러면서 "글로벌뿐 아니라 한국 스토리지 하드웨어(HW) 및 소프트웨어(SW) 부문 1위 업체로서의 저력을 갖고 있는 만큼, 데이터 및 데이터관리에 대해 전 세계에서 제일 잘 알고 있는 기업이라고 자부할 수 있다"며 "젠슨 황 CEO가 엔비디아 GTC 현장에서 '델'을 언급한 것도 이런 점을 인정한 것이라고 볼 수 있다"고 덧붙였다. 실제로 델 테크놀로지스는 글로벌 AI 인프라 시장에서 경쟁력을 입증 받아 독보적인 점유율을 유지하며 꾸준한 성장세를 보이고 있다. 특히 슈퍼마이크로, HPE 등과 경쟁하고 있는 AI 서버 시장에선 다양한 포트폴리오를 앞세워 압도적인 우위에 올라서 있다는 평가를 받고 있다. 7일 시장조사업체 IDC에 따르면 델 테크놀로지스는 지난해 3분기 전 세계 X86 서버 시장 판매대수 기준으로 11.4%의 점유율을 차지하며 1위를 유지했다. 매출 기준 점유율도 12.4%로 1위를 차지했다. 델 테크놀로지스와 경쟁하고 있는 슈퍼마이크로와 HPE, IEIT 시스템즈, 레노버는 그 뒤를 이었다. 이처럼 델 테크놀로지스가 시장 우위를 견고히 하고 있는 상황에서 전체 서버 시장의 성장세가 높다는 점은 호재로 작용하고 있다. 지난해 4분기 서버 시장 매출은 전년 동기 대비 91% 증가한 733억 달러를 기록, 2019년 이후 두 번째로 높은 성장률을 보였다. 특히 GPU가 내장된 서버 매출은 전년 동기보다 192.6%나 성장해 전체 서버 시장 매출의 절반 이상을 차지할 정도로 급성장한 모습을 보였다. 엔비디아는 전체 출하량의 90% 이상을 차지하며 서버 GPU 분야에서 독주를 이어갔다. 지난해 전체 서버 시장 규모는 2020년 이후 두 배 이상 성장한 2천357억 달러에 달했다. 엔비디아와 밀접한 관계를 맺고 있는 델 테크놀로지스도 지난해 호실적을 기록했다. 특히 AI 서버 출하액은 98억 달러로, 사업을 시작한 지 2년도 채 안되는 기간에 급속도로 성장한 모습을 보였다. AI 관련 기업 고객 역시 2천 곳 이상을 확보한 상태로, 올해 고객사 수가 더 늘어나 AI 매출이 50% 성장할 것으로 예상됐다. 올해 AI 서버 출하액은 약 150억 달러에 달할 것으로 전망했다. 양 전무는 "지난해 엔비디아 GTC에서 처음 선보인 '델 AI 팩토리 위드 엔비디아(Dell AI Factory with NVIDIA)'를 통해 다양한 솔루션과 제품을 선보이며 엄청난 컴퓨팅 파워를 시장에 공급했다고 자부하고 있다"며 "해외뿐 아니라 국내에서도 AI 시장 수요가 점차 '엔터프라이즈 AI'로 이동하고 있는 만큼 올해도 수요는 더 많아질 것으로 보인다"고 설명했다. 이어 "지난해까진 클라우드 서비스 제공자(CSP), 특히 하이퍼스케일러 또는 코어위브 같은 NCP(NVIDIA Cloud Partner) 업체들이 주축이 돼 시장 성장을 주도했지만, 올해는 더 많은 대기업, 대학, 연구기관 등 다양한 분야에서 수요가 많을 듯 하다"며 "10대 미만~수십대 등 작은 규모에서부터 거대 규모에 이르기까지 서버 규모 면에서도 더 다양해질 듯 하다"고 덧붙였다. 양 전무는 최근 국내에서 sLM(small Language Model), 온프레미스에 AI 서버를 두고 API를 사용해 클라우드 업체가 제공하는 AI 서비스와 연결해 사용하는 활용 사례(Use Case)가 늘어나고 있다는 점도 주목했다. 또 엔비디아 'H100' 위주로 형성된 GPU 시장이 향후 블랙웰, 그레이스블랙웰, AMD, 인텔 등 다양한 실리콘으로 확대될 것으로 봤다. 하지만 국내 고객들이 생성형 AI를 도입, 활용할 때 걸림돌이 많아 아직 시장이 활성화 되지 못했다는 점에 대해선 아쉬워 했다. 양 전무는 "국내에선 생성형 AI 활용 시 거버넌스와 개인정보 보호, 법적 규제 등을 고려해야 해 적절한 데이터를 수집·준비하는 과정에 있어 많은 어려움이 있을 수 있다"며 "생성형 AI를 위한 인프라는 기존 데이터센터 인프라 기술과는 달라 이를 위해 내부 역량을 확보하거나, 외부 전문 인력 채용 등을 함께 추진해야 하는 데 쉽지 않은 것이 현실"이라고 분석했다. 이어 "이에 따라 AI와 관련해 데이터 준비, 전략 수립을 위한 컨설팅, 활용 사례 생성 및 구축 등에 있어 전문 서비스를 활용하는 것이 좀 더 안전하고 체계적일 수 있다"며 "비용 측면에서 고가의 GPU에 투자하거나 퍼블릭 클라우드 서비스 사용 시 높은 운영 비용을 감당하는 데 기업들이 부담을 느끼는 경우가 많다"고 덧붙였다. 이 같은 상황에서 양 전무는 델 테크놀로지스가 좋은 대안이 될 것이라고 강조했다. 또 엔터프라이즈 기업의 경우 생성형 AI를 위해 안정적이며 보안 측면에서 신뢰할 수 있고 관리하기 쉬운 데다 데이터와 가까운 곳에 위치한 고성능의 데이터센터 인프라를 구축해야 한다고 조언했다. 양 전무는 "자사 서버 제품들은 효율화 및 생산성 향상을 위한 라이프사이클 관리의 지능적 설계 및 제어가 가능하다"며 "클라우드 인프라의 대부분의 이점도 온프레미스에서 서비스 형태(As a Service)로 제공할 수 있다"고 설명했다. 그러면서 "'델 AI 솔루션'은 경쟁사들에 비해 AI PC부터 엣지, 코어 데이터센터, 클라우드까지 엔드 투 엔드(End-to-end) AI 솔루션 포트폴리오를 갖추고 있는 데다 자사가 국내외서 스토리지 HW 및 SW 부문 1위 업체로서 데이터 및 데이터 관리에 대해 전 세계에서 가장 잘 알고 있다는 것이 강점"이라며 "코로케이션 및 호스팅 공급업체부터 AI 모델의 기반이 되는 반도체 공급업체에 이르기까지 포괄적인 파트너 생태계 스택을 제공하고 있다는 것도 매력적인 요소"라고 덧붙였다. 또 그는 "엔비디아, 마이크로소프트, 퀄컴, AMD, 허깅페이스, 인텔, 메타, 레드햇 등 광범위한 에코시스템을 통해 협력 관계를 탄탄히 구축하고 있는 것도 장점"이라며 "공장 팩토리 레벨에서 준비된 솔루션을 공급할 수 있도록 엔지니어링 단계에서부터 엔비디아와 협력하고 있다는 것도 우리만의 경쟁력"이라고 강조했다. 이 같은 시스템을 바탕으로 델은 국내 서버 시장에서도 1위 자리를 굳건히 지키고 있다. 특히 서버 자체 기술력, 공급망 관리 능력, 영업 능력, 기술 지원 능력 등을 인정 받아 삼성SDS와 NHN클라우드, 엘리스 등 많은 기업들이 델의 서버를 앞 다퉈 도입하고 있다. 해외에서도 마찬가지다. 델 테크놀로지스에 따르면 현재 기업들은 ▲비용 통제 ▲데이터 관리 ▲기존 시스템과의 통합 ▲전문 인력 부족을 주요 도전 과제로 삼고 있다. 이에 전체 중 77%의 기업이 AI 인프라 구축을 위해 '단일 벤더'를 선호하고 있는데 델 테크놀로지스는 다양한 제품 및 시스템 덕에 기업들의 상당한 신뢰를 얻고 있는 것으로 나타났다. 양 전무는 "우리는 업계 최신 기술과 오픈·모듈러 아키텍처를 빠르고 적극적으로 수용해 고객들이 이미 투자한 자산을 보호할 수 있도록 지원하고 있다"며 "새로운 기술이 나왔을 때 기존의 장비·설비에서 손쉽게 업그레이드할 수 있도록 함으로써 기업들이 효율적으로 자사 제품을 활용할 수 있게 도울 것"이라고 밝혔다. 그러면서 "특히 곧 출시될 '델 파워엣지 XE8712' 서버는 고객들이 가장 기대해도 좋을 제품"이라며 "2개의 그레이스 CPU와 4개의 블랙웰 GPU를 통합한 엔비디아 GB200 그레이스 블랙웰 슈퍼칩을 탑재해 데이터센터 내 AI 성능을 극대화 함으로써 현존하는 AI 서버 중 가장 빠른 속도로 이용할 수 있을 것"이라고 설명했다. 또 델 테크놀로지스가 AI 데이터 관리 측면에서도 상당한 기술 발전을 이끌어 낼 것이라고 자신했다. 특히 기업들이 AI 데이터를 더 빠르게 처리하고 보다 안전하게 보호할 수 있도록 설계된 '델 AI 데이터 팩토리 위드 엔비디아'가 중추적 역할을 할 것으로 봤다. 이 플랫폼은 대량의 데이터를 실시간으로 받아들이는 데이터 인제스천 기능을 지원하며 GPU 가속 기반 '스파크 쿼리'를 활용해 기존 대비 최대 220% 향상된 속도로 데이터를 분석하고 처리할 수 있다. 더불어 델이 AI 소프트웨어 분야에서도 엔비디아와의 협력을 통해 기술 발전을 이끌어 냈다고 강조했다. 특히 '에이전트 AI' 시스템 개발을 지원하는 엔비디아의 AI 개발 프레임워크인 '에이전틱 AI'와 이를 위한 AI 최적화 도구를 AI 팩토리에 통합함으로써 AI를 통해 기업들이 의사 결정을 쉽게 내릴 수 있도록 지원에 나선 점을 피력했다. 양 전무는 "그동안에는 마이크로소프트 등 하이퍼스케일러들이 수십만 장의 GPU를 구매해 파운데이션 모델을 만드는 것이 대세였다면, 작년 말부턴 AI를 어떻게 잘 활용할 수 있을지에 대해 고민을 하는 기업들이 더 많아진 듯 하다"며 "점차 일반 기업들이 실제 비즈니스 도움이 될 수 있도록 AI를 사용하는 사례가 많아지고 있는 만큼, AI 인프라에 대한 시장의 관심도 더 커질 듯 하다"고 말했다. 그러면서 "AI 기술 발전으로 서버 신제품 발표 주기도 2년에 한 번 정도에서 최근에는 엔비디아의 움직임에 맞춰 6개월에 한 번으로 짧아질 정도로 빨라진 상황"이라며 "이에 따른 전력 소비, 냉각 등과 관련된 시스템을 잘 갖춰나가기 위해 노력 중인 만큼 많은 기업들이 우리 제품을 선택할 것으로 기대하고 있다"고 덧붙였다. 또 그는 "특히 국내에선 정부에서 국가 AI 컴퓨팅 센터를 추진하고 있는 만큼 실제 구체적인 사업을 진행할 때 우리 제품을 외면하지는 않을 것으로 보인다"며 "엔비디아뿐 아니라 AMD, 인텔 등 다양한 기업들의 GPU를 제공하며 고객들의 선택지를 많이 넓힌 만큼 '델 AI 팩토리'를 통해 시장 변화에 맞춰 탄력적으로 대응함으로써 시장 주도권을 유지하기 위해 더 노력할 것"이라고 강조했다.

2025.04.07 16:48장유미

슈퍼마이크로, 엔비디아 GPU 지원 서버 제품군 확대…"AI 모델 추론 극대화"

슈퍼마이크로가 인공지능(AI) 워크로드 처리 성능을 극대화할 수 있는 엔비디아 GPU 지원 제품군을 선보인다. 슈퍼마이크로는 새로운 엔비디아 'RTX 프로 6000 블랙웰 서버 에디션' GPU 지원과 워크로드 최적화 GPU 서버·워크스테이션 제품군을 확장했다고 26일 밝혔다. 슈퍼마이크로의 새로운 제품군은 엔비디아 블랙웰 세대 PCIe GPU에 최적화돼 더 많은 기업이 ▲거대언어모델(LLM) 추론 ▲미세조정 ▲에이전틱 AI ▲시각화 ▲그래픽·렌더링 ▲가상화 등에 가속 컴퓨팅을 활용할 수 있도록 지원한다. 슈퍼마이크로의 많은 GPU 최적화 시스템은 엔비디아 인증을 획득했으며 AI 개발과 프로세스 단순화를 위해 엔비디아 AI 엔터프라이즈에 대한 호환성과 지원을 보장한다. 찰스리앙(Charles Liang) 슈퍼마이크로 최고경영자(CEO)는 "자사는 다양한 엔터프라이즈 환경에서 구축할 수 있는 광범위한 애플리케이션 최적화 GPU 서버 제품군을 매우 짧은 리드타임으로 제공한다"며 "엔비디아 RTX 프로 6000 블랙웰 서버 에디션 GPU를 지원함으로써 데이터센터부터 지능형 엣지까지 최신 가속 컴퓨팅 기능을 구현하려는 고객에게 새로운 차원의 성능과 유연성을 제공한다"고 말했다. 이어 "자사의 광범위한 PCIe GPU 최적화 서버는 엔비디아 2-웨이(way) 및 4-웨이 NV링크 환경에서 엔비디아 H200 NVL을 지원한다"며 "최첨단 AI 모델의 추론 성능을 극대화하고 고성능 컴퓨팅(HPC) 워크로드를 가속할 것"이라고 설명했다. 엔비디아 RTX 프로 6000 블랙웰 서버 에디션은 AI와 그래픽 워크로드 모두에 최적화된 범용 GPU다. 기존 엔비디아 L40S 대비 GDDR7 메모리 속도가 빨라지고 메모리 용량이 두배로 늘어나는 등 성능이 크게 향상됐다. 또 PCIe 5.0 인터페이스를 지원해 GPU와 CPU 사이의 통신 속도도 빨라졌다. 새로운 멀티 인스턴스 GPU 기능을 통해 GPU 하나를 공유할 수 있는 완전 분리된 인스턴스 수도 최대 4개까지 확장됐다. 슈퍼마이크로 GPU 최적화 서버는 블루필드-3와 커넥트X-8과 같은 엔비디아 슈퍼NIC을 지원하도록 설계됐으며 엔비디아의 퀀텀 인피니밴드와 스펙트럼 이더넷을 활용해 인프라 확장과 GPU 클러스터링을 제공한다. 밥 피트(Bob Pette) 엔비디아 엔터프라이즈 플랫폼 담당 부사장은 "RTX 프로 6000 블랙웰 서버 에디션은 AI와 비주얼 컴퓨팅을 위한 최고의 데이터센터 GPU"라며 "가장 까다로운 워크로드에서도 전례 없는 가속 성능을 제공한다"고 말했다. 이어 "슈퍼마이크로의 광범위한 엔비디아 가속 시스템에 RTX 프로 6000 블랙웰 서버 에디션이 추가됨으로써 AI 개발·추론을 포함한 대부분의 워크로드 속도를 높일 수 있게 됐다"고 덧붙였다.

2025.03.26 17:19한정호

김재원 대표 "엘리스그룹, 에듀테크 기업에서 AI 기업으로"

AI 에듀테크 기업으로 잘 알려진 엘리스그룹(대표 김재원)은 인프라·데이터·플랫폼·콘텐츠 등 AI에 필요한 모든 것을 통합 제공하는 'AI 솔루션 기업'으로 자리매김하고 있다. 김재원 엘리스그룹 대표는 본격적인 AI 시대를 맞아 새해 이런 변화에 더욱 속도를 낸다는 계획이다. 엘리스그룹에 따르면, 회사는 AI 교육이 필요한 기업 또는 기관이 몰입도 높은 비대면(가상화) 실습 환경 아래에서 교육생들의 학습 관리를 편리하게 할 수 있는 '엘리스LXP' 플랫폼을 서비스 중이다. 이 플랫폼을 통해 ▲초중고 공교육 ▲취준생 및 재직자 직무교육 ▲산업 맞춤형 디지털 전환 교육 등 다양한 교육 콘텐츠가 제공된다. SK·LG·현대차 등 국내 대기업뿐만 아니라, 서울대·카이스트 등 대학과 정부·공공기관 총 5천300여 곳에서 맞춤형 디지털 전환 교육을 하고 있다. 관리자는 엘리스LXP에서 학습 데이터를 분석하고 시각화한 AI 대시보드를 통해 교육생들을 보다 효율적으로 관리함으로써 이수율을 높일 수 있다. 나아가 거대언어모델(LLM) 기반으로 만들어진 AI 챗봇(AI 헬피)을 통해 학습자들의 질문에 대한 맞춤형 답변도 빠르게 할 수 있다. 아울러 '엘리스테스트'는 개발자 채용 평가부터 재직자 역량 평가, 대규모 경진대회 등 온라인 테스트 환경을 지원한다. 부정행위 방지 기능과 다양한 테스트 콘텐츠, 체계적 온보딩 시스템과 안정적 서버환경 등은 엘리스테스트의 강점이다. 이동형 모듈러 데이터센터 구축...강력한 AI 인프라 제공 엘리스그룹은 다양한 환경의 AI 연구·개발·배포를 위한 안정적인 GPU를 제공하는 '엘리스클라우드' 사업도 키워나가고 있다. 엔비디아의 A100·H100 등 강력한 GPU 서버 스펙을 바탕으로 AI 데이터센터를 구축한 상태다. 회사는 지난해 델 테크놀로지스로부터 엔비디아 H100 텐서코어 GPU를 탑재한 델 파워엣지 서버와 네트워킹 스위치를 도입해 데이터센터 인프라를 업그레이드한 바 있다. 특히 엘리스그룹은 델 테크놀로지스와의 협력을 통해 엘리스클라우드에 모듈 단위로 탄력적인 인프라 확장이 가능한 이동형 모듈러 데이터센터(PMDC) 방식을 적용했다. 엘리스그룹 전력 밀도는 랙당 20~40kW로, 국내 데이터센터 평균(3.3kW)보다 효율성이 높다. 아울러 회사는 GPU·NPU를 효율적으로 이용할 수 있는 동적 할당 기술을 적용해 사용자가 필요로 하는 만큼 실시간으로 컴퓨팅 자원을 할당받을 수 있게 했다. 이를 통해 비용을 낮추면서도 AI·디지털 전환 관련 교육 과정을 원활히 받을 수 있는 환경을 갖추게 됐다. 최근에는 AI 반도체 스타트업 리벨리온과 상호 협력 업무협약을 맺고, 리벨리온 NPU 기반 클라우드 플랫폼 구축을 위한 기술 협력을 진행한 뒤 이를 바탕으로 글로벌 데이터센터 진출에도 힘을 모으기로 했다. 엘리스클라우드 PUE(전력 효율 지수)는 1.27이며, 지난해 8월 정보보안에 대한 글로벌 인증(ISO 27001·27701)을 획득하기도 했다. "엘리스그룹은 AI 기업" 2015년 회사를 창업한 김재원 대표는 엘리스그룹을 'AI 기업'으로 정의했다. 재직자 대상으로 디지털 전환과 AI 교육을 통해 업무 효율성을 높여주고, 취준생들에게는 대학과 산업 간의 격차를 줄여주는 부트캠프를 통해 이들이 AI에 대한 이해도와 전문성을 갖추도록 돕기 때문이다. 특히 엘리스클라우드를 통해 AI 연구팀이나 전문가들이 안정적인 클라우드 및 컴퓨팅 환경에서 AI 모델링 프로젝트를 수행하도록 지원해서다. 재작년과 작년에는 각각 국방부 대규모 AI 해커톤과 한국천문연구원의 태양 흑점 이미지 분석 AI 해커톤에 고성능 GPU 환경을 제공했다. “엘리스클라우드는 AI 전문 인프라입니다. 기존 AI 해커톤의 경우 예산 안에서 진행이 불가능했는데, 저희는 참가자들에게 고성능 환경을 제공하고 적게는 3분의 1, 많게는 10분의 1 예산 안에서 고성능 클라우드 환경을 제공해드리고 있습니다. AI 클라우드 인프라를 구성함에 있어 기존 데이터센터는 고전력이 아니다 보니 어렵고, 그렇다고 고가의 GPU 서버 인프라를 구성하기도 쉽지 않았는데 엘리스클라우드는 PMDC를 통해 비용 단가를 낮추면서도 안정성은 높였습니다. 쓰는 만큼 시간당 과금되기 때문에 효율적 이용도 가능합니다.” 기업 또는 기관들은 업무 생산성 향상을 위해 디지털 전환이 필요할 때 엘리스그룹의 다양한 플랫폼과 콘텐츠, 인프라 등을 취사선택해 사용하면 된다. AI 기업으로서 안정적인 서버가 필요하다면 엘리스클라우드를, AI 등 디지털 전환 교육이 필요하다면 엘리스LXP 플랫폼을 통해 대상에 맞는 엘리스의 콘텐츠를 제공하면 되는 식이다. “모든 정부 기관과 기업들의 AI 디지털 전환이 필요한 때라고 생각합니다. 그렇지 않으면 강대국들에 의해 도태될 수밖에 없겠죠. 저마다 속도는 다를 수 있겠지만, 결국 AI는 전기처럼 쓰게 될 테니, 이런 방향에 필요한 교육과 인프라를 제공하려 합니다.” "클라우드 인프라·기술력에 계속 투자할 것" 엘리스그룹의 올해 목표는 엘리스클라우드를 통한 더 큰 성장이다. 지난해 실적은 전년보다 성장하긴 했지만 기대만큼 크진 않았다고 김 대표는 말했다. AI 도입이 빠르게 확산되는 것은 맞지만, 아직은 기대만큼 그 속도가 빠르지 않은 것 같다고. 그는 AI의 더 빠른 도입을 위해서는 시간과 기술적 요인들이 더 필요하다고 말했다. 김 대표는 앞으로도 클라우드 인프라와 기술력에 계속 투자한다는 방침이다. 또 사내에 AI 전문 연구원들이 다수 있어 경쟁사 대비 AI 교육에 있어서는 훨씬 전문성이 있다고 자부했다. 나아가 AI 밸류 체인이 완성된 만큼, 올해는 클라우드 인프라와 기술력 투자에 집중한다는 방침이다. “약 3년 전 엔비디아 A100을 구매해서 계속 연구하다 2023년부터 내부에서 활용할 수 있게 개발했습니다. 그 후 AI 교육, 해커톤 등에서 활용할 수 있도록 했고, 지난해부터 기능을 강화하면서 외부 세일즈를 진행해 작년 처음으로 클라우드 매출이 발생했습니다. 강의, 콘텐츠 제작, 플랫폼 기능 확대에 이어 AI 인프라 세일즈까지 AI 밸류 체인 전주기를 완성했습니다. 이를 강화하는 것이 올해 목표이고요. 저희는 AI를 통해 실제 매출을 내고, 이를 클라우드 인프라와 기술력에 재투자하고 있습니다.” 김 대표는 앞으로 AI가 사람들의 업무와 실생활에 녹아들며 계속 발전할 것으로 내다봤다. 반면, 글로벌 시장에서는 엄청나게 빠른 속도로 발전하고 활용하는 이런 기술들이 국내 정치적·사회적 이슈들에 뒤처지는 것에는 아쉬움을 표했다. “더 이상 휴대폰 없이 일한다는 건 불가능하듯, AI 없이 일을 하면 비효율이 분명 발생할 겁니다. 앞으로 AI의 실생활 활용에 대한 부분이 강조될 텐데, 이를 지탱할 인프라에 대한 강화도 필요하죠. 어마어마한 속도로 발전될 AI를 활용하게 될 글로벌 경쟁에서 뒤처지지 않게 우리도 정진해야 한다고 생각합니다.”

2025.01.16 14:30백봉삼

델·슈퍼마이크로에 밀리던 HPE, 일론 머스크 덕에 AI 서버 시장서 존재감 '업'

일론 머스크 테슬라 최고경영자(CEO)가 운영하는 소셜네트워크 X(옛 트위터)가 인공지능(AI) 서비스 강화를 위해 HPE의 서버를 택했다. 머스크가 설립한 AI 스타트업 xAI와 서버를 공유하기 위한 것으로, 이번 일로 AI 서버 시장 내 HPE의 위상도 한층 올라섰다는 평가다. 13일 블룸버그통신 등에 따르면 X는 최근 AI 서버를 새롭게 구축하기 위해 HPE와 10억 달러(약 1조4천700억원)가 넘는 계약을 맺은 것으로 알려졌다. 이번 계약은 AI 서버 업체인 델 테크놀로지스, 슈퍼마이크로 등도 참여한 경쟁 입찰을 거쳐 지난해 말 마무리됐다. AI 서버 비용 중 일반적으로 그래픽처리장치(GPU)가 절반을 차지한다는 점을 고려해 볼 때 이번 계약에서 GPU는 5억 달러 규모로, 1만 개 이상의 엔비디아 '블랙웰' GPU가 투입될 것으로 추산됐다. 머스크 CEO의 이 같은 움직임은 그가 공동 창립했지만 떠난 챗GPT 개발사 오픈AI를 의식한 행보로 풀이된다. 머스크 CEO는 지난 2023년 xAI를 설립한 후 인재 채용은 물론, 수십억 달러 규모의 투자 유치, 미국 테네시주 멤피스 내 데이터센터 건설 등으로 글로벌 AI 시장에서 xAI의 경쟁력을 강화해 오픈AI를 뛰어 넘기 위해 안간힘을 쓰고 있다. 특히 최근에는 xAI를 위한 자체적인 데이터센터를 미국 전역에 건설하며 AI 인프라 강화에 총력을 기울이고 있다. X와 xAI는 AI 인프라를 공유하는 것으로 알려진 만큼, 새로운 서버는 xAI의 AI 챗봇 '그록' 개발과 운영에 활용될 가능성이 크다. 앞서 xAI는 지난달부터 X를 통해 '그록'의 무료 버전을 제공해왔으나, 최근 앱까지 출시하며 이용자 확보에 본격 나선 상태다. '그록' 앱은 이번에 초기 베타 서비스로 미국에서만 아이폰 앱스토어에 먼저 출시됐다. 이번 일로 HPE도 시장 내 입지가 더 높아질 것으로 보인다. HPE는 그간 AI 서버 시장에서 델 테크놀로지스, 슈퍼마이크로에 비해 존재감이 다소 밀리는 분위기였다. xAI가 세계 최대 규모인 데이터센터 '콜로서스'에도 델 테크놀로지스, 슈퍼마이크로만 택했다는 소식이 전해지기도 했다. 블룸버그통신은 "HPE의 AI 서버 사업은 델과 슈퍼마이크로에 비해 상대적으로 뒤처진 것으로 여겨져 왔다"며 "하지만 이번 계약으로 HPE에 대한 xAI의 신뢰가 드러났다"고 평가했다. 그러면서 "AI 서버에는 엔비디아를 비롯한 여러 회사의 고성능 칩이 탑재돼 있다"며 "HPE의 수냉식 기술이 이번 계약에 중요한 역할을 한 것으로 보인다"고 덧붙였다. 이처럼 xAI 외에도 마이크로소프트, 아마존 등 빅테크들이 최근 AI 인프라에 투자 속도를 높이고 있다는 점에서 AI 서버 시장은 앞으로도 훈풍이 불 것으로 보인다. 아마존웹서비스(AWS)는 이달 들어 미국 조지아주의 데이터센터 확장을 위해 최소 110억 달러(약 15조원)를 투입하겠다고 밝혔다. 지난해 12월에는 미국 오하이오주에 데이터 센터 확장을 위해 2030년까지 230억 달러(약 33조원)를 지원하겠다고 발표했다. 마이크로소프트도 올해 6월까지 데이터센터에 800억 달러(약 118조원)를 투자하겠다고 밝혔다. 비저블 알파의 조사에 따르면 MS의 2025 회계연도 자본 지출은 842억4천만 달러에 이를 것으로 예상된다. 이는 전년보다 42%가 늘어난 것이다. 시너지 리서치 그룹은 데이터센터 인프라 지출이 지난해 34% 증가한 2천820억 달러에 이를 것으로 추산했다. 시너지 리서치 그룹은 "지난해에는 엔비디아의 폭발적인 성장이 단연 주목됐다"며 "하지만 이 중 많은 부분은 서버 및 시스템 공급업체의 매출 증가를 통해 나타났다"고 설명했다.

2025.01.13 10:41장유미

"새해 AI 서버 출하량 28% 증가 전망"…HBM3E 공급 기대↑

AI 수요 확산에 따라 데이터센터 AI 서버 시장이 지난해 이어 올해도 가파른 성장세를 이어갈 전망이다. AI 서버 출하량 증가에 따라 고대역폭메모리(HBM) 공급 증가에 대한 기대감도 커졌다. 7일 시장조사업체 트렌드포스에 따르면 지난해 AI 서버 출하량은 전년 대비 46% 증가했고, 올해는 전년 대비 28% 증가할 전망이다. 또 올해 전체 서버 출하량에서 AI 서버가 차지하는 비중이 15% 이상으로 확대될 것으로 전망된다. 지난해 전체 서버 시장은 지난해 3천60억 달러(약 449조7천862억원)를 기록했고, 이 중 AI 서버는 2천50억 달러(약 301조8천888억원)로 67%의 높은 비중을 차지했다. 올해는 AI 칩의 평균판매가격(ASP)의 상승에 힘입어 AI 서버 시장은 2천980억 달러(약 438조3천546억원)로 성장하고, 전체 서버 시장에서 비중도 72%까지 확대될 것으로 전망된다. 지난해 미국과 중국의 서버 OEM 업체들과 클라우드 서비스 제공업체(CSP)들의 엔비디아의 '호퍼' GPU를 구매하면서 전체 AI 서버 시장 성장을 이끌어 왔다. 올해는 엔비디아의 차세대 GPU '블랙웰'이 시장 성장의 핵심 동력이 될 것으로 보인다. 지난해 출시된 엔비디아 블랙웰은 2080억개의 트랜지스터를 집적한 GPU로 2022년 출시된 '호퍼' 시리즈 보다 데이터 연산 속도가 2.5배 빠르다. 블랙웰은 사양에 따라 B100과 B200 모델로 구분된다. AI 가속기 제품군인 GB100과 GB200에는 각각 블랙웰 GPU 1개, GB200에는 블랙웰 GPU 2개가 탑재되며, 그레이스 CPU 1개, 24GB(기가바이트) HBM3E 8단 제품 8개도 함께 탑재된다. 주목할 만한 점은 올해 3분기 출시 예정인 차세대 엔비디아 AI 서버 GB300에는 36GB HBM3E 12단 제품 8개가 탑재된다는 것이다. 현재 SK하이닉스가 유일하게 HBM3E 8단 및 12단 제품을 모두 양산해 엔비디아에 공급하고 있으며, 마이크론은 SK하이닉스에 이어 두번째로 8단 제품 공급과 함께 12단 제품 샘플링을 진행 중이다. 삼성전자는 연내 HBM3E 제품 공급을 목표로 하고 있다. 트렌드포스는 “연초에는 계절적 요인으로 인한 영업일수 감소가 예상되어, GB 랙 시리즈 출하량은 2분기까지 눈에 띄는 증가세를 보이지 않을 것”이라며 “하지만 올해 3분기에 B300과 GB300 솔루션이 출시되면서 블랙웰 기반 GB랙 시리즈의 출하량이 더욱 증가할 것으로 예상된다”고 말했다. 엔비디아 외에도 클라우드 서비스 제공업체(CSP)들의 독자 AI 칩 개발에 속도를 내면서 AI 서버 시장과 HBM 성장에 영향을 줄 전망이다. 지난해는 구글이 자체 AI 칩 출하량에서 선두를 달렸으며, AWS는 200% 이상의 급격한 성장률을 기록했다. 트렌드포스는 “올해 AWS의 자체 AI 칩 출하량이 전년 대비 70% 이상 성장할 전망”이라며 “특히 자사의 퍼블릭 클라우드 인프라와 이커머스 플랫폼과 관련된 AI 애플리케이션용 트레이니엄(Trainium) 칩 개발에 더욱 집중할 계획이다”고 말했다.

2025.01.07 10:24이나리

트렌드포스 "엔비디아 '블랙웰' 서버랙 대량 공급 내년 2~3분기로 지연"

엔비디아의 최신 AI 반도체 '블랙웰'이 탑재된 AI 서버랙 'GB200'의 대량 공급 시기가 최대 3분기까지 늦춰진다는 전망이 나왔다. 18일 시장조사업체 트렌드포스는 엔비디아 AI 서버랙 'GB200'이 설계 최적화에 어려움을 겪으면서 대량 공급 시기가 내년 2~3분기로 지연된다고 전망했다. 고속 상호 연결 인터페이스, 열설계전력(TDP) 등에 추가 최적화 작업이 필요하다는 설명이다. 트렌드포스는 “블랙웰 GPU 칩 생산은 4분기부터 소량 출하가 가능하지만, AI 서버 시스템은 설계 요구 사항과 여타 부품들의 공급망 조정이 필요한 상황”이라며 “이에 따라 AI 서버 랙의 올해 말 출하량은 업계 기대치에 미치지 못할 것으로 보인다”고 말했다. 다만, 일부 고객사를 대상으로 GB200 서버랙의 소량 공급은 4분기부터 시작됐다. 이번 지연 소식은 앞서 11월 17일 IT 매체 디인포메이션이 보도한 내용과 맥을 같이한다. 디인포메이션은 엔비디아 직원을 인용해 “GB200 서버랙에서 블랙웰 GPU를 연결할 때 과열 현상이 발상해 엔비디아가 서버OEM사들에게 설계 변경을 요구했다”며 “서버 랙 제조사들은 최악의 경우 내년 6월 말쯤에야 제품을 공급할 수 있을 것”이라고 전했다. 이번 공급 지연은 빅테크 기업들의 AI 개발에 차질을 줄 수 있다는 우려가 제기된다. 메타와 구글은 이미 100억 달러 규모의 GB200 40만개를 구매했고, 마이크로소프트도 6만5000개를 주문한 상태다. 트렌드포스는 GB200 NVL72 모델이 내년 전체 서버 공급량의 80%를 차지할 것으로 예상했다. 엔비디아 블랙웰은 2080억개의 트랜지스터를 집적한 그래픽처리장치(GPU)로 사양에 따라 B100, B200으로 나뉜다. 블랙웰은 지난 2022년 나온 '호퍼' 시리즈 보다 데이터 연산 속도가 2.5배 빠르다. 지난 3월 첫 공개돼 당초 2분기 출시가 목표였지만, 설계 결함으로 4분기로 연기돼 양산 중이다. 'GB200' AI 가속기는 2개의 블랙웰 GPU, 1개의 그레이스 중앙처리장치(CPU), HBM3E 8단 16개가 탑재된 제품이다. GB200 서버는 랙에 집적되는 개수에 따라 GB200 NVL3, GB200 NVL72 등으로 나뉜다. GB200 NVL72에는 72개 블랙웰 GPU, 36개의 CPU가 탑재되며, 엔비디아 독자 기술인 5세대 NVLink로 고속 연결을 구현했다. GB200 서버시스템은 종전의 H100보다 성능이 30배, 에너지 효율성이 25배 좋다. 다만 고성능에 따른 발열 문제가 과제로 떠올랐다. GB200 NVL72의 열설계전력(TDP)은 140kW로, 현재 주력 제품인 HGX AI 서버(60~80kW)의 두 배에 달한다. 이에 서버제조사들은 기존 공랭식에서 수랭식 냉각 솔루션으로의 전환을 서두르고 있다. 한편, GB200 서버랙 공급 지연 우려가 크지 않다는 주장도 나온다. 델 테크놀로지스의 마이클 델 CEO는 지난 11월 19일 SNS를 통해 GB200 NVL72 서버랙 출하가 시작됐다고 알렸다. 또 지난 11월 20일 엔비디아 실적 컨퍼런스콜에서 젠슨 황 엔비디아 CEO는 “올 4분기에 과거 예상보다 더 많은 블랙웰 GPU를 공급할 수 있을 것으로 기대한다”고 밝혔다. 이날 콜렛 크레스 엔비디아 CFO 역시 "각종 고객사의 블랙웰 수요에 맞춰 공급 확대에 최선을 다하고 있으며 올 4분기 블랙웰 매출이 당초 예상인 50~60억 달러를 넘어설 것"이라고 설명했다.

2024.12.18 10:01이나리

엔비디아, 시총 1위 밀려나…'블랙웰' 악재로 주가 1.8% 하락

세계 최고 인공지능(AI) 반도체 기업 엔비디아가 애플에 시가총액 1위 자리를 내줬다. 18일(현지시간) 미국 나스닥증권거래소에서 엔비디아는 전 거래일보다 1.83달러(1.29%) 내린 140.15달러로 마감했다. 시가총액은 3조4천379억 달러(약 4천788조원)다. 이날 애플은 3.02달러(1.34%) 오른 228.02달러로 거래를 끝냈다. 시총은 3조4천467억 달러로, 엔비디아보다 88억 달러 많다. 엔비디아는 지난 5일 시총 1위에 오른 뒤 13일 만에 2위로 내려왔다. 이날 엔비디아 주가가 하락한 것은 차세대 AI 칩 '블랙웰' 출시가 미뤄져 실적에 타격을 줄 수 있다는 우려 때문이다. 미국 정보기술(IT) 전문 매체 디인포메이션은 최근 엔비디아의 블랙웰을 서버에 연결하면 과열된다고 보도했다. 지난 3월 블랙웰을 처음 선보인 엔비디아는 2분기 이를 내놓기로 했으나 결함을 발견해 출시를 미뤘다.

2024.11.19 10:58유혜진

델 테크놀로지스, 新 인프라·서비스 공개…AI 팩토리 '확대'

델 테크놀로지스가 인공지능(AI) 구축·운영을 간소화할 수 있는 새로운 인프라 솔루션과 전문 서비스를 발표해 고객사를 지원한다. 델 테크놀로지스는 '델 AI 팩토리' 포트폴리오에 신형 서버, 랙 시스템, AI 전문 서비스를 추가했다고 19일 밝혔다. 델은 이번 업데이트를 통해 대규모 AI 환경에서 데이터 접근과 관리의 효율성을 높이고 고성능 컴퓨팅을 지원할 계획이다. 이번에 공개된 '델 IRSS'는 공장 통합형 랙 스케일 시스템으로 델 스마트 쿨링 기술이 적용돼 플러그 앤 플레이 방식의 고효율 AI 인프라를 제공한다. 델은 설치 후 패키징 폐기물 처리와 노후 하드웨어 재활용 서비스도 지원해 지속 가능성을 강화할 예정이다. 델 파워엣지 'XE9685L'은 수랭식 4U 서버로 최대 96개의 그래픽처리장치(GPU)를 지원하며 AI와 머신러닝 워크로드에 최적화됐다. 공랭식 모델인 'XE7740'은 4U 크기에서 최대 16개의 GPU 구성이 가능해 생성형 AI 모델의 효율적 운영을 돕는다. 이같이 엔비디아 기반 델 AI 팩토리는 새로운 GPU 지원 옵션을 통해 최대 1.9배 성능을 향상시킨다. 또 신규 검색 증강 생성(RAG) 서비스 '델 에이전틱 RAG'를 도입해 대규모 데이터 세트에서 복잡한 쿼리와 RAG 작업을 개선할 수 있도록 했다. 델은 AI 구축을 간소화하기 위한 전문 서비스도 함께 선보였다. 지속 가능한 데이터 센터 구축, 데이터 관리 체계화, AI 네트워크 설계 서비스 등 다양한 분야에서 고객을 지원할 예정이다. 김경진 델 테크놀로지스 한국 총괄사장은 "AI를 구축하려는 기업들이 점점 복잡한 과제에 직면하고 있다"며 "진일보한 AI 솔루션을 통해 고객이 더 스마트하게 대응할 수 있도록 돕겠다"고 말했다.

2024.11.19 10:16조이환

"엔비디아 AI칩 블랙웰, 서버 탑재시 과열"

엔비디아의 최신형 AI 가속기 '블랙웰'을 기반으로 한 서버가 과열 문제를 겪고 있다고 미국 IT전문매체 디인포메이션이 17일 보도했다. 디인포메이션은 소식통을 인용해 "최대 72개의 칩을 장착하도록 설계된 서버 랙에 블랙웰 GPU를 연결하면 과열 현상이 일어난다"며 "과열 문제 해결을 위해 랙 설계 변경을 여러 차례 요청했다"고 밝혔다. 블랙웰은 2천80억개의 트랜지스터를 집적해, 이전 세대인 H100 대비 데이터 연산 속도를 2.5배 가량 향상시켰다. 엔비디아가 올 연말부터 양산을 본격화한 제품이다. 엔비디아의 블랙웰 GPU와 '그레이스' CPU를 연결하면 'GB200'이라는 AI 가속기가 된다. 이 GB200이 랙에 집적되는 개수에 따라 'GB200 NVL32', 'GB200 NVL72' 등으로 나뉜다. 이와 관련해 엔비디아 측은 로이터통신에 성명을 보내 "엔비디아는 선도적인 클라우드 서비스 제공업체와 협력하고 있다"며 "지속적으로 엔지니어링을 하는 일은 정상적이고 예상된 일"이라고 밝혔다. 이번 과열 문제가 심화될 경우 마이크로소프트나 메타, 구글 등 주요 CSP(클라우드서비스제공자) 기업들의 AI 서버 투자 계획은 당초 예상 대비 늦춰질 전망이다. GB200 NVL의 가격이 최대 300만 달러로 추정되는 만큼, 업계에 미칠 파장은 적지 않을 것으로 관측된다.

2024.11.18 09:39장경윤

'델' 주도 AI 서버 시장, 엔비디아 최신 칩 등장 속 판도 변화 올까

생성형 인공지능(AI) 시장 확대와 맞물려 AI 가속기 기반 서버 수요가 폭발하면서 관련 업체들이 고객 확보 경쟁에 본격 나섰다. 각 업체들은 최신 AI 칩을 기반으로 한 신무기를 잇따라 선보이며 점유율 확대에 사활을 건 분위기다. 16일 블룸버그통신에 따르면 델 테크놀로지스는 엔비디아의 AI 가속기인 '블랙웰' 칩을 탑재한 서버를 다음 달부터 일부 고객에게 발송한다. 내년 초부터는 일반 고객에게도 제공될 예정이다. '블랙웰'은 기존 엔비디아 AI 칩인 'H100', 'H200' 등 호퍼(Hopper)를 이을 최신 칩으로, 올해 11월부터 본격적인 양산에 들어간다. 'GB200'은 엔비디아가 블랙웰 아키텍처로 생산된다. 블랙웰 AI 서버 시스템인 'GB200 NVL72'는 이미 출하되고 있는 상태로, 2개의 블랙웰 GPU와 엔비디아의 CPU인 그레이스를 하나로 연결한 GB200 슈퍼칩 36개로 구성됐다. 가격은 380만 달러에 달하며 엔비디아 'GB200' 출하의 대부분을 차지할 것으로 전망됐다. 델 테크놀로지스는 'GB200 NVL72' 시스템을 기반으로 한 파워엣지 'XE9712'를 현재 일부 고객들에게 샘플용으로 공급하고 있다. '블랙웰' 칩은 지난 8월 패키징 결함으로 출시가 다소 늦어질 것으로 예상됐으나 최근 본격 생산되기 시작하며 수요가 폭발적으로 늘어나고 있는 상태다. 특히 마이크로소프트, 오픈AI 등 빅테크들이 AI 데이터센터 구축을 위해 '블랙웰'을 대량 주문하면서 이미 12개월치 생산 물량이 매진됐다. 이 같은 상황에서 델 테크놀로지스는 엔비디아와의 끈끈한 협력 관계를 바탕으로 '블랙웰' 초기 물량 확보에 성공하며 AI 서버 시장에서 입지를 더 탄탄히 구축할 수 있게 됐다. 아서 루이스 델 테크놀로지스 인프라스트럭처 부문 사장은 "'블랙웰' 칩이 포함된 AI 기반 서버는 다음 달 일부 고객에게 보내져 내년 초에 일반 공급될 것"이라며 "다양한 서비스 및 제품으로 차별화한 덕분에 엔비디아의 최신 칩을 조기에 공급 받을 수 있었다"고 설명했다. 델 테크놀로지스는 현재 AI 작업용 고성능 서버 판매 사업 확장에 주력하고 있는 상태로, '블랙웰' 외에 AMD의 기술을 탑재한 AI 특화 서버 신제품 'XE7745'도 전날 공개해 고객들의 선택 폭을 넓혔다. 이 제품은 4U 공냉식 섀시에서 최대 8개의 이중 폭 또는 16개의 단일 폭 PCIe GPU와 AMD 5세대 에픽 프로세서를 지원한다. 이 제품은 AMD 5세대 에픽 프로세서를 탑재한 '델 파워엣지 R6715'와 '델 파워엣지 R7715' 서버와 함께 내년 1월까지 순차적으로 출시된다. 경쟁사인 HPE는 엔비디아 '블랙웰'의 대항마로 여겨지는 AMD의 '인스팅트 MI325X' 가속기를 탑재한 'HPE 프로라이언트 컴퓨트(ProLiant Compute) XD685'를 새로운 무기로 꺼내들었다. 이 서버는 대규모 언어 모델(LLM) 학습, 자연어 처리(NLP), 멀티모달 학습 등 고성능 인공지능(AI) 클러스터를 신속하게 배포할 수 있도록 설계된 제품이다. 또 5U 모듈형 섀시로 다양한 GPU, CPU, 구성 요소, 소프트웨어 및 냉각 방식을 수용할 수 있는 유연성을 갖추고 있다. 이번 일을 기점으로 HPE는 AMD와의 협력을 통해 앞으로 AI 서비스 제공업체, 정부, 대규모 AI 모델 개발자들이 요구하는 유연하고 고성능의 솔루션을 제공해 AI 경쟁에서 우위를 점하겠다는 목표를 가지고 있다. 트리시 댐크로거 HPE HPC 및 AI 인프라 솔루션 부문 수석 부사장은 "AMD와 협력해 HPE 프로라이언트 컴퓨트 XD685로 AI 혁신을 확장할 것"이라며 "AI 모델 개발자 시장의 수요에 부응하며 산업 전반에서 과학과 공학의 혁신을 가속화할 것"이라고 말했다. 슈퍼마이크로 역시 AMD '인스팅트 MI325X' 기반의 새로운 서버를 최근 선보였다. 이번에 출시한 'H14' 서버 포트폴리오는 슈퍼마이크로의 하이퍼 시스템, 트윈 멀티노드 서버 및 AI 추론 GPU 시스템을 포함하고 있다. 또 모든 제품이 공냉식 또는 수냉식 옵션으로 제공된다. 찰스 리앙 슈퍼마이크로 CEO는 "'H14' 서버는 에픽 9005 64코어 CPU를 탑재해 2세대 에픽 7002 시리즈 CPU를 사용하는 자사 'H11' 서버 대비 2.44배 더 빠른 성능을 제공한다"며 "고객은 데이터센터의 총면적을 3분의 2 이상 줄이고 새로운 AI 처리 기능을 추가할 수 있다"고 설명했다. 이처럼 각 업체들이 AI 시장을 노리고 잇따라 성능을 높인 새로운 서버를 출시하면서 업계에선 시장 판도에 변화가 생길 지 주목하고 있다. 전 세계 서버 시장은 현재 델테크놀로지스가 주도하고 있는 상태로, HPE와 슈퍼마이크로가 뒤를 잇고 있다. 특히 현재 5~7%가량의 점유율을 차지하고 있는 슈퍼마이크로는 GPU 기반 AI 서버 시장에서 존재감을 높이며 델 테크놀로지스를 점차 위협하고 있다. 미즈호증권 비제이 라케시 애널리스트에 따르면 2022~2023년 AI 서버 시장 내 슈퍼마이크로의 점유율은 80~100%에 달했다. 다만 델 테크놀로지스도 최근 들어 AI 서버 매출을 점차 늘리고 있다. 올해 5~7월에는 31억 달러가 출하됐고, 지난해 5월부터 올해 4월까지는 60억 달러가량의 AI 서버가 판매됐다. 업계 관계자는 "AI 서비스에 대한 수요가 증가함에 따라 자연스럽게 AI 서버에 대한 수요도 함께 늘어나고 있다"며 "우수한 설계 능력과 강력한 AI 파트너십을 바탕으로 존재감을 드러내고 있는 슈퍼마이크로가 향후 델, HPE 등 경쟁사들의 점유율을 빼앗을 가능성이 높다"고 말했다. 아거스리서치 애널리스트들은 "슈퍼마이크로는 AI 시대를 선도하는 컴퓨터 및 서버 업체"라며 "지난 1년간 큰 폭의 이익을 얻었는데 앞으로도 수년 동안 강력한 매출 성장과 마진 확대, 주당순이익(EPS) 가속화에 대비하고 있다"고 평가했다.

2024.10.16 11:51장유미

폭스콘 "엔비디아 GB200 서버, 계획대로 4분기 출하"

대만 폭스콘이 엔비디아의 최신형 AI 가속기 'GB200'을 당초 계획대로 올 4분기 출하될 것이라고 14일(현지시간) 밝혔다. 폭스콘은 2분기 실적발표 자료를 통해 "GB200 랙(복수의 서버를 저장할 수 있는 특수 프레임) 개발 일정이 순조롭게 진행되고 있다"며 "폭스콘이 확실히 첫 공급업체가 될 것이고, 출하는 올 4분기에 시작될 것"이라고 설명했다. GB200은 엔비디아가 지난 3월 공개한 최신형 GPU인 '블랙웰' 기반의 AI 가속기다. 블랙웰은 4나노미터(nm) 공정을 채택하고, 트랜지스터를 2천80억 개 집적한 것이 특징이다. 두 개의 블랙웰 GPU와 72코어의 그레이스 CPU를 결합하면 GB200이 된다. 폭스콘은 세계 최대 위탁생산업체로서, 엔비디아의 GB200을 도입해 서버 랙을 제작하고 있다. 이달 초 미국 테크 전문매체 디인포메이션 등에서는 엔비디아의 GB200이 설계 결함으로 수율에 문제가 생겼다고 보도한 바 있다. 당시 디인포메이션은 "엔비디아가 마이크로소프트 등 고객사에 GB200의 결함 사실을 알렸다"며 "내년 1분기까지 블랙웰 칩의 대량 출하가 이뤄지지 않을 것으로 예상된다"고 밝혔다. 폭스콘의 이번 발표는 엔비디아를 둘러싼 불안을 잠재우려는 의도로 해석된다. 폭스콘은 "올해 AI 서버가 자사 전체 서버 수익의 40%를 기여할 것이라는 견해를 고수한다"며 "AI 서버에 대한 강력한 수요는 내년에도 지속돼, 향후 폭스콘의 차기 1조 달러 수익 산업이 될 것"이라고 밝혔다.

2024.08.16 08:58장경윤

델, 엔비디아 블랙웰 GPU 8개 탑재 4U 서버 공개

[라스베이거스(미국)=김우용 기자] 델테크놀로지스가 엔비디아와의 협력을 확대하며, 엔비디아 블랙웰 GPU를 한 랙에 최대 72개 장착할 수 있는 파워엣지 서버 신제품을 공개했다. 단일 서버 크기는 기존 제품대비 3분의2로 줄이면서 더 높은 성능과 대역폭을 제공한다. 델테크놀로지스는 21일(현지시간) 미국 라스베이거스에서 개최한 '델테크놀로지스월드(DTW) 2024' 컨퍼런스에서 '엔비디아 기반 델 AI 팩토리'에 새로운 서버, 엣지, 워크스테이션, 솔루션, 서비스 등을 추가한다고 발표했다. '엔비디아 기반 델 AI 팩토리'는 델의 AI 포트폴리오를 '엔비디아 AI 엔터프라이즈' 소프트웨어 플랫폼과 통합한 오퍼링이다. 엔비디아 텐서 코어 GPU, 엔비디아 스펙트럼-X 이더넷 네트워킹 패브릭 및 엔비디아 블루필드 DPU 등의 기술을 기반으로 한다. 고객은 필요에 따라 맞춤화된 통합 기능 또는 사전 검증된 전체 스택 솔루션을 구매해 검색증강생성(RAG), 모델 학습 및 추론과 같은 AI 사용 사례에 적용할 수 있다. 신제품 '델 파워엣지 XE9680L'은 기존 모델 대비 더 작은 4U 폼 팩터에 8개의 엔비디아 블랙웰 아키텍처 GPU를 탑재해 높은 성능을 제공한다. 기존 모델인 '델 파워엣지 XE9680'의 경우 6U 크기 제품이었는데, '델 파워엣지 XE9680L'는 4U 크기로 작아졌다. 업계 표준 x86 랙 상에서 엔비디아 GPU를 최고 수준의 집적도를 자랑한다. 기존 모델 대비 노드당 33% 더 높은 GPU 집적도를 제공한다. 20% 더 많은 5세대 PCIe 슬롯을 장착하고, 노스-사우스 네트워크 확장 용량을 2배로 늘렸다. 델 파워엣지 XE9680L서버는 '다이렉트 리퀴드 쿨링' 기술로 CPU 및 GPU의 냉각 용량을 높여 전반적인 효율성을 향상시켰다. 손쉬운 서비스가 가능하도록 설계됐으며, 랙 스케일 구축 및 현장 설치가 용이하게끔 공장에서부터 완벽하게 구성이 완료된 상태로 출하된다. 델은 업계에서 가장 높은 집적도와 에너지 효율의 랙 규모 턴키 솔루션을 공급함으로써 대규모 GPU 가속 구축의 가치 실현 시간을 단축한다. 델과 엔비디아는 향후 단일 랙에서 64개의 GPU를 지원하는 공냉식 설계 또는 단일 랙에서 72개의 엔비디아 블랙웰 GPU를 지원하는 수냉식 서례 등 다양한 옵션을 선보일 예정이다. 델테크놀로지스는 '엔비디아 AI 엔터프라이즈' 소프트웨어의 배포를 자동화하는 엣지 오케스트레이션 플랫폼 '델 네이티브엣지'를 선보였다. 개발자와 IT 운영자는 이를 이용해 엣지에 AI 애플리케이션 및 솔루션을 손쉽게 구축할 수 있다. 제조업이나 유통업계의 다양한 기업들이 엔비디아 메트로폴리스 영상 분석, 엔비디아 리바 음성 및 번역 기능, 엔비디아 NIM 추론 마이크로서비스를 포함한 새로운 델 네이티브엣지 블루프린트를 통해 빠르고 정확하게 엣지 데이터를 분석할 수 있다. 마이클 델 델테크놀로지스 회장은 “전세계가 AI를 활용하기 위해 빠르게 움직이고 있으며, 이것이 바로 엔비디아와 긴밀하게 협력하는 중요한 이유"라며 "엔비디아 기반 델 AI 팩토리 포트폴리오의 확장은 양사 공동의 사명을 이어가는 것으로, 더 많은 기업과 기관들이 AI를 보다 손쉽게 구축하여 과감하게 차세대 기술에 도전할 수 있도록 하는 것을 목표로 한다”고 밝혔다. 젠슨 황 엔비디아 CEO는 "생성형 AI는 새로운 유형의 컴퓨팅 인프라, 즉 인텔리전스를 생성하는 AI 팩토리를 필요로 한다"며 "엔비디아와 델은 함께 협력해 전세계 다양한 산업군에 컴퓨팅, 네트워킹, 소프트웨어를 포함한 풀스택 오퍼링을 제공해 코파일럿, 코딩 어시스턴트, 가상 고객 서비스 에이전트, 산업용 디지털 트윈 등을 구축할 수 있도록 지원할 계획"이라고 강조했다. DTW 2024 첫째날 기조연설에서 마이클 델 회장이 델 파워엣지 XE9680L을 소개하자, 젠슨 황 CEO는 “그런 말로 나를 유혹하지 마라”며 “랙에 72개의 블랙웰이 있다니 그것은 나를 매우 흥분하게 만든다”며 환하게 웃었다. 한편, 새롭게 공개된 '디지털 어시스턴트를 위한 델 생성형 AI 솔루션'은 델과 엔비디아의 풀스택 솔루션을 기본으로 사용자가 개인화된 셀프서비스를 경험할 수 있게끔 디지털 어시스턴트의 빠른 구축을 돕는다. 함께 발표된 '디지털 어시스턴트를 위한 구축 서비스'는 디지털 어시스턴트 솔루션을 설계, 계획, 구현, 테스트 및 확장할 수 있도록 지원한다. 양사 공동 엔지니어링을 통해 설계된 풀스택 자동화 솔루션인 '엔비디아 기반 델 AI 팩토리'는 다양한 활용 사례에 대한 AI 환경을 빠르게 구축할 수 있게끔 돕는다. 가치 실현 시간을 최대 85% 앞당기며, 엔비디아 추론 마이크로서비스(NIM)'와 함께 사용할 경우 딜리버리에서 추론 작업 실행에 걸리는 전체 시간을 획기적으로 단축한다. '프리시전 AI 워크스테이션 기반 RAG를 위한 델 가속기 서비스'는 AI 개발 주기를 단축하고 AI 애플리케이션 성능을 향상시킨다. 엔비디아 AI 워크벤치 툴킷을 탑재한 델 프리시전 워크스테이션 기반 RAG를 통해 맞춤형 대규모 언어모델을 활용함으로써 안전한 환경에서 신속한 프로토타이핑이 가능하다. '델 파워엣지 XE9680L' 서버는 올해 하반기 중 출시될 예정이다. '델 네이티브엣지'의 엔비디아 지원은 하반기를 시작으로 순차적으로 제공된다. '디지털 어시스턴트를 위한 델 생성형 AI 솔루션' 및 '디지털 어시스턴트를 위한 구현 서비스'는 현재 북미 지역에 한해 제공되고 있다. '프리시전 AI 워크스테이션 기반 RAG를 위한 델 가속 서비스'는 북미, EMEA, 아태지역의 일부 국가에 한해 하반기 중 출시될 예정이다. 제프 클라크 델테크놀로지스 제품 및 운영부문 부사장은 DTW 2024 둘째날 기조연설에서 “기존의 데이터센터 아키텍처는 생성에이아이 워크로드에 적합하지 않다는게 자명해졌다”며 “파워엣지 XE9680L은 한 랙에서 72개 블랙웰 GPU를 탑재할 수 있는데, 이 GPU는 수천, 수만개로 늘어날 수 있다”고 말했다. 그는 “옛 시스템에서 벗어나 완전히 다른 방식으로 구축하고 생성형 AI 워크로드에 맞춰 최적화하면서 발전해 나가야 한다”고 덧붙였다.

2024.05.22 07:45김우용

한국IDC "올해 국내 서버 시장 GPU 공급확대로 성장 전환"

한국IDC는 최근 발간한 '국내 엔터프라이즈 인프라스트럭처 서버 컴핏 보고서'에서 국내 서버 시장이 향후 5년간 연평균 성장률(CAGR) 9.9%를 기록하며 2028년 4조7천246억원의 매출 규모를 형성할 것이라고 30일 밝혔다. 국내 서버 시장은 주요 GPU 제조사의 공급이 회복되며 2024년부터 성장세로 전환할 것으로 분석됐다. IDC 보고서에 따르면 작년 국내 서버 시장 매출 규모는 전년 대비 5.1% 감소한 2조9천521억원으로 나타났다. 신규 데이터센터 증가에도 불구하고 서버 증설 물량이 기대에 미치지 못한 점이 시장 감소의 주요 원인으로 꼽힌다. 2022년말부터 생성형AI 시장의 가파른 성장으로 인해 기업 IT예산이 GPU 서버에 집중되며 기존 데이터센터 랙서버 물량의 감소, GPU 서버 공급 지연 문제 등의 요인이 시장 하락에 영향을 미친 것으로 분석됐다. 국내 서버 시장은 그간 기업의 디지털화를 지원하는 클라우드가 성장의 동력이었으나 재작년부터 생성형 AI 시장이 급격히 성장하며 시장 판도가 바뀌었다. 작년 정부의 공공 클라우드 전환 사업 예산 삭감으로 투자 방향을 잃은 국내 클라우드 사업자들이 생성형AI를 위한 GPU 서버 확보에 IT투자를 집중하는 추세다. 특히 생성형AI를 구축하기 위해서 많은 데이터의 트레이닝을 위한 8GPU 서버가 선호되며8GPU 서버 공급이 가능한 서버 벤더가 국내 서버 시장을 주도했다. 향후 제조, 통신, 공공, 금융 등 다양한 산업의 GPU서버 도입도 증가하면서 생성형AI 시장의 저변이 확대될 것으로 예상된다. 엔비디아가 서버 GPU를 단독으로 공급하면서 수요가 몰리는 경향이 있었으나, AMD도 서버 GPU를 출시하며 향후 인퍼런싱 단계에서 GPU외에 다른 가속기 수요도 증가할 전망이다. 아직 생성형AI의 초기 단계로 트레이닝을 위한 8GPU 서버의 수요가 빠르게 증가하고 있지만 본격적으로 생성형AI가 상용화되는 시점에서는 인퍼런싱에 대한 수요도 증가하면서 8GPU 서버와 단일 GPU 벤더로 집중되는 현상은 해소될 것으로 예상된다. IDC는 서버를 크게 x86 프로세서를 사용하는 x86서버와 그 외 비x86 서버로 구분하고 있다. 대부분의 플랫폼이 x86 서버 기반으로 전환되면서 국내에서 대략적으로 90% 이상이 x86 서버로 공급되고 있으나 일부 공공 및 금융권에서는 여전히 미션크리티컬 서버로 비x86 서버 기반의 유닉스 시스템이 운영되고 있다. 저전력으로 운영되는 ARM 서버도 글로벌 클라우드 서비스 사업자 중심으로 빠르게 성장하는 추세다. 이런 기조를 바탕으로 국내 비x86 서버 시장의 향후 연평균 성장률은 5.9%를 기록하며 2028년에는 3천866억원의 매출 규모를 형성할 전망이다. 국내 x86 서버 시장 역시 기업의 AI 및 클라우드 등 디지털 전환을 주도하면서 향후 5년간 연평균 성장률은 10.3%로 증가하여 2028년에는 4조3천379억원의 매출 규모를 기록할 것으로 예상된다. 한국IDC에서 엔터프라이즈 인프라 시장 리서치를 담당하고 있는 김민철 수석연구원은 “서버 시장의 경우 아직 생성형AI의 초기 단계지만 GPU 서버에 대한 투자 과열과 늘어나는 GPU는 소비 전력 증가 및 발열 상승으로 이어지고 있다"며 "이는 데이터센터의 운영 비용 증가로 이어져 앞으로 수도권의 추가적인 데이터센터 구축은 점차 힘들어질 것”이라고 설명했다. 그는 "현재 생성형AI는 대부분 LLM 기반으로 운영되고 있으나, 향후에는 이미지, 사운드, 비디오 등 다양한 고용량 데이터가 증가하며 AI기술을 위한 GPU 서버 공급이 더욱 증가할 것"이라고 전망했다.

2024.04.30 09:46김우용

가비아, AI 기업에 GPU 서비스 57% 할인

가비아(대표 김홍국)는 GPU 서비스를 인공지능(AI) 및 딥러닝 관련 기업에게 최대 57% 할인을 제공한다고 4일 밝혔다. 이 이벤트로 AI 서비스를 개발, 제공 중인 기업은 GPU 서버 및 고전력 랙을 저렴한 가격으로 사용할 수 있게 됐다. 가비아의 GPU 서버호스팅 상품은 자체 GPU 서버가 없는 고객에게 서버를 임대해주는 서비스다. AI 스타트업이나 단기로 GPU 서버가 필요한 고객이 부담 없이 이용할 수 있다. 가비아는 RTX 3080부터 A6000까지 다양한 GPU 제품군을 보유했다. 가비아는 서버호스팅 서비스를 도입하는 고객 모두에게 약정 없이 할인가를 적용하고, 월 2만 원 상당의 GPU 전문 모니터링 서비스를 무상으로 제공할 방침이다. 이미 자체 물리 서버를 보유하고 있는 고객이라면 고전력 랙 코로케이션 상품을 선택하면 된다. 코로케이션이란 자사가 보유하고 있는 서버를 가비아에 위탁하여 운영하는 서비스다. 고객은 저전력부터 고전력 하이퍼스케일 IDC까지 기업의 비즈니스 용도에 맞게 상품을 선택하여 이용하면 된다. 가비아는 코로케이션 신규 고객에게 랙당 5A 추가 전력과 회선 100M를 무상으로 제공한다고 밝혔다. 이벤트 참여를 원하는 기업은 가비아 공식 홈페이지에서 신청하면 된다. 참여 고객이 많을 경우 이벤트는 조기 종료될 수 있다. 가비아 측은 “최근 AI가 IT 업계의 트렌드로 떠오르면서 관련 기업이 많이 생겨남에 따라, AI 서비스를 제공하는 기업 고객의 부담을 줄이고자 이번 이벤트를 기획했다”며 “가비아가 과학기술정보통신부가 지정한 보안관제 전문기업인 만큼 고객은 가비아에서 안전하고 안정적인 GPU 서비스를 이용할 수 있다”고 밝혔다.

2024.04.04 10:36김우용

ISC, 美 CPU사 양산 검증 통과...대면적용 신규 소켓 사업 순항

아이에스시(ISC)가 고성능 시스템반도체용 테스트 소켓 사업 확장에 추진력을 얻고 있다. 지난해 개발한 대면적용 소켓으로 주요 고객사와 검증에 돌입해, 최근 양산 적용에 대한 승인을 받은 것으로 파악됐다. 2일 업계에 따르면 ISC는 올 1분기 북미 CPU 고객사로부터 신규 테스트 소켓에 대한 퀄(품질) 테스트를 완료했다. ISC가 이번에 승인을 받은 제품은 대면적 시스템반도체용 실리콘 러버 소켓이다. 모델명은 WiDER2로, ISC가 지난해 개발한 제품이다. 이전 세대(WiDER) 대비 작동 범위 및 대응력을 높였다. 테스트 소켓은 패키징 공정이 끝난 칩의 양품 여부를 최종적으로 검사하는 데 쓰인다. 테스트 방식에 따라 포고핀(Pogo pin)과 러버(Rubber)로 나뉜다. 이 중 러버 소켓은 칩에 손상을 줄 가능성이 낮고 미세공정에 적합하다. ISC는 지난해 북미 CPU 고객사에 WiDER2를 공급해 R&D(연구개발) 영역에서 테스트를 거쳐 왔다. 이후 올 1분기에는 양산 적용에 대한 퀄 테스트를 통과했다. 이르면 올 2분기부터 발주가 진행될 예정으로, 실제 공급 규모는 시장 상황에 따라 가변적일 것으로 관측된다. 업계가 ISC의 WiDER 사업에 주목하는 이유는 반도체 산업의 트렌드에 있다. 최근 CPU·GPU 등 시스템반도체 시장은 AI 산업의 발전에 대응하고자 데이터 처리 성능을 급격히 끌어올리고 있다. 특히 서버용 반도체의 경우, 핵심 칩과 각종 고성능 메모리·인터페이스 칩을 함께 집적하는 방식으로 진화하고 있다. 이 같은 반도체의 고성능화는 필연적으로 칩 면적의 확장을 촉진한다. 반도체 후공정 소부장 기업들 역시 점차 커지는 칩 면적에 대응하기 위한 신규 장비, 부품 등을 적극 개발해 왔다. 반도체 업계 관계자는 "칩 사이즈를 최대한 줄이려던 모바일 시대와 달리, AI 시대에서는 성능의 극대화를 위해 칩 사이즈를 키우는 방향으로 나아가고 있다"며 "부품 업계도 칩 면적 확대와 함께 높아지는 기술적 난이도에 잘 대응한다면 글로벌 경쟁력을 확보할 수 있을 것"이라고 설명했다. 한편 ISC는 이와 관련해 "구체적으로 말씀드릴 수 있는 사안은 없다"고 밝혔다.

2024.04.02 11:08장경윤

델테크놀로지스, 엔비디아 기반 'AI 팩토리 솔루션' 공개

델테크놀로지스는 엔비디아와 전략적 협력을 강화하고 '델 AI 팩토리 위드 엔비디아' 솔루션을 출시한다고 19일 밝혔다. '델 AI 팩토리 위드 엔비디아'는 델의 생성형 AI 솔루션 포트폴리오 중 하나로, 기업과 기관들이 자체 보유한 데이터와 AI 툴, 그리고 온프레미스 인프라를 보다 안전하고 빠르게 통합하여 생성형 AI 투자 효과를 극대화하도록 돕는 것을 골자로 한다. 델과 엔비디아는 긴밀한 협력을 통해 델의 엔드투엔드 생성형 AI 솔루션 포트폴리오를 강화하고, 고객들이 비즈니스 혁신을 가속화하는 한편 생산성을 높일 수 있도록 지원에 나선다. '델 AI 팩토리 위드 엔비디아'는 델의 서버, 스토리지, 클라이언트 디바이스, 소프트웨어 및 서비스와 엔비디아의 AI 인프라 및 소프트웨어 팩키지를 결합한 통합형 솔루션이다. 고속 네트워크 패브릭을 기반으로 구성된다. 엄격한 테스트와 검증을 거친 랙 단위 설계가 가능하며, 이를 통해 데이터로부터 가치 있는 통찰력과 성과를 이끌어낼 수 있도록 돕는다. 이 솔루션은 또한 엔터프라이즈 데이터 보안 분야의 기존 오퍼링들을 비롯해 보안 및 개인 정보 보호를 위한 델의 서비스 오퍼링과 함께 활용할 수 있다. '델 AI 팩토리 위드 엔비디아'는 모델 생성 및 튜닝에서부터 증강, 그리고 추론에 이르는 생성형 AI의 전체 수명주기에 걸쳐 다양한 AI 활용 사례와 애플리케이션을 지원한다. 델이 제공하는 프로페셔널 서비스를 활용해 조직에서는 전략을 세우고, 데이터를 준비하여 구현하고 적용하기 까지의 과정을 가속할 수 있으며, 조직 전반의 AI 역량을 향상시킬 수 있다. 이 솔루션은 기존의 채널 파트너를 통해 구매하거나, '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 델테크놀로지스는 엔비디아와 협력해 '엔비디아 그레이스 블랙웰 슈퍼칩'을 기반으로 하는 랙 스케일 고밀도 수랭식 아키텍처를 채용할 예정이다. 이 시스템은 엔터프라이즈 AI 워크로드의 성능 집적도 향상을 위한 기반으로서 차세대 생태계를 지원하게 된다. 델 파워엣지 XE9680 서버는 '엔비디아 B200 텐서 코어 GPU'를 포함한 신규 엔비디아 GPU 모델을 지원할 예정이며, 이를 통해 최대 15배 높은 AI 추론 성능과 TCO 절감을 기대할 수 있다. 델 파워엣지 서버는 엔비디아 블랙웰 아키텍처 기반의 다른 여러 GPU와 H200 텐서 코어 GPU, 엔비디아 퀀텀-2 인피니밴드 및 스펙트럼-X 이더넷 네트워킹 플랫폼도 지원할 예정이다. '검색 증강 생성을 위한 델과 엔비디아의 생성형 AI 솔루션'은 '엔비디아 AI 엔터프라이즈'의 새로운 마이크로서비스를 활용해 사전 검증된 풀스택 솔루션을 제공함으로써 RAG(검색 증강 생성) 기술 도입을 가속한다. 자체 보유한 고유 데이터 및 지식 베이스와 같이 사실에 근거한 새로운 데이터 세트를 통해 생성형 AI 모델 품질을 개선하고 결과 정확도를 높일 수 있다. '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 자체적으로 도메인 맞춤형 AI 모델을 구축하려는 기업 및 기관들을 위해 사전 검증된 풀스택 솔루션을 제공한다. 이와 함께 '생성형 AI를 위한 델 프로페셔널 서비스'는 포트폴리오 전반에 대한 통합, 관리, 보호를 지원하여 비즈니스 성과를 더 빠르게 달성할 수 있게끔 돕는다. 델 구현 서비스는 델의 신규 RAG 솔루션 및 모델 훈련을 비롯해 보안 위험을 평가하고 영향을 최소화하도록 돕는 '생성형 AI 데이터 보호를 위한 자문 서비스' 등을 포함한다. 젠슨 황 엔비디아 설립자 겸 CEO는 "AI 팩토리는 향후 산업군 별로 인텔리전스를 창출하는 핵심 역할을 할 것"이라며 "엔비디아와 델은 함께 기업이 AI 팩토리를 통해 기업들이 자체 보유한 고유의 데이터를 강력한 인사이트로 전환할 수 있도록 지원하고 있다”고 밝혔다. 김경진 한국델테크놀로지스 총괄 사장은 “엔터프라이즈 고객들은 복잡한 AI 요구에 대응하고 이를 빠르게 해결할 수 있는 솔루션을 갈망하고 있다”며 “양사의 노력으로 탄생한 턴키 솔루션은 데이터와 사용 사례를 원활하게 통합하고, 맞춤형 생성 AI 모델 개발을 간소화한다”고 덧붙였다. '델 AI 팩토리 위드 엔비디아'는 기존 채널 파트너를 통하거나, 또는 '델 에이펙스(APEX)' 구독형 모델을 통해 도입할 수 있다. 엔비디아 H200 텐서 코어 GPU를 탑재한 델 파워엣지 XE9680 서버는 델 회계연도 2분기(5월~7월)에 출시되며, 엔비디아 B200 및 B100 GPU를 탑재한 XE9680 서버는 4분기(11월~내년 1월) 내에 출시될 예정이다. 'RAG를 위한 델과 엔비디아의 생성형 AI 솔루션'은 현재 기존 채널 파트너와 델 에이펙스를 통해 전 세계에서 구입할 수 있으며, '모델 훈련을 위한 델과 엔비디아의 생성형 AI 솔루션'은 4월에 출시될 예정이다. 'RAG를 위한 델 구현 서비스'는 5월 31일부터 한국을 비롯한 일부 지역에서 제공되며, '모델 훈련을 위한 델 인프라스트럭처 구축 서비스'와 '델 생성형 AI 데이터 보안을 위한 자문 서비스'는 3월 29일부터 한국을 비롯한 일부 국가에서 출시될 예정이다.

2024.03.19 13:47김우용

AIC, 韓 보안 전시회서 新 GPU 서버 최초 공개

AIC가 신제품 GPU 서버인 CB201-B5와 CB401-TU를 국내에서 최초 공개한다. AIC가 오는 20일부터 22일까지 일산 킨텍스에서 개최되는 '세계 보안 엑스포(SECON) & 전자정부 정보보호 솔루션 페어(eGISEC) 2024'에 참가한다고 8일 밝혔다. AIC는 이번 박람화에서 최신 서버 및 스토리지 기술을 선보일 예정이다. 보안 시장에 필수 요소인 고가용성 및 고용량 스토리지 시스템의 경우 SB407-TU, HA401-TU 및 JBOD 제품들을 선보일 예정이다. 마이클량 AIC의 최고 경영자(CEO) 겸 사장은 "AIC는 이번 전시회를 통해 한국 시장에 다양한 제품을 선보이게 돼 기쁘게 생각한다"며 "특히 이번에 출시된 GPU 서버는 뛰어난 성능과 안정성을 제공하도록 구축돼 고성능 GPU 서버 솔루션이 필요한 다양한 기업에 탁월한 선택이 될 것"이라고 말했다.

2024.03.08 10:37이한얼

엔비디아, 4분기 매출 265% 급증…AI 서버로 '퀀텀 점프'

글로벌 팹리스 엔비디아가 또 다시 '어닝 서프라이즈'를 달성했다. 폭발적인 인공지능(AI) 서버 수요 증가세에 따른 효과로, 회사는 올해 상반기에도 당초 예상을 뛰어넘는 매출을 달성할 수 있을 것으로 내다봤다. 엔비디아는 22일 2023 회계연도 4분기(2024년 1월 종료) 매출이 221억 달러로 전년 동기에 비해 265% 증가했다고 발표했다. 이는 전분기에 비해서도 22% 늘어난 것이며 증권가 전망치 204억 달러를 크게 웃돌았다. 같은 분기 주당 순이익(GAAP 기준)도 4.93달러로 전분기 대비 33%, 전년동기 대비 765% 늘어났다. 엔비디아 호실적의 주역은 데이터센터 사업이다. 해당 분기 데이터센터 사업 매출은 184억 달러로 전분기 대비 27%, 전년동기 대비 409% 증가했다. 젠슨 황 엔비디아 최고경영자(CEO)는 "가속컴퓨팅 및 생성형 AI가 티핑 포인트(특정 현상이 급속도로 커지는 지점)에 도달했다"며 "국가, 산업을 가리지 않고 전 세계적으로 수요가 급증하고 있다"고 밝혔다. 엔비디아는 올 상반기 실적에 대해서도 긍정적인 전망을 내비쳤다. 회사는 2024 회계연도 1분기(2024년 4월 종료) 매출 예상치로 전분기 대비 8% 증가한 240억 달러를 제시했다. 이 전망치 역시 증권가 예상보다 9% 가량 상회한 수치다. 현재 엔비디아는 AI 산업의 핵심인 고성능 그래픽처리장치(GPU)와 이를 기반으로 한 AI 가속기 시장을 사실상 독과점하고 있다. 올해에도 3나노미터(nm) 기반의 신규 제품 'B100' 출시를 목표로 하는 등, 시장 지배력 유지를 위한 행보를 이어가고 있다.

2024.02.22 08:50장경윤

시스코-엔비디아, 'AI 네트워킹' 동맹 체결

시스코와 엔비디아가 인공지능(AI) 네트워킹 인프라 동맹을 체결했다. 시스코는 지난주 암스테르담에서 개최한 '시스코 라이브'에서 엔비디아와 AI 인프라 솔루션 파트너십을 발표했다. 이 파트너십에 따르면, 시스코는 엔비디아 GPU 클러스터에 특수목적 이더넷 네트워킹 기반 솔루션을 제공한다. 엔비디아의 GPU 클러스터를 이더넷 인프라로 확장할 수 있는 솔루션이다. 엔비디아의 텐서코어 GPU는 시스코 UCS-X 시리즈, UCS-X 시리즈 다이렉트 등 시스코 UCS M7 세대 랙 및 블레이드 서버에서 사용가능하다. 각종 AI 관련 프레임워크와 사전훈련 모델, 개발 도구 등을 포함하는 엔비디아 AI 엔터프라이즈를 시스코를 통해 사용할 수 있다. 시스코는 엔비디아와 참조 아키텍처를 공동 검증하고 고객에게 제공한다. 생성 AI 추론을 위한 플렉스포드, 플래시스택용 시스코검증설계(CVD, Cisco Validated Design)를 시작으로 여러 검증 아키텍처가 출시될 예정이다. 시스코는 넥서스 대시보드, 시스코 인터사이트 등을 사용해 엔비디아 GPU 클러스터 운영을 간소화한다. 시스코 사우전드아이즈와 시스코 가시성 플랫폼이 AI 인프라 모니터링을 제공한다. AI 인프라의 핵심인 GPU의 성능을 높이려면 여러 GPU를 연결하는 네트워킹 기술이 필요하다. 여기서 GPU 연결에 노드 내부와 노드 외부 등 두 종류의 네트워킹이 요구된다. LLM 환경은 기존 네트워크 물량 대비 최소 3~4배의 네트워킹 물량이 필요하다. 손실없는 완벽한 논블로킹 네트워킹 구조를 요구하므로, 네트워킹 장비와 케이블 수가 문자그대로 '기하급수'로 증가한다. 엔비디아의 경우 표준 아키텍처에 의하면, DGX 같은 전용 서버 한 대에 GPU를 8개씩 장착할 수 있다. 8개의 GPU는 노드 내 연결은 엔비디아의 NV링크란 독점 기술을 쓴다. 그리고 GPU 서버를 여러대 연결하는 노드 외 연결은 고대역폭 인피니밴드나 이더넷 스위치를 이용한다. 엔비디아는 H100 GPU의 노드 연결에 400Gbps의 고대역폭 네트워킹을 기본 사양으로 권고한다. 엔비디아는 고사양 GPU 신제품을 내놓을 때마다 대폭의 네트워킹 사양 업그레이드를 요구해왔다. V100 GPU에서 A100으로 넘어가면서 네트워킹 사양을 100Gbps에서 200Gbps로 올렸다. 성능 요구치는 초당 300GB에서 600GB로 올렸다. H100의 성능 요구치는 초당 900GB에 이른다. 만약 네트워킹 사양을 부족하게 구성하면 아무리 많은 GPU를 구비한다 해도 LLM 학습이나 추론 성능이 떨어질 수밖에 없다. 빠른 AI 서비스를 출시하려면 고비용의 대규모 AI 인프라 도입에서 특히 각 연산 요소 간 통신에 필요한 네트워킹이 필수적이다. 현재 엔비디아 GPU 클러스터링의 네트워킹 인프라는 인피니밴드 중심이다. 델오로그룹 분석에 의하면, 전세계 엔비디아 기반 AI 인프라의 90%는 엔비디아 멜라녹스의 인피니밴드를 사용중인 것으로 추정된다. 인피니밴드가 이더넷을 압도하며 AI 인프라에 활용된 건 고대역폭과 안정성 때문이다. 하지만 기술의 발전으로 인피니밴드로만 구현가능했던 부하분산, 안정성, 고대역폭, 저지연시간 등의 요건이 이더넷에서도 충족가능해졌다. AI 인프라는 다수의 GPU 간 병렬 연산을 빠르게 수행하기 위해 다양한 부하분산 기술을 필요로 한다. RDMA, GPU 간 P2P, GPU 다이렉트스토리지 등이 활용된다. 이중 대표적인 오프로딩 기술인 RDMA는 워크로드 내 존재하는 다수의 프로토콜 계층을 건너뛰는 제로카피 기술 'DMA'를 네트워킹까지 확장한 것이다. RDMA는 서버 간 혹은 서버와 스토리지 간 간섭없는 메모리 접근을 제공해 GPU 간 병렬 연산 능력을 극대화한다. 시스코의 경우 실리콘원 G200 스위치 ASIC을 통해 고급 혼잡 관리, 패킷 스프레이 기술, 링크 장애 조치 등 AI 환경에 유용한 여러 기능을 제공한다. 이 ASIC의 경우 전력 효율도 우월해 인피니밴드 대비 운영비용을 더 절감할 수 있다. 인피니밴드보다 이더넷을 AI 인프라에 활용할 경우 운영 인력 확보도 더 용이해진다. 인피니밴드와 달리 이더넷은 표준 기술이고 경쟁 시장이기 때문에 개방적이면서 누구나 쉽게 구축 및 운영할 수 있다. 이미 이더넷으로 구축된 외부 서비스와 연동도 더 쉽다. 운영 인력의 저변도 매우 넓다. 척 로빈스 시스코 회장 겸 최고경영자는 “AI는 우리가 일하고 생활하는 방식을 근본적으로 변화시키고 있으며, 이러한 규모의 변화로 인해 기업은 인프라를 재고하고 재구축해야 한다는 것을 역사를 통해 알 수 있다”며 "엔비디아와 훌륭한 파트너십을 강화하면 기업은 AI 솔루션을 대규모로 구축, 배포, 관리 및 보호하는 데 필요한 기술과 전문 지식을 갖추게 될 것”이라고 밝혔다. 젠슨 황 엔비디아 CEO는 "모든 기업이 생성 AI를 통해 비즈니스를 혁신하기 위해 경쟁하고 있다"며 “시스코와 긴밀히 협력해 기업이 평생 가장 강력한 기술인 AI의 혜택을 받는 데 필요한 인프라를 그 어느 때보다 쉽게 확보할 수 있도록 만들고 있다”고 강조했다.

2024.02.13 11:56김우용

젠슨 황 엔비디아 "세계 각국, AI 인프라 독자 구축해야"

젠슨 황 엔비디아 CEO가 세계 각국이 독자적인 AI(인공지능) 인프라를 구축해야 함을 강조했다고 로이터통신 등이 12일 보도했다. 이날 두바이에서 열린 '세계정부정상회의(WGS) 2024'에 참석한 황 CEO는 "AI의 경제적 잠재력을 활용하면서 자국의 문화를 보호하려면 모든 국가가 자체 AI 인프라를 보유해야 한다"며 "다른 국가가 그런 일을 하도록 허용해서는 안 된다"고 말했다. 그는 이어 "가능한 한 빨리 AI 산업의 주도권을 잡고, 업계를 활성화하고, 인프라를 구축하는 것은 전적으로 각국 정부에 달렸다"고 덧붙였다. AI 산업의 위험성에 대해서는 "과도한 두려움"이라는 입장을 밝혔다. 황 CEO는 "자동차, 항공 등 다른 신기술 및 산업도 성공적으로 규제된 바 있다"며 "AI에 대한 공포를 부추기면서 아무 것도 하지 않도록 장려하는 사람들은 실수를 하고 있다고 생각한다"고 강조했다. 현재 엔비디아는 AI 구현의 핵심으로 꼽히는 고성능 서버용 GPU(그래픽처리장치) 분야에서 압도적인 시장 점유율을 차지하고 있다. 덕분에 최근 엔비디아의 시가총액은 1조8천200억 달러까지 상승하면서 지난 2002년 이후 처음으로 아마존을 앞지르기도 했다.

2024.02.13 08:49장경윤

  Prev 1 2 Next  

지금 뜨는 기사

이시각 헤드라인

[ZD브리핑] 새 정부 출범 D-3…트럼프 철강 관세 50% 이번주 발효

美 관세 최대 타격 '자동차'…"중고차로 상쇄해야"

'주 4.5일 근무' 이상-현실 사이...HR 전문가 생각은?

"계정 공유 시대 끝"…OTT '공유 제한' 전면 확대

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현