검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'DGX-A100 GPU'통합검색 결과 입니다. (272건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

머스크 xAI, 엔비디아 등서 29조원 규모 투자 유치

인공지능(AI) 스타트업 xAI가 엔비디아 등을 포함한 투자자들로부터 200억 달러(약 29조원) 규모의 투자 유치를 완료했다. 6일(현지시간) 블룸버그 등 외신에 따르면 xAI는 이번 투자자 명단에 스텝스톤 그룹, 피델리티 매니지먼트&리서치, MGX, 배런 캐피털 그룹도 포함된다고 밝혔다. 전략적 투자자로는 시스코 시스템즈의 투자 그룹도 참여했다. 다만 이번 라운드에서 개별 투자 규모를 공개하지 않았고, 자금 조달이 부채인지 지분인지에 대해서도 구체적으로 구분하지 않았다. xAI는 “이번 자금 조달은 세계 최고 수준의 인프라 구축을 가속화하고 수십억 명의 사용자에게 도달할 수 있는 혁신적인 AI 제품의 빠른 개발 및 배포를 가능하게 하며 회사의 핵심 미션인 '우주의 이해'를 진전시키는 획기적 연구를 뒷받침할 것”이라고 말했다. 회사는 이번 자금 조달을 약 75억 달러(약 10조8천675억원)의 지분 투자와 최대 125억 달러(약 18조천125억원)의 부채로 나눠 특수목적기구(SPV) 형태로 조달하는 방안을 계획해 온 것으로 알려졌다. 이는 엔비디아 그래픽처리장치(GPU)를 매입하는 데 사용되며 xAI는 이를 5년간 칩 임대 사업에 활용해 월가 금융사들이 투자금을 회수할 수 있도록 한다는 구상이다. 다만, xAI는 현재 대규모 자금이 절실한 상황이다. 사안에 정통한 관계자들에 따르면 xAI가 이미 지난해 기업 차원이 지분 및 부채로 약 100억 달러(약 14조4천900억원)를 조달했지만, 매달 10억 달러(약 1조4천490억원)를 소진하고 있어 앞으로도 수십억 달러가 더 필요하다고 밝혔다. 일론 머스크는 xAI가 미국 테네시주 멤피스에 조성 중인 초대형 데이터센터 단지를 확장할 계획이며 해당 지역의 세 번째 건물을 매입해 AI 컴퓨팅 용량을 거의 2GW 수준으로 끌어올릴 것이라고 언급하기도 했다. 또 그는 스페이스X 등 자신이 소유한 기업들을 통해 xAI에 대한 지원을 끌어내고 있다. 테슬라 주주들은 지난 11월 xAI에 투자하는 방안에 대해 투표했는데 찬성이 반대보다 많았지만, 상당한 수의 기권이 있었다고 브랜던 어하트 테슬라 법무책임자는 말했다. 이사회는 주주 지지 수준을 고려해 다음 단계를 검토할 계획이다. 해당 투표는 구속력이 없었으나 머스크는 이 아이디어를 공개적으로 지지해왔고, 2024년에는 50억 달러(약 7조2천425억원) 투자 가능성을 언급한 바 있다.

2026.01.07 11:03박서린

맷 가먼 AWS CEO "엔비디아 '루빈' GPU 결합 기대"…협력 의사 공식화

글로벌 클라우드 시장 핵심 플레이어인 아마존웹서비스(AWS)가 엔비디아의 차세대 그래픽처리장치(GPU) 아키텍처 '루빈'을 중심으로 한 협력 의지를 드러냈다. 맷 가먼 AWS 최고경영자(CEO)는 6일 링크드인을 통해 "엔비디아가 발표한 루빈 플랫폼을 고객들에게 제공할 수 있기를 기대한다"고 밝혔다. 이어 "루빈은 우리의 규모·보안·AI 서비스와 결합돼 고객들이 가장 까다로운 AI 워크로드를 더 빠르고 비용 효율적으로 구축·학습·배포할 수 있도록 도울 것"이라고 강조했다. 가먼 CEO의 발언은 엔비디아가 미국 라스베이거스에서 열린 CES 2026에서 루빈을 공식 공개한 직후 나왔다. 젠슨 황 엔비디아 CEO는 기조연설을 통해 루빈이 기존 '블랙웰'을 잇는 차세대 AI 컴퓨팅 플랫폼이며 이미 본격적인 양산 단계에 돌입했다고 발표했다. 황 CEO에 따르면 루빈은 단일 GPU를 넘어 CPU·네트워크·보안·스토리지를 하나의 슈퍼컴퓨터로 통합한 랙 스케일 아키텍처다. 대규모 AI 학습과 추론 과정에서 병목으로 작용해온 데이터 이동 문제를 해소하고 전체 시스템 효율을 극대화하는 데 초점을 맞췄다. 특히 루빈 GPU는 3세대 트랜스포머 엔진과 하드웨어 가속 적응형 압축 기술을 적용해 추론 성능을 크게 끌어올렸다. 엔비디아는 루빈이 블랙웰 대비 동일 모델 기준 토큰당 비용을 10분의 1 수준으로 낮추고 학습에 필요한 GPU 수를 25%까지 줄일 수 있다고 설명했다. 또 루빈 아키텍처가 AI가 단순 응답을 넘어 추론 중심으로 진화하는 시장 환경에 대응하기 위한 핵심 플랫폼이라고 강조했다. 내부 테스트 기준으로 루빈은 블랙웰 대비 학습 성능은 3.5배, 추론 성능은 최대 5배까지 향상됐으며 전력 효율 역시 크게 개선됐다. AWS는 이러한 루빈 플랫폼을 자사 클라우드 인프라에 결합해 고객들에게 보다 효율적인 AI 학습·추론 환경을 제공한다는 계획이다. 엔비디아와 15년 이상 이어온 협력 관계를 바탕으로 AWS의 글로벌 인프라와 AI 서비스 역량을 결합해 고객 선택권과 유연성을 확대한다는 구상이다. 엔비디아는 루빈을 주요 클라우드 사업자와 AI 기업들에 올해 연말부터 공급할 예정이다. AWS를 비롯해 구글 클라우드·마이크로소프트·오라클은 물론 오픈AI·앤트로픽·xAI 등 주요 AI 기업과 연구기관이 루빈을 도입할 전망이다. 가먼 CEO는 "우리와 엔비디아의 오랜 협력을 바탕으로 고객들이 차세대 AI 혁신을 빠르게 실현할 수 있도록 지원할 것"이라고 밝혔다.

2026.01.06 16:16한정호

DGIST, 엔비디아 GPU 활용 프로그램에 2건 선정

DGIST가 엔비디아 연구 지원 프로그램인 'NVIDIA 아카데믹 그랜트 프로그램'에 선정돼 차세대 인공지능(AI) 및 로봇 분야 연구를 위한 고성능 GPU 컴퓨팅 자원 지원을 받게 됐다고 6일 밝혔다. 엔비디아 '아카데믹 그랜트 프로그램'은 전 세계 대학·연구기관을 대상으로 혁신적 연구 과제를 선정, GPU 하드웨어 또는 대규모 연산 자원을 지원하는 프로그램이다. 이번에 선정된 DGIST의 과제는 ▲임성훈 교수의 사고의 연쇄를 활용한 물리 기반 비디오 생성 모델 연구 ▲박대희·목지수 교수 공동연구팀의 동적 인간-로봇 협업을 위한비전-랭기지-액션 기반 인간-로봇 협업 지능 연구 등 2건이다. 임성훈 교수팀은 32,000 A100 GPU-hours(약 3.2만 A100 GPU 시간)을 지원받는다. 연구팀은 AI가 물체의 움직임을 물리 법칙에 맞게 단계적으로 추론, 왜곡이 적고 자연스러운 영상을 생성하도록 하는 모델을 연구한다. 박대희·목지수 교수 공동연구팀은 RTX PRO 6000 블랙웰 서버 에디션 GPU 4대(하드웨어)를 지원받는다. 연구팀은 사람과 함께 일하는 로봇이 주변 상황과 사람의 움직임을 이해하고, 안전한 협업 행동을 선택할 수 있도록 하는 Physical AI 기반 로봇 지능을 개발한다. GIST 측은 대규모 AI 모델 학습·검증은 컴퓨팅 자원 확보가 연구 성과 폭과 속도를 좌우하는 만큼, 이번 지원을 바탕으로 실험 규모를 확장하고 모델 성능 검증의 정밀도를 한층 끌어올릴 것으로 기대했다.

2026.01.06 09:25박희범

엔비디아, 차세대 AI GPU '루빈' 공개

[라스베이거스(미국)=권봉석] 엔비디아가 5일(이하 현지시간) 라스베이거스 퐁텐블로 시어터에서 진행한 기조연설에서 데이터센터용 차세대 AI GPU 플랫폼 '루빈'(Rubin)을 공개했다. 엔비디아는 2024년 컴퓨텍스 기조연설에서 블랙웰을 시작으로 매년 새 GPU를 출시하겠다고 밝힌 바 있다. 지난 해 블랙웰을 강화한 '블랙웰 울트라'에 이어 올해는 CPU와 GPU를 새로 설계한 '루빈'이 투입된다. 루빈은 단일 GPU를 넘어 CPU, 네트워크, 보안, 스토리지를 하나의 슈퍼컴퓨터로 통합한 랙 스케일 아키텍처로, 대규모 학습과 추론 비용을 획기적으로 낮추는 데 초점을 맞췄다. 루빈 GPU는 3세대 트랜스포머 엔진과 하드웨어 가속 적응형 압축을 적용해 추론에서 50페타플롭스(NVFP4) 연산 성능을 제공한다. GPU 간 연결에는 6세대 NV링크를 적용해 GPU당 3.6TB/s, NVL72 랙 기준 260TB/s 대역폭을 구현했다. CPU는 Arm IP 기반 새 제품인 '베라'이며 에이전틱 AI 추론을 겨냥했다. 최대 88개 코어로 구성된 CPU가 루빈 GPU와 직접 연결돼 전력 효율과 데이터 이동 성능을 동시에 확보했다. 엔비디아는 루빈 플랫폼을 구성하는 베라(Vera) CPU와 루빈 GPU, GPU 사이에서 데이터를 주고 받는 NV링크 6 스위치, 데이터 전송에 관여하는 블루필드4 DPU 등을 통합설계했다. 이를 이용해 루빈이 블랙웰 대비 1/10 수준의 토큰 비용으로 대규모 '혼합 전문가'(MoE) 모델 추론을 수행할 수 있으며 동일한 모델 학습에 필요한 GPU 수를 25% 수준으로 줄일 수 있다는 것이 엔비디아 설명이다. 엔비디아는 루빈이 올 하반기부터 주요 클라우드와 서버 파트너를 통해 본격 공급될 것이라고 밝혔다. AWS, 구글 클라우드, 마이크로소프트, OCI를 비롯해 다수의 AI 연구소와 기업들이 루빈을 도입 예정이다.

2026.01.06 08:01권봉석

엔비디아, 퍼블릭 클라우드 사업 축소…韓 인프라 시장에 미칠 파장은

엔비디아가 퍼블릭 클라우드 사업을 축소하고 그래픽처리장치(GPU) 공급에 무게를 싣는 전략 전환에 나섰다. 그간 지속돼 왔던 고객과의 영역 다툼 문제를 해소하기 위한 방안으로, 국내 클라우드·인공지능(AI) 인프라 생태계에도 영향이 미칠 것이라는 관측이 나온다. 5일 디인포메이션 등 외신과 업계에 따르면 엔비디아는 최근 DGX 클라우드 조직을 엔지니어링·운영 조직 산하로 통합하며 외부 고객 대상 클라우드 서비스 확대 기조를 사실상 중단했다. 앞으로 DGX 클라우드는 엔비디아 내부 AI 모델 개발과 칩 설계를 지원하는 인프라로 활용될 전망이다. DGX 클라우드는 2023년 엔비디아가 처음 선보인 AI 특화 클라우드 서비스로, 아마존웹서비스(AWS)·마이크로소프트(MS)·구글 클라우드 등 하이퍼스케일러 인프라 위에서 엔비디아 GPU와 소프트웨어(SW) 스택을 통합 제공하는 방식이다. 그러나 고객 확보 속도가 기대에 미치지 못했고 주요 클라우드 고객과의 이해 충돌 우려가 지속적으로 제기돼왔다. 이번 조직 개편으로 엔비디아는 클라우드 사업자와의 직접 경쟁보다는 GPU와 AI 플랫폼 공급에 집중한다는 방침이다. 이는 엔비디아가 클라우드 사업자가 아닌 AI 인프라 핵심 공급자로서의 정체성을 강화하는 것으로 해석된다. 이같은 변화는 국내 클라우드 서비스 제공업체(CSP)에는 부담 완화 요인으로 작용할 가능성이 크다. 일각에서는 지난해부터 공공에 진입한 AWS·MS·구글에 더해 엔비디아도 DGX 클라우드를 앞세워 한국 시장에 직접 진출할 경우 국내 CSP 사업이 위축될 수 있다는 우려가 제기돼왔다. 네이버클라우드·KT클라우드·NHN클라우드 등은 엔비디아 GPU를 기반으로 AI 학습·추론 인프라를 확장하며 자체 서비스 경쟁력을 강화해왔다. 이런 상황에서 엔비디아가 퍼블릭 클라우드 전면 경쟁에서 한발 물러나면서, 국내 주도권을 유지한 채 GPU 수급과 기술 협력에 집중할 수 있는 여지가 커졌다는 평가다. 특히 네이버클라우드는 엔비디아와 소버린 AI 협력을 이어가며 국내외 AI 인프라 사업을 확대 중이다. 엔비디아가 내부 R&D 중심으로 DGX 클라우드를 재편하더라도 엔비디아 클라우드 파트너(NCP) 체계를 통한 협력 구조 자체가 흔들리지는 않을 것으로 점쳐진다. KT클라우드와 NHN클라우드 역시 공공·금융 부문을 중심으로 AI 인프라 수요 확대에 대응하고 있는 만큼, 엔비디아의 전략 전환은 향후 GPU 공급 안정성과 파트너십 지속성 측면에서 긍정적이라는 분석도 나온다. 하드웨어(HW) 생태계 측면에서도 변화가 감지된다. 델 테크놀로지스, HPE 등 GPU 서버 및 데이터센터 핵심 벤더들도 엔비디아가 직접 클라우드 서비스를 확대하기보다 파트너 중심 전략을 유지함에 따라 대형 CSP 및 기업 고객을 대상으로 한 AI 서버 공급 기회를 이어갈 수 있을 것으로 전망된다. 업계에서는 엔비디아가 DGX 클라우드를 통해 쌓은 운영 경험을 서버 레퍼런스 아키텍처와 SW 스택 고도화에 활용하면서 결과적으로 서버 벤더와 CSP 전반의 AI 인프라 구축 속도를 높이는 방향으로 작용할 가능성에 주목하고 있다. 다만 엔비디아의 전략 변화가 GPU 가격 정책이나 공급 우선순위에 어떤 영향을 미칠지는 여전히 변수로 꼽힌다. AI 수요 급증 속에서 GPU 확보 경쟁이 이어지는 만큼 국내 CSP들은 중장기 공급 전략과 자체 플랫폼 경쟁력 강화에 더욱 힘을 실을 필요가 있다는 지적도 제기된다. 이번 조직 개편에 대해 엔비디아 측은 "최첨단 R&D를 위한 세계적 수준의 인프라를 제공하고 클라우드 파트너들이 성공할 수 있도록 DGX 클라우드 SW 역량 강화에 지속 투자할 것"이라고 밝혔다. 국내 클라우드 업계 관계자는 "엔비디아가 직접 클라우드 사업자로 나서기보다는 GPU와 AI 플랫폼 공급에 집중하는 전략을 분명히 한 것"이라며 "국내 클라우드 사업자 입장에서는 GPU 의존도가 여전히 높은 만큼, 장기적으로 인프라 기술 고도화와 서비스 차별화가 핵심 경쟁력이 될 것"이라고 말했다.

2026.01.05 14:48한정호

카카오 "정부 'GPU 확보 사업' 인프라 구축 순항"

카카오(대표 정신아)가 정부 주도 '그래픽 처리 장치(GPU) 확보 사업'의 최종 사업자로 선정된 이후, 최신 GPU 인프라 구축을 성공적으로 진행하며 국내 AI 연구 및 개발 환경 지원에 본격 나선다고 29일 밝혔다. 이번 사업은 정부가 AI 3대 강국을 위한 핵심 인프라인 GPU를 민간에 지원하는 국책사업으로, 카카오는 지난 8월 최종 사업자로 선정됐다. 카카오는 이번 사업을 통해 총 2천424장의 GPU 'B200'을 확보 및 구축하고 이를 5년간 위탁 운영하며 국내 AI 연구 및 개발 환경을 지원할 계획이다. 카카오는 경기도 안산시에 위치한 '카카오 데이터센터 안산'을 기반으로 대규모 GPU 인프라 구축을 안정적으로 진행하고 있다. 자체 데이터센터의 인프라 역량과 GPU 클러스터 구축 및 운영 노하우를 바탕으로 당초 계획 대비 구축 일정을 앞당겼으며, 현재 전체 할당량의 약 84%에 해당하는 255노드(GPU 2,040장)의 인프라 구축을 완료했다. 이는 당초 제출했던 연내 구축 목표치인 64노드 대비 4배를 상회하는 규모다. 이 같은 조기 구축 성과는 카카오의 자체 데이터센터인 '카카오 데이터센터 안산'의 고도화된 인프라 역량이 뒷받침되었기에 가능했다. 카카오는 GPU 확보부터 구축, 운영 준비에 이르는 전 과정에 걸쳐 철저한 프로젝트 관리를 수행했다. 공급사와의 긴밀한 협력을 통해 핵심 장비를 조기에 확보했으며, 사전 기술 검증(PoC)을 통해 실제 가동 단계에서 발생할 수 있는 리스크를 사전에 점검하고 최소화해 구축 일정을 앞당겼다. 또한 데이터센터 안산은 고집적 서버 운영에 필수적인 안정적인 전력 공급 시스템과 냉각 시스템을 선제적으로 마련했다. 특히 고성능 GPU 서버에서 발생하는 열을 효과적으로 관리하기 위해 뜨거운 공기를 격리해 냉각 장치로 바로 순환시키는 '열복도 밀폐시스템(Hot Aisle Containment system)'을 적용해 냉각 효율을 극대화했다. 카카오는 인프라 제공뿐만 아니라 이용자가 AI 모델 개발에 집중할 수 있는 소프트웨어 환경도 함께 지원한다. 국가 AI 컴퓨팅 자원 지원 포털과 연동된 통합 플랫폼을 통해 이용자가 포털에서 카카오엔터프라이즈가 운영하는 카카오클라우드로 손쉽게 진입할 수 있도록 했으며, 카카오클라우드의 AI 플랫폼인 쿠브플로우(Kubeflow)를 제공한다. 카카오클라우드 쿠브플로우는 클라우드 네이티브 환경에서 보다 쉽고 빠르게 머신러닝 워크플로우를 구축하고 실행할 수 있도록 지원하는 플랫폼이다. 모델 개발, 학습, 배포 및 추론에 이르는 전 과정을 쿠버네티스 환경에서 지원해 연구자가 머신러닝 워크플로우를 손쉽게 자동화하고 클라우드 리소스를 효율적으로 관리할 수 있도록 돕는다. 현재 카카오는 구축을 완료한 255노드에 대해 네트워크 및 성능 테스트를 진행 중이며, 내년 1월 2일부터 과학기술정보통신부와 정보통신산업진흥원이 베타서비스 공모를 통해 선정한 산·학·연 과제에 최신 컴퓨팅 자원을 제공할 예정이다. 카카오 AI시너지 김세웅 성과리더는 “대규모 GPU 인프라를 안정적으로 구축하고 운영하는 것은 AI 경쟁력의 핵심” 이라며 “카카오의 데이터센터 및 클라우드 역량을 바탕으로 안정적이고 효율적인 AI 개발 환경을 제공해 국내 AI 생태계 발전에 기여해 나가겠다”고 말했다.

2025.12.29 21:30안희정

"고비용 AI 인프라는 지속 가능하지 않아"…하이퍼엑셀의 LPU 전략

생성형 AI 확산과 함께 데이터센터 전력 소모 문제가 산업 전반의 핵심 과제로 떠오르고 있다. LLM(대규모언어모델)을 돌리기 위한 연산 수요가 급증하면서, 데이터센터 유지에 랙당 수백 킬로와트(kW) 전력을 요구하는 구조로 빠르게 전환하고 있는 것이다. 그러나 전력 공급과 냉각, 인프라 구축 비용이 한계에 다다르면서 AI 인프라가 이 같은 전력 소모 구조를 계속 감당할 수 있을지에 대한 회의론도 확산되고 있다. 이 같은 상황에서 LLM 추론에 특화된 저전력·고효율 AI 반도체를 앞세운 하이퍼엑셀이 대안으로 주목받고 있다. 하이퍼엑셀은 GPU(그래픽처리장치) 중심의 기존 AI 인프라를 전면 대체하기보다는, 전력 효율과 비용 효율을 극대화한 새로운 가속기로 전체 시스템 차원의 총소유비용(TCO)을 낮추는 전략을 제시한다. 하이퍼엑셀은 LLM 추론에 특화된 AI 반도체 기업이다. 학습이 아닌, 이미 만들어진 모델을 실제 서비스 환경에서 효율적으로 구동하는 데 초점을 맞췄다. 챗GPT, 제미나이 등 생성형 AI 서비스의 핵심 연산 구간을 담당하는 영역이다. 김주영 하이퍼엑셀 대표는 "LLM 서비스의 병목은 더 이상 모델이 아니라, 이를 얼마나 효율적으로 돌릴 수 있느냐에 있다"며 "하이퍼엑셀은 LLM 추론에 맞게 처음부터 다시 설계한 칩을 만든다"고 설명했다. GPU와 다른 접근…저전력 강점 LPU의 차별성 하이퍼엑셀은 LPU(LLM Processing Unit)를 앞세워 시장 공략에 나선다. LPU는 LLM 추론에 특화된 AI 가속 칩으로, 학습과 추론을 모두 수행하는 범용 GPU와 달리 이미 학습된 모델을 서비스하는 데 필요한 연산만을 위해 설계된 전용 칩이다. 수천~수만 개의 작은 코어를 활용하는 GPU와 달리, LPU는 수십 개의 대형·특화 코어로 구성됐다. GPU가 절대적인 성능과 생태계 측면에서는 강점을 갖지만, 실제 LLM 추론 환경에서는 코어와 메모리 대역폭 활용률이 낮다는 한계가 있다. 하이퍼엑셀 LPU는 어텐션·피드포워드·노멀라이제이션 등 추론 연산을 코어 하나가 처음부터 끝까지 처리하는 구조로, 불필요한 데이터 이동을 줄여 같은 전력과 비용에서 더 많은 토큰을 처리할 수 있도록 최적화됐다. 김 대표는 "LPU는 GPU를 대체하기 위한 칩이 아니라, 추론 서비스에 가장 잘 맞는 역할을 수행하는 칩"이라며 "AI 서비스가 커질수록 전용 추론 가속기의 중요성은 더욱 커질 것"이라고 말했다. HBM 대신 LPDDR…비용·전력 효율을 겨냥한 전략 하이퍼엑셀의 또 다른 차별화 포인트는 HBM 대신 LPDDR 메모리를 채택한 전략이다. 업계에서는 LLM에는 초고속 HBM이 필수라는 인식이 강하지만, 하이퍼엑셀은 이와 다른 길을 택한 셈이다. LPDDR은 HBM 대비 속도는 느리지만 가격과 전력 소모가 크게 낮다. 하이퍼엑셀은 높은 유틸리제이션과 대규모 배칭(Batching) 기술을 통해 메모리 속도 한계를 보완했다. 한 번 모델을 읽어 여러 사용자를 동시에 처리하는 구조로, 토큰당 비용을 획기적으로 낮추는 방식이다. 김 대표는 "HBM을 쓰는 순간 모든 것이 고성능·고비용 구조로 간다"며 "우리는 충분한 성능을 유지하면서도 가격과 전력을 낮추는 쪽을 선택했다"고 말했다. LG전자와 온디바이스 LLM 협력…IP 확장성도 주목 하이퍼엑셀은 최근 LG전자와 온디바이스 LLM 가속기 협력으로도 주목받고 있다. 데이터센터용 칩뿐 아니라, 가전과 로봇 등 온디바이스 환경에서도 LLM을 효율적으로 구동할 수 있는 반도체를 공동 개발 중이다. 하이퍼엑셀의 LPU 아키텍처는 코어 크기와 전력, 성능을 요구사항에 따라 조정할 수 있도록 설계돼 IP 형태로도 확장 가능하다. 다만 회사의 주력 모델은 여전히 완성 칩을 중심으로 한 반도체 사업이다. 김 대표는 "고객과 단순히 칩을 사고 파는 관계가 아니라, 설계 단계부터 함께 제품을 만드는 전략"이라며 "데이터센터는 네이버클라우드, 온디바이스는 LG전자와 협업하고 있다"고 설명했다. "토큰 경제성을 높이는 칩"…하이퍼엑셀의 비전 하이퍼엑셀이 내세우는 비전은 명확하다. '토큰 경제성'을 극대화하는 AI 반도체를 만드는 것이다. 달러당 얼마나 많은 토큰을 생성할 수 있느냐를 기준으로, LLM 서비스의 비용 구조를 근본적으로 바꾸겠다는 목표다. 김 대표는 최근 기가와트(GW)급 데이터센터 논의를 언급하며 “AI 가속기가 지금처럼 랙당 수백 킬로와트의 전력을 요구하는 구조는 지속 가능하지 않다”고 지적했다. 그러면서 “결국 AI 인프라가 지속 가능해지려면, 가속기 자체가 더 에너지 효율적으로 바뀌어야 한다”며 “하이퍼엑셀의 칩은 그 방향을 겨냥하고 있다”고 말했다. 한편 김주영 대표는 한국공학한림원이 선정한 한국을 이끌어갈 젊은 과학자 29명에 선정된 바 있다.

2025.12.23 15:50전화평

정부, 첨단 GPU 4천장 배분 시작…산학연 AI 과제 공모 착수

정부가 국가 차원으로 확보한 첨단 그래픽처리장치(GPU)를 산·학·연 인공지능(AI) 연구·개발·혁신 서비스 창출 지원을 위해 본격 배분한다. 과학기술정보통신부는 22일부터 다음 달 28일까지 온라인 플랫폼 'AI인프라 허브'를 통해 H200 2천296장, B200 2천40장에 대한 산·학·연 과제 공모를 개시한다. 정부는 올해 1차 추가경정예산 약 1조4천600억원을 통해 약 1만3천 장의 첨단 그래픽처리장치를 확보하고 이를 네이버클라우드·카카오·NHN클라우드 등 클라우드 사업자의 데이터센터에 순차적으로 구축 중이다. 정부는 이 중 1만 장의 GPU를 클라우드 서비스 형태로 활용할 예정이다. 먼저 구축될 H200 2천296장, B200 2천40장은 산·학·연의 시급한 AI 혁신 수요에 우선 배분된다. 국가 주력산업 혁신, 미래유망 산업 등에서 혁신적 AI 서비스·모델을 창출하기 위한 과제들이 선정될 계획이다. 과제 당 H200은 서버 2대(16장)~최대 32대(256장), B200은 서버 2대(16장)~최대 16대(128장), 최대 12개월까지 지원한다. 각 과제는 ▲기술·사회적 파급효과 ▲AI 생태계 기여도 ▲수요자 역량·준비도 및 실현 가능성 등을 기준으로 전문가 심사를 통해 선정하며 지역 소재기업은 가점 부여로 우대한다. 또 H200 64장 이상, B200 32장 이상을 활용한 대형 과제는 적격성 인터뷰를 추가로 진행한다. 아울러 이용 시 학·연은 무상, 산업계에는 시장가격의 약 5~10% 수준의 자부담을 부과한다. 청년 기업은 추가로 50% 할인을 제공된다. 기타 상세한 지원 요건 등은 온라인 플랫폼을 통해 확인할 수 있다. 과기정통부는 향후 정부 GPU 구매사업 진행 경과 및 공모 내용 설명 등을 위한 현장 설명회도 다음 달 9일에 진행할 예정이다. 또 사전에 이용자 불편 사항 등을 개선하기 위해 B200 512장에 대한 베타테스트를 무상으로 제공할 계획이다. 베타테스트 이용자 공모도 온라인 플랫폼을 통해 22일부터 진행된다. 과기정통부 김경만 인공지능정책실장은 "이번 공모를 통해 산·학·연에 첨단 GPU 자원을 공급해 혁신적인 AI 연구 및 서비스 개발을 지원하고 국가 AI 경쟁력 강화와 혁신 생태계 조성에 기여 할 예정"이라고 밝혔다.

2025.12.22 15:33한정호

[인터뷰] "AI 인프라 폭증 시대…해법은 카카오클라우드 하이브리드 GPUaaS"

"인공지능(AI) 서비스가 커질수록 인프라 비용 부담이 수익성을 잠식하는 구조가 고착화되고 있습니다. 이제는 클라우드만으로는 이 문제를 해결하기 어렵습니다." 카카오엔터프라이즈 이재한 클라우드부문 사업본부장은 최근 서울 코엑스에서 열린 '2025 데이터·클라우드 진흥주간'에서 지디넷코리아와 만나 이같이 강조했다. AI 인프라 시장이 학습 중심에서 추론 중심으로 전환되는 과정에서 기업들이 비용 구조의 한계를 직면한다는 설명이다. 이 본부장은 "AI 서비스가 확산될수록 추론 트래픽이 급증하고 이에 따라 고가 그래픽처리장치(GPU) 사용이 불가피해진다"며 "매출이 늘수록 인프라 비용도 함께 증가하는 역설적인 상황이 이미 현실화되고 있다"고 진단했다. 카카오엔터프라이즈는 이러한 구조적 문제의 해법으로 '하이브리드 서비스형 GPU(GPUaaS)'를 제시하고 있다. 하이브리드 GPUaaS는 고객이 GPU 서버를 자산으로 보유하되, 카카오클라우드의 단일 콘솔과 플랫폼을 통해 퍼블릭 클라우드 GPUaaS와 동일한 방식으로 운영·관리할 수 있도록 한 모델이다. 초기 개발이나 기술검증(PoC) 단계에서는 클라우드 GPU를 활용해 민첩성을 확보하고 서비스가 본궤도에 오르면 GPU 자산화를 통해 중장기 총소유비용(TCO)을 낮추는 방식이 핵심이다. 이를 통해 클라우드의 유연성과 온프레미스의 비용 효율성을 동시에 확보할 수 있다. AI 추론 시대의 비용 딜레마, '하이브리드 GPUaaS'로 풀다 AI 인프라 시장의 가장 큰 변화는 추론 비용이 학습 비용을 추월하는 시점이 도래하고 있다는 점이다. 글로벌 리서치와 카카오엔터프라이즈의 분석에 따르면 내년을 전후로 AI 서비스의 총비용 구조에서 추론이 차지하는 비중이 학습을 넘어설 것으로 전망된다. 문제는 기존 '클라우드 온리' 전략이 이러한 환경에서 수익성 악화를 가속화할 수 있다는 점이다. 서비스 이용량이 늘수록 GPU 사용량이 증가하고 이는 곧 비용 증가로 직결된다. 일부 글로벌 AI 기업들이 대규모 자체 데이터센터 구축과 자산화 전략으로 회귀하는 배경도 여기에 있다. 이 본부장은 "국내 스타트업과 중소기업 입장에서는 대규모 온프레미스 구축이 현실적으로 쉽지 않다"며 "전력·상면·냉각·운영 인력까지 고려하면 초기 진입 장벽이 매우 높다"고 말했다. 실제 국내에서 최신 엔비디아 B200·B300급 GPU를 수용할 수 있는 데이터센터는 제한적이며 랙당 전력 밀도 역시 주요 제약 요소로 작용하고 있다. 이러한 상황에서 단순한 온프레미스 전환은 또 다른 부담으로 작용할 수 있다는 설명이다. 카카오엔터프라이즈는 이 지점에서 하이브리드 전략이 현실적인 대안이 된다고 바라봤다. 고정 수요는 자산화된 GPU로 처리하고 변동성이 큰 수요는 클라우드 GPUaaS로 흡수하는 구조다. 이 모델을 적용할 경우 퍼블릭 클라우드 GPUaaS 대비 약 33% 수준의 TCO 절감 효과를 기대할 수 있고 고객이 직접 온프레미스를 구축하는 방식과 비교해도 약 10~20% 비용 효율성이 개선된다는 것이 카카오엔터프라이즈의 분석이다. 이 본부장은 "결국 AI 서비스가 성장할수록 기업의 고민은 어떻게 GPU를 더 싸고 안정적으로 쓰느냐로 수렴한다"며 "하이브리드 GPUaaS는 그 질문에 대한 가장 현실적인 답"이라고 말했다. 운영·확장·가시성까지…"민첩성과 수익성 동시 확보 지원" 하이브리드 GPUaaS의 차별점은 단순 비용 절감에 그치지 않는다. 카카오엔터프라이즈는 유연성·효율성·가시성을 핵심 가치로 제시하고 있다. 먼저 유연성 측면에서 고객은 평상시에는 전용 GPU 자산을 활용해 최대 효율을 확보하고 트래픽이 급증할 경우 클라우드 GPU로 즉시 확장할 수 있다. 모든 자원은 하나의 VPC와 단일 콘솔에서 관리된다. 효율성 측면에서는 GPU 자원 할당과 회수, 모델 학습·배포·서빙까지 머신러닝 운영관리(MLOps) 기반 자동화를 지원한다. 이를 통해 유휴 GPU 발생을 최소화하고 운영 인력 부담을 줄일 수 있다. 가시성 역시 핵심 요소다. 물리적으로 분산된 GPU 자원을 단일 대시보드에서 모니터링하고 사용량·가동률·비용을 통합적으로 파악할 수 있어 TCO 관리가 용이하다. 보안 측면에서도 금융권 수준의 클라우드 서비스 제공사(CSP) 안정성 평가를 충족한 데이터센터 환경을 기반으로 서비스를 제공한다. 이는 규제 산업으로의 확장 가능성을 뒷받침하는 요소다. 이 본부장은 "하이브리드 GPUaaS는 금융권과 공공기관, 대규모 엔터프라이즈를 중심으로 도입 사례가 확산되고 있다"며 "전력과 상면 확보가 어려운 고객일수록 수요가 빠르게 늘고 있다"고 밝혔다. "GPU는 싸게만 쓰는 게 아니다"…플랫폼·통합 모니터링으로 차별화 카카오엔터프라이즈는 하이브리드 GPUaaS를 단순한 인프라 상품이 아니라 AI 플랫폼 전략의 출발점으로 보고 있다. 이 본부장은 "GPU 비용만 낮춘다고 AI 경쟁력이 생기는 것은 아니다"라며 "GPU를 얼마나 효율적으로 운영·관리하고 AI 개발과 서비스로 연결할 수 있느냐가 더 중요해지고 있다"고 설명했다. 이를 위해 카카오엔터프라이즈는 GPU 자원 통합 관리와 모니터링을 중심으로 한 AI 플랫폼 고도화를 추진하고 있다. 온프레미스 GPU와 카카오클라우드 GPUaaS는 물론, 외부에 분산된 GPU 자원을 일원화해서 하나의 대시보드로 통합 관리하는 방향을 준비 중이다. 이 본부장은 "고객 입장에서는 GPU가 어느 인프라에 있든 상관없이 하나의 콘솔에서 쓰는 것이 중요하다"며 "하이브리드 GPUaaS는 이런 통합 관리 전략을 실현하기 위한 기반"이라고 말했다. 특히 GPU 사용 현황, 가동률, 성능, 비용을 실시간으로 모니터링하고 학습·추론 워크로드를 효율적으로 배치하는 기능이 핵심이다. 이를 통해 불필요한 유휴 자원을 줄이고 AI 서비스 운영 단계에서의 비용 예측 가능성을 높인다는 구상이다. 카카오엔터프라이즈는 이러한 통합 운영 역량이 향후 AI 플랫폼 경쟁력의 핵심 요소가 될 것으로 보고 있다. 단순히 GPU를 제공하는 것을 넘어 AI 모델 학습부터 배포·서빙·운영까지 이어지는 전체 흐름을 플랫폼 차원에서 지원하겠다는 전략이다. 카카오엔터프라이즈 이재한 본부장은 "AI 비즈니스가 지속 가능하게 성장하려면 인프라 비용을 통제할 수 있는 구조가 필요하다"며 "카카오클라우드의 하이브리드 GPUaaS는 AI를 위한 멀티·하이브리드 전략의 한 축으로 자리 잡을 것"이라고 강조했다. 이어 "하이브리드 GPUaaS를 통해 고객이 성장 단계에 맞춰 민첩성과 수익성을 동시에 확보할 수 있도록 적극 돕겠다"고 덧붙였다.

2025.12.21 16:19한정호

엔비디아, RTX 프로 5000 72GB 블랙웰 GPU 출시

엔비디아가 19일 데스크톱 PC용 RTX 프로 5000 72GB 블랙웰 GPU를 정식 출시했다. RTX 프로 5000 72GB 블랙웰은 기존 출시 제품(48GB) 대비 용량을 50% 늘린 72GB로 늘려 AI 개발자, 데이터 과학자, 크리에이티브 전문가의 대용량 메모리 기반 워크플로우 수행을 돕는다. 연산 성능은 최대 2,142 TOPS(1초당 1조 번 연산)이며 GDDR7 72GB 메모리에 더 큰 규모의 모델을 올려 훈련, 튜닝할 수 있다. 클라우드 대비 낮은 지연시간으로 외부 유출이 힘든 사내 자료나 민감한 데이터를 처리할 수 있다. 아놀드, 카오스 V-레이, 블렌더, D5 렌더, 레드시프트 등 공학/산업용/크리에이티브 응용프로그램에서 렌더링 시간을 최대 4.7배 단축한다. 엔비디아 RTX PRO 5000 72GB 블랙웰 GPU는 현재 잉그램 마이크로, 리드텍, 유니스플렌더, 엑스퓨전 등 파트너사를 통해 출시됐다. 글로벌 시스템 빌더를 통한 더 넓은 공급은 내년 초 시작될 예정이다.

2025.12.19 10:51권봉석

엘리스그룹, AI 클라우드 인프라 혁신으로 과기정통부 장관 표창 수상

엘리스그룹(대표 김재원)이 18일 서울 코엑스에서 열린 '2025 데이터∙클라우드 산업 진흥 유공자 표창 시상식'에서 클라우드 산업발전 유공 부문 과학기술정보통신부 장관 표창을 수상했다. 과학기술정보통신부가 주최하고, 정보통신산업진흥원(NIPA)과 한국지능정보사회진흥원(NIA)이 주관하는 '클라우드 산업발전 유공 표창'은 클라우드 산업 활성화와 클라우드 컴퓨팅 기술 발전에 기여한 유공자 및 기관을 선정해 수여하는 상이다. 정책 및 기술 개발은 물론, 민간과 공공부문의 클라우드 도입 확산에 대한 기여도를 평가한다. 엘리스그룹은 수랭식 B200 기반 고성능 AI 데이터센터를 구축하고, 자체 기술 기반의 AI 클라우드 인프라를 산업 전반에 확산시켜 국내 AI 생태계 활성화에 기여한 점을 인정받아 '미래선도∙산업고도화' 분야에서 표창을 수상했다. 특히, 고성능∙고효율 모듈형 데이터센터 '엘리스 AI PMDC'와 AI 전용 IaaS 'ECI(Elice Cloud Infrastructure)'를 중심으로, 기업과 연구기관이 대규모 GPU 자원을 보다 유연하고 안정적으로 활용할 수 있는 AI 클라우드 환경을 제공하고 있다. 이와 함께 제조∙의료∙공공 등 산업별 특화 AI 솔루션, 교육 현장을 위한 AI 교육∙평가 플랫폼, 업무 생산성을 높이는 생성형 AI 솔루션 및 에이전트까지 확장하며 데이터센터 인프라부터 AI 서비스 레이어까지 이어지는 AI 풀스택 역량을 확보했다. 현재 엘리스클라우드는 4천800개 이상의 고객 기관을 확보하고 있으며, 대기업과 스타트업, 학교, AI 연구실 등 다양한 고객층에서 활용되고 있다. 정부 주도의 'AI 특화 파운데이션 모델 프로젝트 사업'에 고성능 GPU 인프라를 공급하는 한편, 산업용 로봇 개발사와 의료 AI 스타트업 등 제조∙의료∙공공 분야 전반에서 AI 전환(AX) 성과 확산을 이끌고 있다. 김재원 엘리스그룹 대표는 “국내 AI 인프라 확장이 본격화되는 시점에 클라우드 산업발전 유공 표창을 받게 돼 큰 책임감을 느낀다”며 “내년에 고성능 GPU 1만 장 규모의 인프라 구축을 통해 누구나 필요한 만큼 AI를 잘 활용할 수 있는 환경을 조성하고, 국내 AI 산업의 글로벌 도약을 적극 뒷받침하겠다”고 말했다. 또 “모듈형 AIDC 인프라부터 산업별 AI 솔루션, 교육과 에이전트까지 연결하는 AI 풀스택 기업으로서 기업과 기관의 실질적인 AI 전환 성과를 만들어가겠다”고 덧붙였다.

2025.12.19 09:54백봉삼

"엔비디아 종속 벗어나자"…구글-메타, TPU 활용 범위 확장

구글이 인공지능(AI) 인프라 시장을 장악한 엔비디아에 대응하기 위해 메타와 협력한다. 18일 로이터통신에 따르면 구글클라우드는 메타 손잡고 AI 개발 도구 '파이토치'를 텐서처리장치(TPU)에서 구동할 수 있는 기술 개발에 착수한 것으로 전해졌다. 그동안 엔비디아 인프라에 묶인 생태계를 개방형으로 전환해 구글클라우드 독자 칩인 TPU 활용도를 끌어올리기 위한 전략이다. 파이토치는 AI 모델 구축에 필수적인 프로그래밍 도구다. 전 세계 개발자들 사이에서 사실상 표준으로 자리 잡았으나 그간 엔비디아 인프라에서만 가장 높은 성능을 발휘해 왔다. 이로 인해 개발자들이 구글클라우드의 TPU를 사용하려면 새로운 도구 습득에 따른 비용과 시간을 감수해야 했고 이는 구글클라우드 칩 생태계 확장의 고질적인 걸림돌로 작용했다. 구글클라우드는 이런 기술적 장벽을 허물기 위해 내부 프로젝트인 '토치TPU'를 가동하고 파이토치와 인프라 연동성을 올리는 데 집중하고 있다. 프로젝트가 성과를 거두면 개발자들은 기존 SW 환경을 유지하면서 HW만 엔비디아에서 구글클라우드의 TPU로 손쉽게 교체할 수 있는 유연성을 확보하게 된다. 특히 이번 프로젝트에는 파이토치의 종가인 메타가 직접 참여해 구글클라우드와 공조 체계를 이룬 것으로 알려졌다. 양측은 최근 수십억 달러 규모의 TPU 공급 방안을 논의 중이며 메타는 이를 통해 초지능 AI 개발에 필요한 막대한 인프라 구축 비용을 절감할 수 있을 것으로 기대된다. 구글클라우드 대변인은 "개발자가 선택한 HW에 관계없이 필요한 유연성과 확장성을 제공하는 데 주력하고 있다"고 밝혔다.

2025.12.18 18:14김미정

"AI 추론 비용 내년부터 폭증…하이브리드 GPUaaS가 부담 덜 것"

카카오엔터프라이즈가 인공지능(AI) 인프라의 새로운 대안으로 '하이브리드 서비스형 그래픽처리장치(GPUaaS)를 제안했다. 내년에 AI 서비스가 더 많이 이용되면서 클라우드 비용이 급증할 것으로 예상되는 만큼 유연성과 경제성을 동시에 확보하는 가장 현실적인 해법이 '하이브리드 GPUaaS'가 될 것으로 판단해서다. 카카오엔터프라이즈는 지난 16일 과학기술정보통신부가 주최하는 '2025 AI를 위한 데이터&클라우드 진흥주간' 행사에 이재한 클라우드부문 사업본부장이 참여해 이처럼 강조했다고 17일 밝혔다. 오는 19일까지 서울 강남구 코엑스 그랜드볼룸에서 열리는 '데이터&클라우드 진흥주간'은 '모두를 위한 AI, AI를 위한 데이터&클라우드'라는 슬로건 아래 데이터 및 클라우드 업계 관계자들이 모여 최신 기술, 산업 동향, 미래 방향 등을 공유할 수 있는 자리다. 이재한 카카오엔터프라이즈 클라우드부문 사업본부장은 이번 행사에 참석해 "2026년에는 AI 추론에 드는 비용이 학습 비용을 추월할 전망"이라며 "AI 서비스가 더 많이 이용될수록 추론에 소요되는 클라우드 비용이 급증하면서 AI 서비스 기업 및 기관의 적자폭이 커지는 구조적인 문제에 직면할 가능성이 높다"고 내년 AI 서비스 시장을 전망했다. 이어 "GPU는 AI 모델과 서비스 개발에 필수 요소이나, GPUaaS(서비스형 GPU)는 비용 부담이 높고 온프레미스 방식은 구축이나 상면 확보, 운영 등의 부담이 높다는 측면이 있다"며 "AI 서비스 기업 및 기관은 비즈니스 성장 단계에 따라 빠르게 증가하는 클라우드 비용을 절감할 수 있는 방법을 고민하며, GPU 등 자산 확보를 통한 수익성 개선 방안을 염두에 두어야한다"고 강조했다. 카카오엔터프라이즈는 이러한 AI 서비스 기업 및 기관의 부담을 해소할 수 있도록 고객이 GPU를 자산으로 소유하고 카카오클라우드가 GPU 클러스터를 구축 및 운영하는 새로운 형태의 하이브리드 GPUaaS를 선보인 바 있다. 카카오클라우드의 하이브리드 GPUaaS는 불확실한 초기 개발 및 기술 검증(PoC) 단계에서는 클라우드를 통해 투자 리스크를 최소화하며 민첩성을 확보하고, 비즈니스가 본 궤도에 오르는 시기에 자산화를 통해 효율적으로 수익성을 개선할 수 있도록 지원한다. 이 사업본부장은 "우리의 하이브리드 GPUaaS는 클라우드의 '유연성'과 소유의 '경제성' 등 두 가치를 동시에 확보할 수 있는 가장 현실적이고 강력한 해답"이라며 "우리는 AI 서비스 기업 고객과 기관의 클라우드 전략 파트너로서 고객이 불확실한 비즈니스 환경에서도 성장 단계에 발맞춰 민첩성과 수익성을 동시에 확보할 수 있도록 가장 효율적이고 안정적인 방안을 제시할 것"이라고 말했다.

2025.12.17 15:27장유미

오픈AI, 아마존 칩 도입 저울질…"구글 추격에 인프라 다변화"

오픈AI가 아마존의 인공지능(AI) 칩 '트레이니움' 도입을 검토하고 있는 것으로 확인됐다. 17일 블룸버그통신에 따르면 오픈AI는 아마존으로부터 최소 100억 달러(약 14조원) 규모 투자를 유치하고, 그 조건으로 아마존의 자체 AI 반도체인 트레이니움을 도입하는 초기 논의를 진행 중이다. 이번 거래가 성사될 경우 오픈AI의 기업가치는 5천억 달러(약 740조3천억원)를 웃돌 것으로 전망된다. 이는 최근 오픈AI가 직원 지분 매각을 통해 시장에서 평가받은 몸값과 유사한 수준이다. 오픈AI가 아마존 칩에 눈을 돌린 배경에는 경쟁사 구글의 성장세가 자리 잡고 있다. 최근 구글클라우드가 텐서처리장치(TPU)로 개발한 '제미나이3'가 오픈AI의 'GPT-5.1' 성능을 능가한다는 평가를 받아서다. 이에 위기감을 느낀 오픈AI 경영진이 내부적으로 '코드 레드'를 발령한 것으로 알려졌다. 업계에선 엔비디아 그래픽처리장치(GPU)에 의존해온 오픈AI는 인프라 다변화를 생존 전략으로 선택했다는 분위기다. 아마존은 트레이니움이 기존 칩 대비 학습과 추론 비용이 저렴하고 연산 효율이 높다는 점을 강조해 왔다. 이달 미국 라스베이거스에서 열린 'AWS 리인벤트 2025'에서 '트레이니움3'를 공개했다. 트레이니움3는 전작 대비 전력 소비량을 40%가량 낮췄다. 엔비디아 GPU보다 AI 모델 훈련·운영 비용이 최대 절반 수준까지 줄어들 수 있다. 아마존웹서비스(AWS) 입장에서도 이번 협력은 절실한 상황이다. 임대형 컴퓨팅 파워 분야에서는 세계 최대 사업자지만, 정작 알짜배기인 AI 모델 개발 시장에서는 마이크로소프트와 구글에 밀리고 있어 차별화된 계기가 필요한 상황이다. 두 기업의 협상은 지난해 10월 오픈AI가 기업 구조 개편을 마친 직후 시작된 것으로 전해졌다. 당시 개편 과정에서 오픈AI의 최대 투자자인 마이크로소프트는 약 27%의 지분을 확보한 바 있다. 오픈AI와 아마존은 지난달 AWS가 7년간 380억 달러(약 56조2천600억원) 규모의 컴퓨팅 파워를 공급하는 계약을 맺은 바 있다. 당시 계약은 수십만 개의 엔비디아 칩 사용을 전제로 했다. 블룸버그통신은 "오픈AI가 GPU 공급 부족과 비용 문제를 해결하기 위해 아마존의 손을 잡으려 한다"며 "트레이니움 도입은 단순한 비용 절감을 넘어, 구글의 TPU 진영에 맞서기 위한 인프라 독립 선언과 같다"고 분석했다.

2025.12.17 13:57김미정

"대전에 2028년까지 고성능 AI GPU 거점센터 구축"

대전시는 17일 한남대학교, 한국정보통신기술협회(TTA), KT, 비케이비에너지, ㈜엠아르오디펜스와 '한남대 AX 클러스터 및 고성능 AI GPU 거점센터' 구축을 위한 업무협약을 체결했다. 협약식에는 이장우 대전시장을 비롯해 이승철 한남대 총장, 손승현 한국정보통신기술협회(TTA) 회장, 성제현 KT 강북․강원법인고객본부장, 정시우 비케이비에너지 회장, 박준상 엠아르오디펜스 대표가 참석했다. 이번 협약은 전 세계적으로 AI 기술 경쟁이 격화됨에 따라 GPU 거점센터 구축을 통해 연구기관과 AI 전문기업을 지원 수요에 대응하기 위한 것으로, 한남대 캠퍼스 부지 7,457㎡ 규모에 2028년까지 건립될 예정이다. 오는 2028년까지 한남대 캠퍼스 부지에 7,457㎡ 규모에 지어질 고성능 AI GPU 거점센터는 방대한 데이터를 처리․학습하기 위한 GPU 서버와 고성능 네트워크, 스토리지 등 AI 서비스 제공에 필수적인 인프라가 갖춰진다. 또한 에너지 효율을 극대화한 고효율 설비를 적용해 전력수요를 최소화하고, GPU 운영․성능 검증․연산 지원 등 전담하는 'GPU 컨트롤타워' 기능을 수행함으로써, 대전 지역 대학․출연연․스타트업이 공동 활용할 수 있는 지역 AI 핵심 거점으로 자리매김할 전망이다. 한편, 이번 사업에서 한남대는 캠퍼스 내 도시첨단산업단지를 기반으로 연구, 데이터, GPU, 교육, 산업이 연계되는 완결형 AX 생태계를 구축하며, 한국정보통신기술협회는 AI 기술 검증․표준화․기술개발 지원을 담당한다. 또한 KT는 GPU거점센터 설계․구축․운영을 총괄하고, 비케이비에너지는 GPU 공급과 투자유치 등 재원조달을 책임지며, 엠아르오디펜스는 네트워크 보안 등 기반 환경 구축을 담당해 안정적 운영을 지원한다. 대전시는 고성능 AI GPU 거점센터가 본격 운영되면 ▲AI 스타트업 성장 촉진, ▲지역 산업의 AI 전환 가속화 ▲디지털 경쟁력 강화 등 다양한 경제․산업적 파급 효과가 나타날 것으로 기대하고 있다. 성제현 KT 본부장은 “KT가 축적한 경험을 토대로 대전 GPU 거점센터가 관․산․학․연을 잇는 대한민국 AI 대표 허브로 도약 되도록 하겠다”라고 밝혔다. 정시우 비케이비에너지 회장은 “대전을 중심으로 AX 하이퍼스케일 GPU 데이터센터를 중부권 최고 수준의 시설로 구축해 AI 데이터센터의 메카로 만들겠다”고 말했다. 이장우 대전시장은 “대전은 대한민국을 대표하는 R&D의 중심도시이자 AI 기술 수요가 가장 집중된 도시”라며 “이번 고성능 AI GPU 거점센터 구축을 통해 대전의 AI 생태계를 한층 고도화하고, 산학연 협력 기반의 글로벌 AX 혁신도시로 도약시키겠다”라고 강조했다.

2025.12.17 11:02박희범

엔비디아 '네모트론 3' 공개..."개인 PC로 나만의 AI 비서 구축"

엔비디아가 자신만의 인공지능(AI) 비서를 구축할 수 있도록 오픈 모델과 최적화 도구를 공개했다. 엔비디아에 '네모트론 3' 오픈 모델 제품군을 공개하고 '언슬로스' 프레임워크를 통해 거대언어모델(LLM) 미세 조정을 가속화한다고 16일 밝혔다. 이를 통해 사용자는 엔비디아 RTX AI PC와 DGX 스파크 환경에서 학습, 업무, 창작 등 목적에 맞는 맞춤형 AI 어시스턴트를 구축할 수 있다. 이번 발표 핵심은 '미세 조정'의 대중화다. 소형언어모델(SLM)은 전문적인 작업에서 정확도가 떨어지는 한계가 있었으나 엔비디아는 이를 해결하기 위해 모델을 특정 작업에 맞춰 훈련시키는 미세 조정 기술에 주목했다. 함께 도입된 언슬로스는 세계적으로 널리 쓰이는 오픈소스 프레임워크로 엔비디아 그래픽처리장치(GPU) 메모리 사용을 최소화해 훈련 효율을 높인다. 이 도구는 허깅페이스 트랜스포머 라이브러리 성능을 최대 2.5배까지 향상시켜 연구자와 개발자가 복잡한 연산을 신속하게 처리하도록 돕는다. 엔비디아는 미세 조정의 기반이 될 '네모트론 3' 제품군도 선보였다. 이 중 '네모트론 3 나노'는 하이브리드 전문가 혼합(MoE) 아키텍처를 기반으로 설계돼 현재 출시된 라인업 중 가장 높은 컴퓨팅 효율을 기록했다. 이 모델은 추론에 필요한 토큰을 최대 60% 줄여 비용을 절감하면서도 100만 토큰의 컨텍스트 윈도우를 지원한다. 긴 시간 동안 진행되는 다단계 작업에서도 AI가 맥락을 잃지 않고 훨씬 많은 정보를 유지할 수 있다는 설명이다. 개발자는 목표에 따라 파라미터 효율적 미세 조정(LoRA), 완전 미세 조정, 강화 학습 등 다양한 방식을 선택할 수 있다. 특히 LoRA 방식은 모델의 일부만 업데이트해 저비용으로 도메인 지식을 추가하거나 코딩 정확도를 높이는 데 유용하다. 엔비디아는 이번 나노 모델 공개에 이어 내년 상반기에 멀티 에이전트용 '네모트론 3 슈퍼'와 복잡한 애플리케이션용 '네모트론 3 울트라'를 순차적으로 출시할 예정이다. 엔비디아는 "네모트론 3 제품군은 업계 선도적인 정확도와 효율성을 갖춘 오픈 모델로 에이전틱 AI 애플리케이션 구축에 이상적"이라며 "개방형 훈련 데이터세트와 최첨단 강화 학습 라이브러리를 통해 AI 생태계를 지속적으로 확장할 것"이라고 강조했다.

2025.12.16 10:41김미정

슈퍼마이크로, 엔비디아 HGX B300 수냉식 서버 출하…고집적·고효율 인프라 구현

슈퍼마이크로가 고집적·고효율 인공지능(AI) 인프라 수요에 대응하기 위해 엔비디아 최신 그래픽처리장치(GPU) 플랫폼을 적용한 수냉식 서버 솔루션을 전면에 내세웠다. 하이퍼스케일 데이터센터와 AI 팩토리를 겨냥한 이번 신제품을 통해 GPU 집적도와 에너지 효율을 동시에 끌어올린다는 전략이다. 슈퍼마이크로는 엔비디아 HGX B300 기반 4U 및 2-OU(OCP) 수냉식 솔루션 출시·출하를 시작했다고 15일 밝혔다. 이번에 선보인 제품은 엔비디아 블랙웰 아키텍처 기반으로 설계됐으며 슈퍼마이크로의 데이터센터 빌딩 블록 솔루션(DCBBS)이 핵심 구성 요소로 자리 잡았다. 신제품은 하이퍼스케일 데이터센터와 AI 팩토리가 요구하는 고성능 연산과 높은 GPU 집적도를 충족하는 동시에 전력·냉각 효율을 개선한 것이 특징이다. 특히 수냉식(DLC) 기술을 적용해 고전력 GPU 환경에서도 안정적인 운영이 가능하도록 설계됐다. 2-OU(OCP) 수냉식 솔루션은 21인치 OCP 오픈 랙 V3(ORV3) 규격에 맞춰 구성됐다. 랙당 최대 144개의 GPU를 탑재할 수 있는 고수준의 집적도를 제공하며 블라인드-메이트 매니폴드 커넥션과 모듈형 GPU·CPU 트레이 아키텍처를 통해 서비스성과 확장성을 동시에 확보했다. 이를 통해 제한된 공간에서 보다 많은 AI 워크로드를 처리할 수 있도록 지원한다. 해당 시스템은 엔비디아 블랙웰 울트라 GPU 8개를 단일 노드에 탑재해 GPU당 최대 1천100와트(W)의 전력을 소화한다. 단일 ORV3 랙은 최대 18개 노드, 총 144개의 GPU 구성이 가능하며 엔비디아 퀀텀-X800 인피니밴드 스위치와 슈퍼마이크로의 1.8메가와트(MW) 인로우 CDU를 통해 대규모 클러스터로 확장할 수 있다. 이같이 구성된 슈퍼클러스터는 최대 1천152개의 GPU까지 확장 가능하다. 함께 공개된 4U 전면 I/O 수냉식 솔루션은 기존 19인치 EIA 랙 환경을 그대로 활용할 수 있도록 설계됐다. 대규모 AI 팩토리에 이미 구축된 표준 랙 인프라에서도 2-OU(OCP) 솔루션과 동일한 연산 성능과 냉각 효율을 제공한다. 특히 DLC 기술을 통해 시스템 발열의 최대 98%를 수냉식으로 제거해 에너지 효율을 높이고 소음을 줄였다. 엔비디아 HGX B300 기반 두 솔루션은 시스템당 최대 2.1테라바이트(TB)의 HBM3e GPU 메모리를 지원한다. 이를 통해 대규모언어모델(LLM) 학습과 멀티모달 추론 등 고부하 AI 워크로드를 보다 효율적으로 처리할 수 있도록 돕는다. 엔비디아 퀀텀-X800 인피니밴드 및 스펙트럼-4 이더넷과 결합할 경우 커넥트X-8 슈퍼NICs를 통해 최대 800기가비피에스(Gb/s)의 네트워크 처리량도 확보할 수 있다는 설명이다. 운영 효율성과 총소유비용(TCO) 절감도 이번 제품의 핵심 요소다. 슈퍼마이크로의 DLC-2 기술은 데이터센터 에너지 사용량을 최대 40%까지 줄이고 45도 온수 냉각 방식을 적용해 물 사용량도 최소화한다. 기존 냉각수나 압축기가 필요 없는 구조로, 데이터센터 운영 부담을 낮췄다. 또 DCBBS 기반으로 L11·L12 단계의 사전 검증을 거쳐 랙 단위로 출하돼 대규모 AI 인프라 구축 시 가동 준비 시간을 단축할 수 있도록 지원한다. 찰스 리앙 슈퍼마이크로 최고경영자(CEO)는 "이번에 선보인 엔비디아 HGX B300 기반 수냉식 솔루션은 하이퍼스케일 데이터센터와 AI 팩토리가 요구하는 성능 집적도와 에너지 효율성을 충족한다"며 "업계에서 가장 컴팩트한 엔비디아 HGX B300 탑재 솔루션으로, 단일 랙에서 최대 144개의 GPU를 지원하고 검증된 DLC 기술을 통해 에너지 소비량과 냉각 비용을 절감한다"고 강조했다. 이어 "우리는 DCBBS를 통해 대규모 AI 인프라 구축을 지원하며 준비 시간 단축, 와트 당 최고 성능 구현, 설계부터 배포까지의 엔드투엔드를 통합 제공한다"고 덧붙였다.

2025.12.15 16:41한정호

'SPHBM4' 표준 제정 임박…삼성·SK AI 메모리 새 국면 예고

반도체 업계가 새로운 HBM(고대역폭메모리) 개발을 구상하고 있다. 해당 제품은 기존 HBM과 동일한 성능을 구현하면서도 설계 난이도 및 제조비용을 대폭 낮춘 것이 특징이다. 실제 상용화 추진 시 삼성전자·SK하이닉스 등 메모리 기업들은 물론, TSMC·엔비디아 등 관련 생태계에 있는 기업 전반이 상당한 영향을 받을 것으로 예상된다. 15일 업계에 따르면 JEDEC(국제반도체표준협의회)은 새로운 HBM 표준인 'SPHBM4(Standard Package HBM)' 개발의 마무리 단계에 접어들었다. I/O 수 줄여도 대역폭 그대로…SPHBM4 개념 등장 HBM은 여러 개의 D램을 수직으로 적층한 뒤 TSV(실리콘관통전극)를 뚫어 전기적으로 연결한 고성능 메모리다. 이 경우 대역폭을 기존 D램 대비 크게 향상시킬 수 있게 된다. 대역폭은 초당 얼마나 많은 데이터를 주고받을 수 있는 지를 나타내는 척도다. 데이터 전송 통로인 I/O(입출력단자) 핀 수를 늘리거나, I/O 핀 당 전송속도를 높이는 방법으로 향상시킬 수 있다. 일례로, 6세대 HBM인 HBM4은 데이터 전송 통로인 I/O 핀 수를 기존(1천24개) 대비 2배로(2천48개) 늘리면서 성능을 높였다. SPHBM4는 HBM4와 동일한 D램을 채용했다. 그러나 I/O 핀 수를 4:1 비율로 직렬화(Serialization)해, I/O 핀 수를 4분의 1로 줄이면서도 HBM4와 동일한 대역폭을 지원한다는 특징을 가진다. 직렬화란 여러 개의 I/O 핀에서 동시에 처리되던 데이터를 단일 I/O 핀에서 순차적으로 처리하는 방식을 뜻한다. 4:1 비율의 경우, 기존 4개 I/O 핀에서 처리되던 데이터 양을 1개 I/O 핀이 4번의 처리로 담당하게 된다. 결과적으로 SPHBM4가 잘 구동되기 위해서는 I/O 핀 당 전송속도를 4배 이상 안정적으로 구현하는 직렬화 인터커넥트 기술이 핵심이 될 것으로 관측된다. 직렬화 인터커넥트 기술로 HBM용 베이스(로직) 다이를 설계하는 미국 반도체 스타트업 엘리얀(eliyan)도 "몇 개월 내에 SPHBM4 표준이 발표되기를 기대하고 있다"며 SPHBM4에 대한 환영의 뜻을 밝혔다. 베이스 다이는 메모리의 컨트롤러 기능을 담당하는 다이다. HBM과 GPU 등 시스템반도체를 PHY(물리계층)으로 연결해 데이터를 주고받을 수 있도록 만들어준다. SPHBM4가 도입되면 베이스 다이 역시 새로운 구조로 설계돼야 할 것으로 관측된다. SPHBM4 도입 시 제조 난이도·비용 감소 가능 I/O 핀 수가 512개로 줄어들게 되면, 전체 HBM 패키지에서 가장 큰 변화를 맞이하게 되는 부분은 인터포저다. 인터포저는 칩과 PCB(인쇄회로기판) 사이에 삽입하는 얇은 기판이다. AI 가속기 내부의 HBM과 로직 칩은 수많은 I/O 핀이 촘촘히 박혀 있어, PCB가 직접 대응하기가 힘들다. 이 때 미세한 배선층(RDL)을 가진 인터포저를 삽입하면 칩과 PCB의 연결을 수월하게 만들어 준다. 이렇게 HBM과 GPU를 인터포저로 연결하는 기술을 2.5D 패키징이라 부른다. 대만 주요 파운드리인 TSMC가 이 분야에서 독보적인 기술력을 확보하고 있으며, 자체적으로 'CoWoS(칩-온-웨이퍼-온-서브스트레이트)'라는 브랜드명을 붙이고 있다. 그간 TSMC는 실리콘 인터포저, 혹은 더 작은 크기의 실리콘 브릿지로 CoWoS 공정을 제조해 왔다. 실리콘 소재가 비싼 편에 속하지만, 배선 밀도를 높일 수 있어 고집적 회로 대응에 유리하기 때문이다. 반면 SPHBM4는 I/O 핀 수가 적어 기존만큼 고밀도 기판이 필요하지 않아, 유기(Organic) 인터포저만으로도 충분히 대응이 가능하다. 유기 인터포저는 실리콘 대비 배선 밀도가 낮지만, 가격이 저렴하기 때문에 패키지 제조 비용을 낮출 수 있다. 또한 유기 인터포저는 보다 유연한 설계가 가능해, HBM과 시스템반도체 간 채널 길이를 더 길게 만들 수 있다. 이를 통해 SPHBM을 더 많이 배치해, 결과적으로 총 메모리 용량을 늘릴 수 있다는 게 JEDEC의 설명이다. 이는 TSMC의 CoWoS 기술의 일종인 'CoWoS-R'의 HBM 도입을 가속화할 것으로 기대된다. CoWoS-R은 실리콘 인터포저 대신 유기 인터포저를 사용하는 개념이다. 실제 상용화 가능성은 아직 미지수 다만 SPHBM4가 실제 상용화될 지는 아직 미지수다. JEDEC은 "SPHBM4 표준은 개발 중이거나 개발 후 변경될 수 있으며, JEDEC 이사회에서 승인이 거부될 수도 있다"고 설명했다. 삼성전자, SK하이닉스 등 국내 반도체 업계에서도 SPHBM4에 대해 공식적으로 언급한 사례는 아직 없는 것으로 파악된다. 메모리 업계 한 고위 임원은 "SPHBM4 표준 제정은 HBM 기반의 AI 가속기 제조 비용을 줄이기 위한 여러 시도 중 하나로 보인다"며 "다만 현재 빅테크 기업들은 HBM의 속도 및 밀도를 동시에 강화하는 방향을 강하게 밀어부치고 있다"고 말했다.

2025.12.15 11:22장경윤

엔비디아 "데이터센터용 GPU 위치 등 추적 솔루션 개발 중"

엔비디아가 10일(현지시간) 데이터센터용 GPU의 상태와 작동 위치를 파악할 수 있는 소프트웨어 기반 모니터링 솔루션을 개발하고 있다고 밝혔다. 엔비디아는 공식 블로그에 올린 글에서 “AI 인프라의 규모와 복잡성이 커질수록 데이터센터 운영자는 성능, 온도, 전력 사용량 등 요소에 대한 지속적인 가시성이 필요하다”고 개발 배경을 설명했다. 엔비디아가 개발중인 솔루션은 데이터센터에 설치된 엔비디아 GPU를 모니터링할 수 있는 대시보드를 제공한다. 엔비디아 GPU를 도입한 고객사가 필요할 경우 자발적으로 설치하는 옵트인(opt-in) 방식이다. 엔비디아에 따르면 데이터센터 운영사는 전력 사용 급증을 추적해 에너지 예산을 준수하면서 와트당 성능을 극대화하고, GPU 활용률과 메모리 대역폭, 인터커넥트 상태를 플릿 전체에서 모니터링할 수 있다. 엔비디아는 제기될 수 있는 보안 우려에 대해 "이 서비스는 각 GPU 시스템이 외부 클라우드 서비스와 GPU 메트릭을 공유하는 방식으로 실시간 모니터링만 제공한다. 엔비디아 GPU에는 하드웨어 추적 기술이나 킬 스위치, 백도어가 없다"고 밝혔다. 엔비디아의 새 솔루션은 최근 강화되고 있는 미국의 AI 칩 수출 규제 논의와 맞물려 있다. 미국 정부는 중국을 비롯한 일부 국가에 대한 고성능 AI GPU 수출을 금지하고 있다. 의회 일각에서는 엔비디아 제품에 보다 강력한 추적·검증 기능을 탑재해야 한다는 요구가 제기되고 있다. 공화당 소속 톰 코튼 상원의원을 포함해 양당 의원들이 지지하는 '칩 보안법'(Chip Security Act)'은 첨단 AI 칩에 보안 및 위치 검증 기능을 의무화하는 내용을 담고 있다. 반면 중국 정부는 엔비디아 제품에 잠재적 모니터링 백도어와 보안 취약점이 존재한다는 점을 통보했으며, 국가안보 검토 이후 일부 고성능 칩, 특히 H200 제품의 도입을 제한하고 있다.

2025.12.14 09:29권봉석

엔비디아는 왜 액침냉각을 인증하지 않을까

데이터센터 전력 효율을 높이기 위한 냉각 기술 경쟁이 본격화되고 있지만, 업계에서는 한 가지 의문이 여전히 남아 있다. 엔비디아는 왜 액침냉각(Immersion Cooling)에 공식 인증을 부여하지 않는가이다. 현재 엔비디아는 고성능 GPU 서버에 적용할 수 있는 냉각 방식으로 D2C(Direct to Chip) 액체냉각만 공식 지원하고 있다. 반면, GPU 전체를 특수 절연액에 담가 열을 제거하는 액침냉각은 아직 인증 리스트에 포함되지 않았다. 이는 액침냉각 기술이 상용화 단계로 넘어가는 데 있어 가장 큰 문턱으로 꼽힌다. 업계 “엔비디아의 수익 구조가 걸림돌” 12일 업계에 따르면 엔비디아가 액침냉각에 공식 인증을 부여하지 않는 직접적인 이유로 수익 구조와 생태계 통제 문제가 거론된다. 단순한 기술 완성도의 문제가 아니라, 향후 데이터센터 시장에서의 주도권과 직결된 사안이라는 분석이다. 냉각 업계 한 관계자는 “엔비디아가 현재 인증하고 있는 D2C 방식 액체냉각은 랙 단위에서 적용되는 구조”라며 “GPU와 서버 판매 구조에는 큰 변화가 없다”고 설명했다. 반면 액침냉각은 서버 전체를 액체에 담그는 방식인 만큼, 냉각 솔루션이 서버 설계와 패키징의 중심으로 올라설 수밖에 없다는 점에서 차이가 크다. “액침은 서버까지 팔 수 있는 구조” 다른 전문가는 액침냉각과 기존 액체냉각의 가장 큰 차이를 '판매 단위'에서 찾았다. D2C 방식 액체냉각은 랙 단위 또는 인프라 확장 수준에서 적용되지만, 액침냉각은 서버 자체가 하나의 완성 제품이 된다는 것이다. 다른 냉각 업계 관계자는 “액침냉각이 본격화되면 냉각 업체는 단순 단품 공급사가 아니라 서버 랙 시스템 및 쿨링시스템을 결합한 통합 솔루션 공급자가 된다”며 “이는 GPU 중심으로 구축된 엔비디아의 기존 사업 구조와는 결이 다른 방향”이라고 설명했다. 즉, 액침냉각이 확산될 경우 냉각 기술을 보유한 업체가 서버 설계와 구성의 주도권을 쥘 수 있고, 이는 엔비디아가 주도해온 GPU-서버 생태계에 변화를 가져올 수 있다는 의미다. 엔비디아가 액침냉각 인증에 신중할 수 밖에 없는 이유다. 언젠가는 넘어야 할 선택지 다만 업계에서는 엔비디아가 액침냉각을 영구적으로 배제하기는 어려울 것으로 보고 있다. AI 학습과 추론 수요가 폭발적으로 증가하면서 GPU 집적도와 전력 밀도 역시 한계치에 다다르고 있기 때문이다. 냉각 업계 관계자는 “전력 밀도가 지금보다 더 올라가면 D2C 방식만으로는 대응이 어려운 시점이 올 수밖에 없다”며 “그때가 되면 엔비디아 역시 액침냉각을 하나의 선택지로 검토할 가능성이 크다”고 내다봤다.

2025.12.12 16:31전화평

Prev 1 2 3 4 5 6 7 8 9 10 Next