• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
인공지능
AI의 눈
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'AI GPU'통합검색 결과 입니다. (464건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

오픈AI, 세레브라스와 14조원 규모 컴퓨팅 계약…"엔비디아 의존 낮춘다"

오픈AI가 차세대 인공지능(AI) 서비스 경쟁력 강화를 위해 대규모 컴퓨팅 인프라 확충에 나섰다. 반도체 스타트업 세레브라스와 수십억 달러 규모 장기 계약을 체결하며 AI 추론 속도와 서비스 확장성을 동시에 끌어올린다는 전략이다. 15일 블룸버그통신에 따르면 오픈AI는 세레브라스와 다년간 협력 계약을 체결하고 총 750메가와트(MW) 규모 컴퓨팅 파워를 공급받기로 했다. 해당 인프라는 단계적으로 구축되며 완공 목표 시점은 2028년이다. 계약 규모는 100억 달러(약 14조원)를 웃도는 것으로 알려졌다. 이번 계약은 오픈AI가 챗GPT 등 자사 AI 모델 응답 속도를 개선하려는 조치로 풀이된다. 양사는 공동 성명을 통해 세레브라스 인프라가 오픈AI 모델 실행 시 지연 시간을 줄이고 대규모 사용자 유입에 대비한 안정적인 서비스 운영을 가능하게 할 것이라고 밝혔다. 세레브라스는 초대형 단일 칩을 기반으로 한 독자적 반도체 아키텍처를 앞세워 엔비디아 중심 그래픽처리장치(GPU) 시장에 도전하고 있는 기업이다. 데이터센터 운영까지 직접 수행하며 AI 추론 분야 경쟁력을 강조해 왔다. 협약 배경에 대해 오픈AI는 'GPT-OSS-120B' 모델 테스트에서 세레브라스 시스템이 기존 하드웨어 대비 최대 15배 빠른 성능을 보였다고 설명했다. 오픈AI의 대규모 인프라 투자는 이번이 처음이 아니다. 엔비디아는 지난해 오픈AI에 최대 1천억 달러(약 146조원)를 투자해 10기가와트(GW)급 데이터센터 구축을 추진하겠다고 밝혔으며 AMD 역시 수년간 6GW 규모 GPU를 공급하기로 했다. 이와 별도로 오픈AI는 브로드컴과 자체 AI 칩 개발도 진행 중이다. 업계에서는 이번 계약을 오픈AI가 컴퓨팅 포트폴리오를 다각화하는 전략의 일환으로 보고 있다. 오픈AI는 특정 하드웨어에 대한 의존도를 낮추고 워크로드 특성에 맞는 최적의 시스템을 조합해 AI 서비스 확장성을 높인다는 목표다. 오픈AI 사친 카티 컴퓨팅 인프라 담당은 "세레브라스는 우리 플랫폼에 저지연 추론 솔루션을 더해 더 빠른 응답과 자연스러운 상호작용을 가능케 한다"며 "더 많은 사람에게 실시간 AI를 확장할 수 있는 기반을 제공할 것"이라고 밝혔다.

2026.01.15 11:29한정호 기자

SK하이닉스, AI 추론 병목 줄이는 '커스텀 HBM' 정조준

SK하이닉스가 향후 다가올 커스텀 HBM(고대역폭메모리) 시대를 위한 무기로 '스트림DQ(StreamDQ)'를 꺼내 들었다. 기존 GPU가 담당해 추론 과정에서 병목 현상을 일으키던 작업을, HBM이 자체적으로 수행해 데이터 처리 성능을 끌어올리는 것이 골자다. GPU 업체 입장에서도 HBM으로 일부 기능을 이전할 수 있기 때문에 칩 설계를 보다 유연하게 할 수 있다는 이점이 있다. SK하이닉스는 해당 기술을 통해 엔비디아 등 주요 고객사와 협의를 진행할 것으로 관측된다. SK하이닉스는 지난 6일(현지시간) 미국 라스베이거스 베니션 호텔에서 'CES 2026' 프라이빗 전시관을 마련하고 커스텀 HBM 기술을 공개했다. 커스텀 HBM 시장 정조준…고객사에 '스트림DQ' 기술 제안 커스텀 HBM은 차세대 버전인 HBM4E(7세대 HBM)부터 본격적으로 적용될 것으로 전망되는 제품이다. 기존 HBM이 표준에 따라 제작됐다면, 커스텀 HBM은 고객사가 원하는 기능을 베이스 다이에 추가하는 것이 가장 큰 차별점이다. 베이스 다이는 HBM을 적층한 코어 다이의 메모리 컨트롤러 기능을 담당하는 칩으로, HBM과 GPU 등의 시스템반도체를 PHY(물리계층)로 연결한다. 기존에는 메모리 회사가 이를 제조했으나, 다양한 로직 기능이 추가되면서 HBM4부터는 주로 파운드리 공정을 통해 양산된다. SK하이닉스는 커스텀 HBM 상용화를 위해 고객사에 스트림DQ라는 기술을 제안하고 있다. 얼마전 막을 내린 CES 2026 전시관이 고객사 대상으로 운영된 만큼, 엔비디아 등 글로벌 빅테크에 적극적인 프로모션을 진행했을 것으로 예상된다. SK하이닉스 관계자는 "스트림DQ는 커스텀 HBM의 한 사례로서, SK하이닉스는 해당 기술을 논문으로도 냈다"며 "고객사가 커스텀 HBM 관련 기술을 우리에게 제안하기도 하지만, 반대로 SK하이닉스가 제시하기도 한다"고 설명했다. GPU 일부 기능 HBM으로 이전…빅테크 부담 덜어준다 스트림DQ 기술은 기존 GPU 내부의 컨트롤러 기능 일부를 HBM의 베이스 다이로 이전하는 것이 주 골자다. 이렇게 되면 GPU 제조사는 칩 내부 공간을 더 넓게 쓸 수 있어, 시스템반도체의 성능 및 효율성 향상을 도모할 수 있다. SK하이닉스 입장에서는 베이스 다이에 GPU 컨트롤러 등을 추가하더라도 큰 부담이 없다. 대만 주요 파운드리인 TSMC의 선단 공정을 적용하기 때문이다. 또한 SK하이닉스는 해당 베이스 다이에 UCIe 인터페이스를 적용해 칩의 집적도를 더 높였다. UCIe는 칩을 기능별 단위로 분할해 제조한 후, 서로 연결하는 최첨단 기술이다. HBM이 '역양자화' 대신 처리…LLM 처리 속도 7배 향상 가능 AI 가속기의 데이터 처리 성능 역시 획기적으로 높아진다. 대규모언어모델(LLM)은 메모리 사용량을 효율적으로 감축하기 위해 낮은 비트 정수로 데이터를 압축하는 '양자화(Quantization)' 과정을 거친다. 이후 실제 연산 과정에서는 데이터를 다시 압축 해제하는 '역양자화(Dequantization)'를 진행한다. 기존 역양자화 작업은 GPU가 담당했다. 그런데 GPU가 역양자화를 진행하면 전체 LLM 추론 시간의 최대 80%를 잡아먹는 메모리 병목 현상을 일으키는 문제가 발생해 왔다. 반면 스트림DQ는 양자화된 정보를 그대로 GPU에 보내는 것이 아니라, HBM 내부에서 데이터가 흘러가는 과정에서 역양자화를 곧바로(on-the-fly) 진행한다. 덕분에 GPU는 별도의 작업 없이 곧바로 연산 작업을 진행할 수 있게 된다. 이처럼 흘러가는(스트림) 데이터를 곧바로 역양자화(DQ)한다는 관점에서 스트림DQ라는 이름이 붙었다. 이를 통해 병목 현상이 발생했던 LLM 추론 처리 속도가 약 7배 이상으로 개선될 수 있다는 게 SK하이닉스의 설명이다. 전체 AI 가속기의 추론 속도 역시 크게 향상될 것으로 기대된다. SK하이닉스 관계자는 "방대한 양의 데이터를 처리하는 시스템반도체를 메모리 근처에 가져다 놓고 데이터 결과값만 받게 하면 시스템적으로 굉장히 효율적"이라며 "프로세싱 니어 메모리(PNM)의 개념으로 볼 수 있다"고 말했다.

2026.01.14 13:48장경윤 기자

엔비디아 '베라 루빈' 시대 임박…고전력에 서버·클라우드 판 바뀐다

엔비디아가 차세대 그래픽처리장치(GPU) 아키텍처 '베라 루빈'의 본격적인 상용화를 앞두면서 서버·클라우드 업계 전반의 긴장감이 높아지고 있다. 10일 외신과 업계에 따르면 루빈 GPU 단일 칩 기준 소비 전력이 1천와트를 넘길 수 있다는 전망이 나오면서, 인프라 경쟁 초점이 성능에서 전력과 냉각 설계로 이동하는 분위기다. 엔비디아는 최근 CES 2026에서 베라 루빈 플랫폼이 이미 양산 단계에 돌입했으며 올해 하반기부터 주요 클라우드 사업자와 서버 파트너를 통해 본격 공급될 것이라고 밝혔다. 루빈은 기존 블랙웰을 잇는 차세대 GPU 아키텍처로, 대규모 인공지능(AI) 학습과 장거리 추론에 필요한 연산 밀도를 크게 끌어올리는 데 초점을 맞췄다. 베라 루빈은 단일 GPU를 넘어 CPU·네트워크·보안·스토리지를 하나의 슈퍼컴퓨터로 통합한 랙 스케일 아키텍처다. 루빈 GPU와 베라 CPU, NV링크 6 스위치, 블루필드-4 DPU, 차세대 네트워킹 인터페이스를 결합해 데이터 이동 병목을 최소화하고 확장된 컨텍스트 처리와 고밀도 연산 환경을 지원하도록 설계됐다. 이같은 비약적 성능 향상과 함께 전력 소모 역시 급격히 증가할 것으로 관측된다. 업계에서는 베라 루빈 기반 GPU가 최대 부하 시 단일 가속기 기준 소비 전력이 1천와트를 넘어설 가능성이 높다고 보고 있다. 이는 기존 공랭 기반 서버 설계로는 안정적인 운용이 어렵다는 의미로, 데이터센터 인프라 전반의 구조적 변화가 불가피하다는 평가다. 냉각 방식 변화는 이미 가시화되고 있다. 엔비디아는 베라 루빈 랙이 100% 액체 냉각을 전제로 설계됐다고 밝혔다. 특히 45도 섭씨의 고온수를 활용한 직접 수냉 방식으로 냉각할 수 있어 별도의 칠러 없이도 데이터센터 운영이 가능하다는 점을 강조하고 있다. 이러한 변화에 서버 제조사들도 발 빠르게 대응하고 있다. 슈퍼마이크로는 베라 루빈 NVL72 및 HGX 루빈 NVL8을 지원하는 수냉식 AI 서버를 공개하고 제조 역량과 냉각 기술을 확대하겠다는 전략을 내놨다. 고밀도 GPU 집적 환경에서 공랭의 한계를 넘어서는 직접 액체 냉각(DLC)이 핵심 경쟁력으로 부상하고 있다는 판단이다. 클라우드 사업자들의 준비도 본격화되는 모습이다. 아마존웹서비스(AWS)는 엔비디아 루빈 플랫폼을 자사 클라우드 인프라에 결합해 고객들에게 제공할 계획을 공식화했다. 기존 인프라에 GPU를 단순 추가하는 방식이 아니라 전력 밀도와 냉각 구조를 포함한 데이터센터 설계 전반을 재검토하는 단계에 들어갔다는 설명이다. 신흥 AI 인프라 기업인 '네오클라우드' 사업자들의 움직임도 눈에 띈다. 네비우스는 미국과 유럽 데이터센터를 기반으로 루빈 NVL72 시스템을 제공할 계획이며 코어위브는 올 하반기부터 루빈 NVL72 랙을 자사 AI 인프라에 도입할 예정이다. 이들 기업은 자체 오케스트레이션과 진단 플랫폼을 통해 고전력 AI 서버를 관리하는 전략을 택하고 있다. 이번 베라 루빈 발표는 향후 데이터센터 운영 전략에도 직접적인 영향을 미칠 전망이다. 고전력·고발열 AI 서버를 수용하기 위해 랙 단위 전력 인입 용량을 확대하고 수냉 전용 존을 별도로 설계하는 방안이 검토되고 있는 상황이다. 코로케이션 데이터센터 사업자들 역시 AI 고객 유치를 위해 전력 밀도와 냉각 역량을 핵심 경쟁 요소로 삼는 분위기다. 엔비디아는 루빈 아키텍처가 전력 효율 측면에서도 진전을 이뤘다고 설명했다. 내부 테스트 기준으로 루빈은 이전 세대인 블랙웰 대비 학습 성능은 3.5배, 추론 성능은 최대 5배 향상됐으며 토큰당 연산 비용도 크게 낮아졌다. 다만 전체 시스템 전력 사용량이 증가하는 만큼, 효율 개선과 물리적 한계 사이의 균형이 과제로 제기된다. 업계에서는 베라 루빈을 기점으로 AI 인프라 경쟁 양상이 달라질 것으로 보고 있다. 단순히 GPU 성능을 얼마나 빠르게 도입하느냐보다, 이를 안정적으로 운용할 수 있는 전력·냉각·운영 역량이 클라우드와 서버 업체의 경쟁력을 좌우하는 요소로 부상할 것이라는 분석이다. 데이터센터 냉각 전문기업 액셀시어스의 루카스 베란 제품 마케팅 디렉터는 "AI 서버 전력과 발열 수준이 공랭의 한계를 넘어서면서 액체 냉각은 더 이상 선택지가 아니다"라며 "베라 루빈은 데이터센터 냉각 방식 전환을 앞당기는 계기가 될 것"이라고 말했다.

2026.01.10 09:01한정호 기자

Arm "엣지 AI, 사용자 만족도 좌우...웨어러블·IoT에도 필수"

[라스베이거스(미국)=권봉석 기자] "클라우드에만 의존하는 AI는 인터넷 연결 속도나 전파 감도에 많은 영향을 받는다. 사용자는 인터넷 연결이 문제인 상황에서도 AI 기능에 문제가 있다고 여길 수 있다. 지연 시간이나 비용 면에서도 효율적이지 않다." 7일(이하 현지시간) 오전, 라스베이거스 베니션 엑스포 내 미팅룸에서 기자단과 마주한 크리스 버기(Chris Bergey) Arm 엣지 AI 사업부문 총괄 수석부사장(EVP)은 '엣지 AI가 왜 필요한가'라는 질문에 이렇게 답했다. 크리스 버기 총괄 수석부사장은 이어 "Arm은 CPU 기반 AI 가속 명령어인 SME2, Armv9 명령어 체계, CPU·GPU·NPU 가속 등 다양한 기술을 통해 스마트폰뿐 아니라 웨어러블과 IoT 기기까지 엣지 AI를 지원하고 있다"고 설명했다. "엣지 AI, 클라우드 AI 회사들이 더 관심 많다" 크리스 버기 총괄 수석부사장은 이날 "엣지 AI를 일반 소비자보다 더 적극적으로 도입하고 싶어하는 것은 오히려 클라우드 기반 AI 회사들"이라고 설명했다. 비용, 성능, 사용자 경험 측면에서 엣지 AI가 주는 이점이 더 크기 때문이다. 그는 6일 레노버 테크월드 기조연설에서 Arm 고객사 수장인 크리스티아노 아몬 퀄컴 CEO의 발언도 인용했다. 당시 크리스티아노 아몬 퀄컴 CEO는 "엣지 데이터를 더 많이 가진 사람이 경쟁에서 이길 것"이라고 발언했다. 크리스 버기 총괄 수석부사장은 "나도 크리스티아노 아몬 CEO의 말에 동의한다. 결국 AI의 종착점은 엣지와 클라우드를 결합한 하이브리드 모델이 될 것이고, 클라우드 기반 기업일수록 오히려 엣지 AI에 관심이 많다"고 설명했다. "CPU 기반 AI 가속 명령어 'SME2', 실시간 처리에 강점" 크리스 버기 총괄 수석부사장은 "Arm은 CPU, GPU, 신경망처리장치(NPU)를 모두 활용해 엣지 AI 성능을 극대화하고 있다"고 강조했다. 이어 "CPU에서 실행되는 AI 가속 명령어 'SME2'는 성능 면에서는 NPU에 뒤질 수 있다. 그러나 지연 시간이 짧고 메모리 근접성이 뛰어나 실시간 처리에 강점을 지닌다. 또 큰 AI 워크로드는 NPU로 분산해 처리할 수 있다"고 설명했다. 또 "현재 퀄컴, 미디어텍 등 다양한 제조사가 SME를 지원하는 시스템반도체를 출시했고 앞으로 신제품은 물론 기존 제품에서도 소프트웨어 업데이트를 통해 SME 활용 사례가 늘어날 것"이라고 내다봤다. 그는 Arm이 GPU를 활용한 신경망 가속 기술 개발에도 분명한 계획을 가지고 있다고 말했다. "대부분의 응용프로그램이 AI 기능 구현에 CPU와 GPU만 활용하는 상황이다. GPU를 활용한 AI 가속 기능은 분명히 필요하며, 향후 GPU에 신경망 가속 기능을 통합해 모바일 환경에서도 데스크톱 수준의 AI 가속을 낮은 전력으로 구현할 계획이다." "AI 탑재 웨어러블 기기에도 하이브리드 AI는 필수" 크리스 버기 총괄 수석부사장은 이날 "애플워치 등장 이후 멈춰 있던 시장에 메타와 샤오미 등 다양한 회사가 확장현실(XR) 글래스와 신경 추적 손목밴드 등 다양한 AI 탑재 기기를 출시하며 활력을 불어넣고 있다"며 AI의 중요성을 역설했다. 그는 스마트 글래스를 예로 들며 "이런 웨어러블 기기에도 엣지 AI는 반드시 필요하다"고 설명했다. "스마트 글래스는 충분하지 않은 배터리와 부피·크기 제약 때문에 무작정 성능을 높이기 어렵다. 또 클라우드에만 의존하는 것은 지연시간 면에서 효율적이지 않다. 결국 스마트폰 등 기기와 역할을 분담하는 하이브리드 처리 모델이 필요하다." "Arm CSS, 최적 레시피 고객사에 제공하는 전략적 도구" Arm은 현재 CPU와 GPU, NPU 등 시스템반도체(SoC)의 여러 구성 요소를 한데 묶어 '컴퓨트 서브시스템'(CSS)이라는 형태로 고객사에 제공하고 있다. 크리스 버기 총괄 수석부사장은 "Arm CSS는 Arm이 제공할 수 있는 최고 성능의 CPU와 이를 통한 구현, 제품화 레시피를 제조사(OEM)와 개발자에게 제공하는 전략적 도구"라고 평가했다. 그는 "CSS를 공급받는 고객사는 필요에 따라 CSS 구성 요소 중 CPU나 GPU 등 필요한 요소만 최종 제품에 활용할 수 있다. 이를 통해 가능한 한 많은 회사가 엣지 AI를 구현할 수 있도록 돕고 있다"고 설명했다. "AI 경험, 소비자의 기대치 높이는 역할 할 것" 크리스 버기 총괄 수석부사장은 "AI는 스마트폰을 넘어 거의 모든 기기에 확산되고 있다. 삼성전자가 TV에 AI를 적용해 축구 경기 화질을 개선한 사례처럼 필요성이나 관심을 보이는 사례가 점차 늘어나고 있는 상황"이라고 설명했다. 그는 "터치스크린이 처음 등장했을 때 그랬던 것처럼 AI를 통한 경험은 앞으로 소비자가 기기에 기대하는 기준을 바꾸는 역할을 할 것"이라고 덧붙였다.

2026.01.09 14:00권봉석 기자

[기자수첩] 새해 시험대에 오른 국내 AI 반도체

2026년 새해 신경망처리장치(NPU) 시장이 본격적으로 열리고 있다. 그리고 이 변화의 중심에는 국내 인공지능(AI) 반도체 업체들이 서 있다. AI 산업의 무게 중심이 학습에서 추론으로 이동하면서, 그동안 기술력은 갖췄지만 시장의 문턱 앞에 서 있던 국내 AI 반도체 기업들에게 처음으로 현실적인 무대가 펼쳐지고 있다. 생성형 AI는 더 이상 연구실 안의 기술이 아니다. 산업 현장과 서비스, 디바이스 전반으로 빠르게 확산되면서 AI의 가치는 '얼마나 큰 모델을 학습했는가'보다 '얼마나 빠르고 효율적으로 판단할 수 있는가'로 옮겨가고 있다. 실시간 응답성, 전력 효율, 비용 구조는 이제 선택이 아닌 필수 조건이다. 이 변화는 자연스럽게 추론에 최적화된 NPU를 AI 반도체 경쟁의 중심으로 끌어올리고 있다. 기존 GPU 중심 구조는 여전히 강력하지만, 추론 환경에서는 전력 소모와 운영 비용이라는 현실적인 한계를 드러내고 있다. 특히 AI가 데이터센터를 넘어 엣지와 온디바이스, 산업 인프라로 확산될수록 이러한 부담은 더 크게 체감된다. 특정 연산에 최적화된 구조를 갖춘 NPU가 주목받는 이유다. 그리고 이 영역은 글로벌 빅테크보다 국내 AI 반도체 업체들이 상대적으로 경쟁력을 발휘할 수 있는 시장으로 평가받는다. 이 지점에서 국내 팹리스 생태계의 현실을 보여주는 사례를 하나 짚어볼 필요가 있다. 비록 NPU 기업은 아니지만, 파두는 국내 팹리스 가운데 드물게 글로벌 고객과의 협력을 통해 실질적인 성과를 만들어낸 기업이다. 샌디스크 등과의 협업을 통해 저장장치(SSD) 컨트롤러 시장에서 매출과 레퍼런스를 확보하며, 국내 팹리스도 글로벌 시장에서 통할 수 있다는 가능성을 가장 먼저 입증해왔다. 그러나 파두가 최근 상장 당시 자본시장법 위반혐의로 검찰에 불구속기소 되면서 국내 팹리스 산업이 안고 있는 구조적 취약성 역시 함께 드러났다. 기술력과 사업 성과를 쌓아가고 있던 기업조차 시장 신뢰와 제도적 리스크 앞에서는 쉽게 흔들릴 수 있다는 점이다. 이는 특정 기업의 문제라기보다, 이제 막 추론 시장이라는 기회를 맞이한 국내 AI 반도체 업계 전반에 던지는 경고에 가깝다. 이 같은 맥락에서 추론용 NPU를 개발하는 국내 AI 반도체 업체들 역시 같은 시험대에 서 있다고 볼 수 있다. 기술만으로는 충분하지 않고, 시장과 자본, 제도가 함께 뒷받침돼야 하는 것이다. 지금 필요한 것은 이미 달리고 있는 말의 속도를 줄이는 일이 아니라, 박차를 가할 수 있도록 힘을 실어주는 환경이다. 국내 AI 반도체 기업들은 그동안 추론용 NPU를 핵심 사업 전략으로 내세워왔다. 전력 효율과 성능 대비 비용, 특정 워크로드 최적화 등에서 차별화를 시도해왔지만, 시장 자체가 충분히 열리지 않아 성과를 가시화하기 어려웠다. 2026년을 기점으로 추론 수요가 빠르게 늘어나면서 이제는 기술적 설득이 아니라 실제 적용 사례와 지속 가능한 사업 구조가 경쟁력을 가르는 단계로 접어들고 있다. 정책과 산업 환경도 국내 업체들에게 유리하게 움직이고 있다. GPU 의존도를 낮추고 AI 인프라의 선택지를 넓히려는 흐름 속에서, 국산 NPU를 활용한 실증과 도입 논의가 이어지고 있기 때문이다. 이는 기술 자립을 넘어, 국내 AI 반도체가 글로벌 시장에서 신뢰할 수 있는 선택지가 될 수 있는지를 가늠하는 시험대다. 그리고 그 시험은 이미 시작됐다. 결국 관건은 하나다. 국내 AI 반도체 업체들이 추론 시장에서 '가능성 있는 대안'이 아니라 '검증된 경쟁자'로 자리 잡을 수 있느냐다. 자율주행, 로봇, 헬스케어, 스마트 디바이스처럼 늑장이 허용되지 않는 영역에서 NPU의 존재감이 커질수록, 그 답은 더욱 분명해질 것이다. 새해엔 가능성을 말하는 해가 아니다. 국내 AI 반도체 업체들이 추론 시장에서 실제 성과로 평가받는 해다. 달리는 말이 멈추지 않도록, 지금은 채찍을 들 때가 아니라 힘을 실어줘야 할 때다. 무대는 이미 열렸다.

2026.01.08 14:51전화평 기자

삼성SDS, 엔비디아·오픈AI 협력 빛 본다…"올 1분기 성과"

[라스베이거스(미국)=장경윤 기자] 삼성SDS가 올해 'AI 에이전트' 서비스 사업 확대에 속도를 낸다. 다양한 클라우드 플랫폼과 엔비디아 B300으로 구축한 AI 인프라 서비스를 다음달 시작하는 한편, 국내 기업 최초로 오픈AI와 협업한 '챗GPT 엔터프라이즈'도 이르면 이달 가시적인 성과가 나올 전망이다. 이준희 삼성SDS 대표는 7일(현지시간) 미국 라스베이거스 컨벤션센터(LVCC) 내 전시관에서 향후 사업 전략 및 전망에 대해 이같이 밝혔다. 엔비디아 B300 수백 장 도입…오픈AI 협업도 "이달 가시적 성과" 삼성SDS는 AI 에이전트를 안정적으로 제공하기 위해 AI 인프라·AI 플랫폼·AI 솔루션을 모두 아우르는 'AI 풀스택' 서비스를 목표로 하고 있다. 이 중 AI 인프라 영역에서는 자사 클라우드인 '삼성 클라우드 플랫폼(SCP)'을 중심으로, 아마존웹서비스(AWS)·마이크로소프트 애저(Microsoft Azure)·구글클라우드플랫폼(GCP), 오라클 클라우드 인프라스트럭처(OCI) 등 글로벌 클라우드 서비스를 고객 환경에 맞춰 유연하게 제공한다. 또한 엔비디아(NVIDIA)와의 협력을 통해 최신 GPU인 B300 모델을 선제적으로 도입했다. 이 대표는 "수백 장의 B300을 도입해 다음달까지 준비를 마치고 AI 인프라 서비스를 출시할 예정이다. 수요를 보면서 더 투자를 확장하게 될 것"이라고 말했다. AI 플랫폼 분야에서는 삼성SDS의 생성형 AI 플랫폼 '패브릭스(FabriX)'를 통해 삼성 거대언어모델(LLM)은 물론 주요 글로벌 언어 모델을 통합 제공하고 있다. 특히 지난해 말에는 국내 기업 최초로 오픈AI의 '챗GPT 엔터프라이즈' 리셀러 파트너 계약을 체결해, 기업용 생성형 AI 서비스를 제공할 수 있게 됐다. 이 대표는 "지난해 말 오픈AI와 계약을 체결했고, 조금 전부터 시작해서 당사의 잠재 고객들에게 소개를 했다"며 "예상보다 훨씬 더 많은 기업들이 관심을 보여 빠르면 이달 내, 혹은 1분기 내에는 상당히 가시적인 성과가 나타날 것으로 기대하고 있다"고 강조했다. AI 솔루션, 글로벌 무대서 활약 기대 AI 솔루션은 글로벌 시장에서의 성과가 기대된다. 대표적으로 삼성SDS의 구매공급망관리(SRM) SaaS는 지난해 유수의 서버·PC 고객사 3곳에 공급을 진행해, 현재 UAT(최종 테스트)를 진행 중이다. 이와 관련해 송해구 솔루션사업부장(부사장)은 "조만간에 고 라이브(Go live; 서비스 배포)'를 할 것 같고, 이후에 고객사 이름 등도 공개할 수 있을 것 같다"며 "또한 1분기 내에 또 하나의 전기·공조 제조사하고도 계약을 앞두고 있다"고 말했다. 한편 전남 해남에 구축 중인 국가 AI컴퓨팅센터는 올 하반기부터 착공이 시작될 것으로 예상된다. 현재 삼성SDS는 네이버클라우드, 지자체와 컨소시엄을 구성해 현지에 국가 AI 컴퓨팅센터 구축을 추진하고 있다. 오는 2028년까지 첨단 GPU 1만5천장을 확보해 2029년 오픈하는 것이 목표다.

2026.01.08 04:46장경윤 기자

[유미's 픽] 'AI 3강' 외치는 정부, 국가AI컴퓨팅센터 추진 속도낼까

조(兆) 단위 초대형 인공지능(AI) 데이터센터를 짓는 정부 사업이 연초부터 제 속도를 내지 못하고 있다. '국가AI컴퓨팅센터' 구축 사업자에 삼성SDS가 주도하는 대기업 컨소시엄이 유일하게 도전장을 내밀었지만, 정부가 계획된 일정에 맞춰 사업을 진행하지 않고 있어서다. 7일 업계에 따르면 과학기술정보통신부는 지난해 10월 국가AI컴퓨팅센터 사업 대상자로 선정된 삼성SDS 컨소시엄과 아직까지 우선협상대상자 계약을 체결하지 못했다. 당초 삼성SDS 컨소시엄을 대상으로 기술·정책 평가와 투자·대출 등 금융심사를 거쳐 지난해 12월 말 우선협상대상자 선정을 마무리할 것이란 계획을 밝혔으나, 해가 바뀌었음에도 여전히 논의만 하고 있는 상태다.국가AI컴퓨팅센터 사업은 정부와 민간이 공동으로 특수목적법인(SPC)을 설립해 대규모 그래픽처리장치(GPU) 인프라를 확보하고 산업계·학계·스타트업에 연산 자원을 제공하는 대형 공공 인프라 프로젝트다. 총 사업비는 약 2조5천억원 규모로, 정부가 800억원을 출자하고 민간과 정책금융기관이 나머지를 분담한다. 정부는 'AI 고속도로' 거점이 될 이곳에 오는 2028년까지 첨단 GPU 1만5천 장 이상을 확보, 2030년까지 지속 확충한다는 계획이다. 앞서 두 차례 공모는 공공 지분 비율(51%)과 매수청구권, 국산 AI 반도체(NPU) 의무 장착 조항 등으로 인해 유찰됐다. 이에 정부는 공공 지분을 30% 미만으로 낮추고 매수청구권과 국산화 의무를 폐지했다. 또 복수 CSP가 참여한 컨소시엄을 우대하고 단독 입찰이어도 적격 심사 절차를 거쳐 추진할 수 있도록 조건을 완화했다. 이후 삼성SDS는 네이버클라우드와 카카오, KT 등 주요 클라우드 서비스 사업자(CSP)와 연합해 이 사업에 홀로 도전장을 내밀었다. 삼성SDS 컨소시엄은 지난해 10월 국가 AI컴퓨팅센터 구축사업에 단독으로 참여한 이후 특수목적법인(SPC) 설립 TF를 구성해 ▲특수목적법인 설립 ▲데이터센터 설계(인허가 등) ▲사업 기획(사업모델 수립 등)을 준비해왔다. 하지만 정부가 계획대로 국가AI컴퓨팅센터 사업을 추진하지 않으면서 삼성SDS 컨소시엄과 SPC 설립을 위한 협약 체결을 제때 할 수 있을지도 미지수다. 과기정통부는 당초 올해 2월 SPC 설립 협약을 체결한 후 오는 3월 SPC 설립을 마무리할 계획이었다. 삼성SDS 관계자는 "지난해 11월 기술·정책평가를 통과했다"며 "현재 금융심사가 진행 중"이라고 설명했다. 이로 인해 'AI 고속도로'의 핵심 인프라를 마련함으로써 지역 균형 발전 투자를 활성화하고 글로벌 'AI 3강'으로 도약하겠다는 이재명 정부의 당초 의지도 점차 무뎌지는 모양새다. 업계에서는 사업 지연의 배경으로 대규모 정책금융이 투입되는 사업 구조상 정부 내부의 재정·리스크 검토가 예상보다 길어지고 있는 것으로 분석했다. 특히 우선협상대상자 선정 이후 금융심사와 함께 사업 추진 과정 전반에 대한 세부적인 정책 판단이 병행되면서 다음 단계로의 의사결정이 늦어지고 있는 것 아니냐는 관측도 나온다. 이처럼 정부가 사업 추진을 머뭇거리고 있지만, 삼성SDS 컨소시엄은 전남 해남에 위치한 국가 AI컴퓨팅센터 부지 방문을 시작으로 사업 추진을 위한 본격적인 움직임에 나선 모습이다. 삼성SDS는 이날 네이버클라우드와 전라남도(지자체) 등 컨소시엄 참여사 관계자 30명과 함께 국가AI컴퓨팅센터 부지로 선정된 솔라시도를 직접 찾아 데이터센터 건립 예정지를 시찰했다. 또 지반조사 진행 결과 확인 및 전력·통신 등 주변 인프라 여건도 종합적으로 점검했다. 이는 사업 공모에 참여한 이후 첫 공식 대외 일정이다. 삼성SDS 컨소시엄은 금융심사와 우선협상자 선정이 조속히 마무리되면 실시협약을 거쳐 특수목적법인 설립 절차에 착수할 계획이다. 삼성SDS 컨소시엄 관계자는 "이번 현장 방문은 국가 AI컴퓨팅센터를 신속하고 차질 없이 구축하겠다는 컨소시엄의 의지를 재확인하고, 사업 추진에 앞서 현장 여건을 선제적으로 점검하기 위한 것"이라며 "국가 AI컴퓨팅센터가 우리나라 AI 연구·산업 생태계의 글로벌 도약을 이끄는 토대가 될 수 있도록 컨소시엄 참여사들의 역량을 결집해 사업을 성공적으로 추진하겠다"고 말했다.

2026.01.07 15:31장유미 기자

DGIST, 엔비디아 GPU 활용 프로그램에 2건 선정

DGIST가 엔비디아 연구 지원 프로그램인 'NVIDIA 아카데믹 그랜트 프로그램'에 선정돼 차세대 인공지능(AI) 및 로봇 분야 연구를 위한 고성능 GPU 컴퓨팅 자원 지원을 받게 됐다고 6일 밝혔다. 엔비디아 '아카데믹 그랜트 프로그램'은 전 세계 대학·연구기관을 대상으로 혁신적 연구 과제를 선정, GPU 하드웨어 또는 대규모 연산 자원을 지원하는 프로그램이다. 이번에 선정된 DGIST의 과제는 ▲임성훈 교수의 사고의 연쇄를 활용한 물리 기반 비디오 생성 모델 연구 ▲박대희·목지수 교수 공동연구팀의 동적 인간-로봇 협업을 위한비전-랭기지-액션 기반 인간-로봇 협업 지능 연구 등 2건이다. 임성훈 교수팀은 32,000 A100 GPU-hours(약 3.2만 A100 GPU 시간)을 지원받는다. 연구팀은 AI가 물체의 움직임을 물리 법칙에 맞게 단계적으로 추론, 왜곡이 적고 자연스러운 영상을 생성하도록 하는 모델을 연구한다. 박대희·목지수 교수 공동연구팀은 RTX PRO 6000 블랙웰 서버 에디션 GPU 4대(하드웨어)를 지원받는다. 연구팀은 사람과 함께 일하는 로봇이 주변 상황과 사람의 움직임을 이해하고, 안전한 협업 행동을 선택할 수 있도록 하는 Physical AI 기반 로봇 지능을 개발한다. GIST 측은 대규모 AI 모델 학습·검증은 컴퓨팅 자원 확보가 연구 성과 폭과 속도를 좌우하는 만큼, 이번 지원을 바탕으로 실험 규모를 확장하고 모델 성능 검증의 정밀도를 한층 끌어올릴 것으로 기대했다.

2026.01.06 09:25박희범 기자

엔비디아, 퍼블릭 클라우드 사업 축소…韓 인프라 시장에 미칠 파장은

엔비디아가 퍼블릭 클라우드 사업을 축소하고 그래픽처리장치(GPU) 공급에 무게를 싣는 전략 전환에 나섰다. 그간 지속돼 왔던 고객과의 영역 다툼 문제를 해소하기 위한 방안으로, 국내 클라우드·인공지능(AI) 인프라 생태계에도 영향이 미칠 것이라는 관측이 나온다. 5일 디인포메이션 등 외신과 업계에 따르면 엔비디아는 최근 DGX 클라우드 조직을 엔지니어링·운영 조직 산하로 통합하며 외부 고객 대상 클라우드 서비스 확대 기조를 사실상 중단했다. 앞으로 DGX 클라우드는 엔비디아 내부 AI 모델 개발과 칩 설계를 지원하는 인프라로 활용될 전망이다. DGX 클라우드는 2023년 엔비디아가 처음 선보인 AI 특화 클라우드 서비스로, 아마존웹서비스(AWS)·마이크로소프트(MS)·구글 클라우드 등 하이퍼스케일러 인프라 위에서 엔비디아 GPU와 소프트웨어(SW) 스택을 통합 제공하는 방식이다. 그러나 고객 확보 속도가 기대에 미치지 못했고 주요 클라우드 고객과의 이해 충돌 우려가 지속적으로 제기돼왔다. 이번 조직 개편으로 엔비디아는 클라우드 사업자와의 직접 경쟁보다는 GPU와 AI 플랫폼 공급에 집중한다는 방침이다. 이는 엔비디아가 클라우드 사업자가 아닌 AI 인프라 핵심 공급자로서의 정체성을 강화하는 것으로 해석된다. 이같은 변화는 국내 클라우드 서비스 제공업체(CSP)에는 부담 완화 요인으로 작용할 가능성이 크다. 일각에서는 지난해부터 공공에 진입한 AWS·MS·구글에 더해 엔비디아도 DGX 클라우드를 앞세워 한국 시장에 직접 진출할 경우 국내 CSP 사업이 위축될 수 있다는 우려가 제기돼왔다. 네이버클라우드·KT클라우드·NHN클라우드 등은 엔비디아 GPU를 기반으로 AI 학습·추론 인프라를 확장하며 자체 서비스 경쟁력을 강화해왔다. 이런 상황에서 엔비디아가 퍼블릭 클라우드 전면 경쟁에서 한발 물러나면서, 국내 주도권을 유지한 채 GPU 수급과 기술 협력에 집중할 수 있는 여지가 커졌다는 평가다. 특히 네이버클라우드는 엔비디아와 소버린 AI 협력을 이어가며 국내외 AI 인프라 사업을 확대 중이다. 엔비디아가 내부 R&D 중심으로 DGX 클라우드를 재편하더라도 엔비디아 클라우드 파트너(NCP) 체계를 통한 협력 구조 자체가 흔들리지는 않을 것으로 점쳐진다. KT클라우드와 NHN클라우드 역시 공공·금융 부문을 중심으로 AI 인프라 수요 확대에 대응하고 있는 만큼, 엔비디아의 전략 전환은 향후 GPU 공급 안정성과 파트너십 지속성 측면에서 긍정적이라는 분석도 나온다. 하드웨어(HW) 생태계 측면에서도 변화가 감지된다. 델 테크놀로지스, HPE 등 GPU 서버 및 데이터센터 핵심 벤더들도 엔비디아가 직접 클라우드 서비스를 확대하기보다 파트너 중심 전략을 유지함에 따라 대형 CSP 및 기업 고객을 대상으로 한 AI 서버 공급 기회를 이어갈 수 있을 것으로 전망된다. 업계에서는 엔비디아가 DGX 클라우드를 통해 쌓은 운영 경험을 서버 레퍼런스 아키텍처와 SW 스택 고도화에 활용하면서 결과적으로 서버 벤더와 CSP 전반의 AI 인프라 구축 속도를 높이는 방향으로 작용할 가능성에 주목하고 있다. 다만 엔비디아의 전략 변화가 GPU 가격 정책이나 공급 우선순위에 어떤 영향을 미칠지는 여전히 변수로 꼽힌다. AI 수요 급증 속에서 GPU 확보 경쟁이 이어지는 만큼 국내 CSP들은 중장기 공급 전략과 자체 플랫폼 경쟁력 강화에 더욱 힘을 실을 필요가 있다는 지적도 제기된다. 이번 조직 개편에 대해 엔비디아 측은 "최첨단 R&D를 위한 세계적 수준의 인프라를 제공하고 클라우드 파트너들이 성공할 수 있도록 DGX 클라우드 SW 역량 강화에 지속 투자할 것"이라고 밝혔다. 국내 클라우드 업계 관계자는 "엔비디아가 직접 클라우드 사업자로 나서기보다는 GPU와 AI 플랫폼 공급에 집중하는 전략을 분명히 한 것"이라며 "국내 클라우드 사업자 입장에서는 GPU 의존도가 여전히 높은 만큼, 장기적으로 인프라 기술 고도화와 서비스 차별화가 핵심 경쟁력이 될 것"이라고 말했다.

2026.01.05 14:48한정호 기자

카카오 "정부 'GPU 확보 사업' 인프라 구축 순항"

카카오(대표 정신아)가 정부 주도 '그래픽 처리 장치(GPU) 확보 사업'의 최종 사업자로 선정된 이후, 최신 GPU 인프라 구축을 성공적으로 진행하며 국내 AI 연구 및 개발 환경 지원에 본격 나선다고 29일 밝혔다. 이번 사업은 정부가 AI 3대 강국을 위한 핵심 인프라인 GPU를 민간에 지원하는 국책사업으로, 카카오는 지난 8월 최종 사업자로 선정됐다. 카카오는 이번 사업을 통해 총 2천424장의 GPU 'B200'을 확보 및 구축하고 이를 5년간 위탁 운영하며 국내 AI 연구 및 개발 환경을 지원할 계획이다. 카카오는 경기도 안산시에 위치한 '카카오 데이터센터 안산'을 기반으로 대규모 GPU 인프라 구축을 안정적으로 진행하고 있다. 자체 데이터센터의 인프라 역량과 GPU 클러스터 구축 및 운영 노하우를 바탕으로 당초 계획 대비 구축 일정을 앞당겼으며, 현재 전체 할당량의 약 84%에 해당하는 255노드(GPU 2,040장)의 인프라 구축을 완료했다. 이는 당초 제출했던 연내 구축 목표치인 64노드 대비 4배를 상회하는 규모다. 이 같은 조기 구축 성과는 카카오의 자체 데이터센터인 '카카오 데이터센터 안산'의 고도화된 인프라 역량이 뒷받침되었기에 가능했다. 카카오는 GPU 확보부터 구축, 운영 준비에 이르는 전 과정에 걸쳐 철저한 프로젝트 관리를 수행했다. 공급사와의 긴밀한 협력을 통해 핵심 장비를 조기에 확보했으며, 사전 기술 검증(PoC)을 통해 실제 가동 단계에서 발생할 수 있는 리스크를 사전에 점검하고 최소화해 구축 일정을 앞당겼다. 또한 데이터센터 안산은 고집적 서버 운영에 필수적인 안정적인 전력 공급 시스템과 냉각 시스템을 선제적으로 마련했다. 특히 고성능 GPU 서버에서 발생하는 열을 효과적으로 관리하기 위해 뜨거운 공기를 격리해 냉각 장치로 바로 순환시키는 '열복도 밀폐시스템(Hot Aisle Containment system)'을 적용해 냉각 효율을 극대화했다. 카카오는 인프라 제공뿐만 아니라 이용자가 AI 모델 개발에 집중할 수 있는 소프트웨어 환경도 함께 지원한다. 국가 AI 컴퓨팅 자원 지원 포털과 연동된 통합 플랫폼을 통해 이용자가 포털에서 카카오엔터프라이즈가 운영하는 카카오클라우드로 손쉽게 진입할 수 있도록 했으며, 카카오클라우드의 AI 플랫폼인 쿠브플로우(Kubeflow)를 제공한다. 카카오클라우드 쿠브플로우는 클라우드 네이티브 환경에서 보다 쉽고 빠르게 머신러닝 워크플로우를 구축하고 실행할 수 있도록 지원하는 플랫폼이다. 모델 개발, 학습, 배포 및 추론에 이르는 전 과정을 쿠버네티스 환경에서 지원해 연구자가 머신러닝 워크플로우를 손쉽게 자동화하고 클라우드 리소스를 효율적으로 관리할 수 있도록 돕는다. 현재 카카오는 구축을 완료한 255노드에 대해 네트워크 및 성능 테스트를 진행 중이며, 내년 1월 2일부터 과학기술정보통신부와 정보통신산업진흥원이 베타서비스 공모를 통해 선정한 산·학·연 과제에 최신 컴퓨팅 자원을 제공할 예정이다. 카카오 AI시너지 김세웅 성과리더는 “대규모 GPU 인프라를 안정적으로 구축하고 운영하는 것은 AI 경쟁력의 핵심” 이라며 “카카오의 데이터센터 및 클라우드 역량을 바탕으로 안정적이고 효율적인 AI 개발 환경을 제공해 국내 AI 생태계 발전에 기여해 나가겠다”고 말했다.

2025.12.29 21:30안희정 기자

"고비용 AI 인프라는 지속 가능하지 않아"…하이퍼엑셀의 LPU 전략

생성형 AI 확산과 함께 데이터센터 전력 소모 문제가 산업 전반의 핵심 과제로 떠오르고 있다. LLM(대규모언어모델)을 돌리기 위한 연산 수요가 급증하면서, 데이터센터 유지에 랙당 수백 킬로와트(kW) 전력을 요구하는 구조로 빠르게 전환하고 있는 것이다. 그러나 전력 공급과 냉각, 인프라 구축 비용이 한계에 다다르면서 AI 인프라가 이 같은 전력 소모 구조를 계속 감당할 수 있을지에 대한 회의론도 확산되고 있다. 이 같은 상황에서 LLM 추론에 특화된 저전력·고효율 AI 반도체를 앞세운 하이퍼엑셀이 대안으로 주목받고 있다. 하이퍼엑셀은 GPU(그래픽처리장치) 중심의 기존 AI 인프라를 전면 대체하기보다는, 전력 효율과 비용 효율을 극대화한 새로운 가속기로 전체 시스템 차원의 총소유비용(TCO)을 낮추는 전략을 제시한다. 하이퍼엑셀은 LLM 추론에 특화된 AI 반도체 기업이다. 학습이 아닌, 이미 만들어진 모델을 실제 서비스 환경에서 효율적으로 구동하는 데 초점을 맞췄다. 챗GPT, 제미나이 등 생성형 AI 서비스의 핵심 연산 구간을 담당하는 영역이다. 김주영 하이퍼엑셀 대표는 "LLM 서비스의 병목은 더 이상 모델이 아니라, 이를 얼마나 효율적으로 돌릴 수 있느냐에 있다"며 "하이퍼엑셀은 LLM 추론에 맞게 처음부터 다시 설계한 칩을 만든다"고 설명했다. GPU와 다른 접근…저전력 강점 LPU의 차별성 하이퍼엑셀은 LPU(LLM Processing Unit)를 앞세워 시장 공략에 나선다. LPU는 LLM 추론에 특화된 AI 가속 칩으로, 학습과 추론을 모두 수행하는 범용 GPU와 달리 이미 학습된 모델을 서비스하는 데 필요한 연산만을 위해 설계된 전용 칩이다. 수천~수만 개의 작은 코어를 활용하는 GPU와 달리, LPU는 수십 개의 대형·특화 코어로 구성됐다. GPU가 절대적인 성능과 생태계 측면에서는 강점을 갖지만, 실제 LLM 추론 환경에서는 코어와 메모리 대역폭 활용률이 낮다는 한계가 있다. 하이퍼엑셀 LPU는 어텐션·피드포워드·노멀라이제이션 등 추론 연산을 코어 하나가 처음부터 끝까지 처리하는 구조로, 불필요한 데이터 이동을 줄여 같은 전력과 비용에서 더 많은 토큰을 처리할 수 있도록 최적화됐다. 김 대표는 "LPU는 GPU를 대체하기 위한 칩이 아니라, 추론 서비스에 가장 잘 맞는 역할을 수행하는 칩"이라며 "AI 서비스가 커질수록 전용 추론 가속기의 중요성은 더욱 커질 것"이라고 말했다. HBM 대신 LPDDR…비용·전력 효율을 겨냥한 전략 하이퍼엑셀의 또 다른 차별화 포인트는 HBM 대신 LPDDR 메모리를 채택한 전략이다. 업계에서는 LLM에는 초고속 HBM이 필수라는 인식이 강하지만, 하이퍼엑셀은 이와 다른 길을 택한 셈이다. LPDDR은 HBM 대비 속도는 느리지만 가격과 전력 소모가 크게 낮다. 하이퍼엑셀은 높은 유틸리제이션과 대규모 배칭(Batching) 기술을 통해 메모리 속도 한계를 보완했다. 한 번 모델을 읽어 여러 사용자를 동시에 처리하는 구조로, 토큰당 비용을 획기적으로 낮추는 방식이다. 김 대표는 "HBM을 쓰는 순간 모든 것이 고성능·고비용 구조로 간다"며 "우리는 충분한 성능을 유지하면서도 가격과 전력을 낮추는 쪽을 선택했다"고 말했다. LG전자와 온디바이스 LLM 협력…IP 확장성도 주목 하이퍼엑셀은 최근 LG전자와 온디바이스 LLM 가속기 협력으로도 주목받고 있다. 데이터센터용 칩뿐 아니라, 가전과 로봇 등 온디바이스 환경에서도 LLM을 효율적으로 구동할 수 있는 반도체를 공동 개발 중이다. 하이퍼엑셀의 LPU 아키텍처는 코어 크기와 전력, 성능을 요구사항에 따라 조정할 수 있도록 설계돼 IP 형태로도 확장 가능하다. 다만 회사의 주력 모델은 여전히 완성 칩을 중심으로 한 반도체 사업이다. 김 대표는 "고객과 단순히 칩을 사고 파는 관계가 아니라, 설계 단계부터 함께 제품을 만드는 전략"이라며 "데이터센터는 네이버클라우드, 온디바이스는 LG전자와 협업하고 있다"고 설명했다. "토큰 경제성을 높이는 칩"…하이퍼엑셀의 비전 하이퍼엑셀이 내세우는 비전은 명확하다. '토큰 경제성'을 극대화하는 AI 반도체를 만드는 것이다. 달러당 얼마나 많은 토큰을 생성할 수 있느냐를 기준으로, LLM 서비스의 비용 구조를 근본적으로 바꾸겠다는 목표다. 김 대표는 최근 기가와트(GW)급 데이터센터 논의를 언급하며 “AI 가속기가 지금처럼 랙당 수백 킬로와트의 전력을 요구하는 구조는 지속 가능하지 않다”고 지적했다. 그러면서 “결국 AI 인프라가 지속 가능해지려면, 가속기 자체가 더 에너지 효율적으로 바뀌어야 한다”며 “하이퍼엑셀의 칩은 그 방향을 겨냥하고 있다”고 말했다. 한편 김주영 대표는 한국공학한림원이 선정한 한국을 이끌어갈 젊은 과학자 29명에 선정된 바 있다.

2025.12.23 15:50전화평 기자

정부, 첨단 GPU 4천장 배분 시작…산학연 AI 과제 공모 착수

정부가 국가 차원으로 확보한 첨단 그래픽처리장치(GPU)를 산·학·연 인공지능(AI) 연구·개발·혁신 서비스 창출 지원을 위해 본격 배분한다. 과학기술정보통신부는 22일부터 다음 달 28일까지 온라인 플랫폼 'AI인프라 허브'를 통해 H200 2천296장, B200 2천40장에 대한 산·학·연 과제 공모를 개시한다. 정부는 올해 1차 추가경정예산 약 1조4천600억원을 통해 약 1만3천 장의 첨단 그래픽처리장치를 확보하고 이를 네이버클라우드·카카오·NHN클라우드 등 클라우드 사업자의 데이터센터에 순차적으로 구축 중이다. 정부는 이 중 1만 장의 GPU를 클라우드 서비스 형태로 활용할 예정이다. 먼저 구축될 H200 2천296장, B200 2천40장은 산·학·연의 시급한 AI 혁신 수요에 우선 배분된다. 국가 주력산업 혁신, 미래유망 산업 등에서 혁신적 AI 서비스·모델을 창출하기 위한 과제들이 선정될 계획이다. 과제 당 H200은 서버 2대(16장)~최대 32대(256장), B200은 서버 2대(16장)~최대 16대(128장), 최대 12개월까지 지원한다. 각 과제는 ▲기술·사회적 파급효과 ▲AI 생태계 기여도 ▲수요자 역량·준비도 및 실현 가능성 등을 기준으로 전문가 심사를 통해 선정하며 지역 소재기업은 가점 부여로 우대한다. 또 H200 64장 이상, B200 32장 이상을 활용한 대형 과제는 적격성 인터뷰를 추가로 진행한다. 아울러 이용 시 학·연은 무상, 산업계에는 시장가격의 약 5~10% 수준의 자부담을 부과한다. 청년 기업은 추가로 50% 할인을 제공된다. 기타 상세한 지원 요건 등은 온라인 플랫폼을 통해 확인할 수 있다. 과기정통부는 향후 정부 GPU 구매사업 진행 경과 및 공모 내용 설명 등을 위한 현장 설명회도 다음 달 9일에 진행할 예정이다. 또 사전에 이용자 불편 사항 등을 개선하기 위해 B200 512장에 대한 베타테스트를 무상으로 제공할 계획이다. 베타테스트 이용자 공모도 온라인 플랫폼을 통해 22일부터 진행된다. 과기정통부 김경만 인공지능정책실장은 "이번 공모를 통해 산·학·연에 첨단 GPU 자원을 공급해 혁신적인 AI 연구 및 서비스 개발을 지원하고 국가 AI 경쟁력 강화와 혁신 생태계 조성에 기여 할 예정"이라고 밝혔다.

2025.12.22 15:33한정호 기자

[인터뷰] "AI 인프라 폭증 시대…해법은 카카오클라우드 하이브리드 GPUaaS"

"인공지능(AI) 서비스가 커질수록 인프라 비용 부담이 수익성을 잠식하는 구조가 고착화되고 있습니다. 이제는 클라우드만으로는 이 문제를 해결하기 어렵습니다." 카카오엔터프라이즈 이재한 클라우드부문 사업본부장은 최근 서울 코엑스에서 열린 '2025 데이터·클라우드 진흥주간'에서 지디넷코리아와 만나 이같이 강조했다. AI 인프라 시장이 학습 중심에서 추론 중심으로 전환되는 과정에서 기업들이 비용 구조의 한계를 직면한다는 설명이다. 이 본부장은 "AI 서비스가 확산될수록 추론 트래픽이 급증하고 이에 따라 고가 그래픽처리장치(GPU) 사용이 불가피해진다"며 "매출이 늘수록 인프라 비용도 함께 증가하는 역설적인 상황이 이미 현실화되고 있다"고 진단했다. 카카오엔터프라이즈는 이러한 구조적 문제의 해법으로 '하이브리드 서비스형 GPU(GPUaaS)'를 제시하고 있다. 하이브리드 GPUaaS는 고객이 GPU 서버를 자산으로 보유하되, 카카오클라우드의 단일 콘솔과 플랫폼을 통해 퍼블릭 클라우드 GPUaaS와 동일한 방식으로 운영·관리할 수 있도록 한 모델이다. 초기 개발이나 기술검증(PoC) 단계에서는 클라우드 GPU를 활용해 민첩성을 확보하고 서비스가 본궤도에 오르면 GPU 자산화를 통해 중장기 총소유비용(TCO)을 낮추는 방식이 핵심이다. 이를 통해 클라우드의 유연성과 온프레미스의 비용 효율성을 동시에 확보할 수 있다. AI 추론 시대의 비용 딜레마, '하이브리드 GPUaaS'로 풀다 AI 인프라 시장의 가장 큰 변화는 추론 비용이 학습 비용을 추월하는 시점이 도래하고 있다는 점이다. 글로벌 리서치와 카카오엔터프라이즈의 분석에 따르면 내년을 전후로 AI 서비스의 총비용 구조에서 추론이 차지하는 비중이 학습을 넘어설 것으로 전망된다. 문제는 기존 '클라우드 온리' 전략이 이러한 환경에서 수익성 악화를 가속화할 수 있다는 점이다. 서비스 이용량이 늘수록 GPU 사용량이 증가하고 이는 곧 비용 증가로 직결된다. 일부 글로벌 AI 기업들이 대규모 자체 데이터센터 구축과 자산화 전략으로 회귀하는 배경도 여기에 있다. 이 본부장은 "국내 스타트업과 중소기업 입장에서는 대규모 온프레미스 구축이 현실적으로 쉽지 않다"며 "전력·상면·냉각·운영 인력까지 고려하면 초기 진입 장벽이 매우 높다"고 말했다. 실제 국내에서 최신 엔비디아 B200·B300급 GPU를 수용할 수 있는 데이터센터는 제한적이며 랙당 전력 밀도 역시 주요 제약 요소로 작용하고 있다. 이러한 상황에서 단순한 온프레미스 전환은 또 다른 부담으로 작용할 수 있다는 설명이다. 카카오엔터프라이즈는 이 지점에서 하이브리드 전략이 현실적인 대안이 된다고 바라봤다. 고정 수요는 자산화된 GPU로 처리하고 변동성이 큰 수요는 클라우드 GPUaaS로 흡수하는 구조다. 이 모델을 적용할 경우 퍼블릭 클라우드 GPUaaS 대비 약 33% 수준의 TCO 절감 효과를 기대할 수 있고 고객이 직접 온프레미스를 구축하는 방식과 비교해도 약 10~20% 비용 효율성이 개선된다는 것이 카카오엔터프라이즈의 분석이다. 이 본부장은 "결국 AI 서비스가 성장할수록 기업의 고민은 어떻게 GPU를 더 싸고 안정적으로 쓰느냐로 수렴한다"며 "하이브리드 GPUaaS는 그 질문에 대한 가장 현실적인 답"이라고 말했다. 운영·확장·가시성까지…"민첩성과 수익성 동시 확보 지원" 하이브리드 GPUaaS의 차별점은 단순 비용 절감에 그치지 않는다. 카카오엔터프라이즈는 유연성·효율성·가시성을 핵심 가치로 제시하고 있다. 먼저 유연성 측면에서 고객은 평상시에는 전용 GPU 자산을 활용해 최대 효율을 확보하고 트래픽이 급증할 경우 클라우드 GPU로 즉시 확장할 수 있다. 모든 자원은 하나의 VPC와 단일 콘솔에서 관리된다. 효율성 측면에서는 GPU 자원 할당과 회수, 모델 학습·배포·서빙까지 머신러닝 운영관리(MLOps) 기반 자동화를 지원한다. 이를 통해 유휴 GPU 발생을 최소화하고 운영 인력 부담을 줄일 수 있다. 가시성 역시 핵심 요소다. 물리적으로 분산된 GPU 자원을 단일 대시보드에서 모니터링하고 사용량·가동률·비용을 통합적으로 파악할 수 있어 TCO 관리가 용이하다. 보안 측면에서도 금융권 수준의 클라우드 서비스 제공사(CSP) 안정성 평가를 충족한 데이터센터 환경을 기반으로 서비스를 제공한다. 이는 규제 산업으로의 확장 가능성을 뒷받침하는 요소다. 이 본부장은 "하이브리드 GPUaaS는 금융권과 공공기관, 대규모 엔터프라이즈를 중심으로 도입 사례가 확산되고 있다"며 "전력과 상면 확보가 어려운 고객일수록 수요가 빠르게 늘고 있다"고 밝혔다. "GPU는 싸게만 쓰는 게 아니다"…플랫폼·통합 모니터링으로 차별화 카카오엔터프라이즈는 하이브리드 GPUaaS를 단순한 인프라 상품이 아니라 AI 플랫폼 전략의 출발점으로 보고 있다. 이 본부장은 "GPU 비용만 낮춘다고 AI 경쟁력이 생기는 것은 아니다"라며 "GPU를 얼마나 효율적으로 운영·관리하고 AI 개발과 서비스로 연결할 수 있느냐가 더 중요해지고 있다"고 설명했다. 이를 위해 카카오엔터프라이즈는 GPU 자원 통합 관리와 모니터링을 중심으로 한 AI 플랫폼 고도화를 추진하고 있다. 온프레미스 GPU와 카카오클라우드 GPUaaS는 물론, 외부에 분산된 GPU 자원을 일원화해서 하나의 대시보드로 통합 관리하는 방향을 준비 중이다. 이 본부장은 "고객 입장에서는 GPU가 어느 인프라에 있든 상관없이 하나의 콘솔에서 쓰는 것이 중요하다"며 "하이브리드 GPUaaS는 이런 통합 관리 전략을 실현하기 위한 기반"이라고 말했다. 특히 GPU 사용 현황, 가동률, 성능, 비용을 실시간으로 모니터링하고 학습·추론 워크로드를 효율적으로 배치하는 기능이 핵심이다. 이를 통해 불필요한 유휴 자원을 줄이고 AI 서비스 운영 단계에서의 비용 예측 가능성을 높인다는 구상이다. 카카오엔터프라이즈는 이러한 통합 운영 역량이 향후 AI 플랫폼 경쟁력의 핵심 요소가 될 것으로 보고 있다. 단순히 GPU를 제공하는 것을 넘어 AI 모델 학습부터 배포·서빙·운영까지 이어지는 전체 흐름을 플랫폼 차원에서 지원하겠다는 전략이다. 카카오엔터프라이즈 이재한 본부장은 "AI 비즈니스가 지속 가능하게 성장하려면 인프라 비용을 통제할 수 있는 구조가 필요하다"며 "카카오클라우드의 하이브리드 GPUaaS는 AI를 위한 멀티·하이브리드 전략의 한 축으로 자리 잡을 것"이라고 강조했다. 이어 "하이브리드 GPUaaS를 통해 고객이 성장 단계에 맞춰 민첩성과 수익성을 동시에 확보할 수 있도록 적극 돕겠다"고 덧붙였다.

2025.12.21 16:19한정호 기자

"AI 추론 비용 내년부터 폭증…하이브리드 GPUaaS가 부담 덜 것"

카카오엔터프라이즈가 인공지능(AI) 인프라의 새로운 대안으로 '하이브리드 서비스형 그래픽처리장치(GPUaaS)를 제안했다. 내년에 AI 서비스가 더 많이 이용되면서 클라우드 비용이 급증할 것으로 예상되는 만큼 유연성과 경제성을 동시에 확보하는 가장 현실적인 해법이 '하이브리드 GPUaaS'가 될 것으로 판단해서다. 카카오엔터프라이즈는 지난 16일 과학기술정보통신부가 주최하는 '2025 AI를 위한 데이터&클라우드 진흥주간' 행사에 이재한 클라우드부문 사업본부장이 참여해 이처럼 강조했다고 17일 밝혔다. 오는 19일까지 서울 강남구 코엑스 그랜드볼룸에서 열리는 '데이터&클라우드 진흥주간'은 '모두를 위한 AI, AI를 위한 데이터&클라우드'라는 슬로건 아래 데이터 및 클라우드 업계 관계자들이 모여 최신 기술, 산업 동향, 미래 방향 등을 공유할 수 있는 자리다. 이재한 카카오엔터프라이즈 클라우드부문 사업본부장은 이번 행사에 참석해 "2026년에는 AI 추론에 드는 비용이 학습 비용을 추월할 전망"이라며 "AI 서비스가 더 많이 이용될수록 추론에 소요되는 클라우드 비용이 급증하면서 AI 서비스 기업 및 기관의 적자폭이 커지는 구조적인 문제에 직면할 가능성이 높다"고 내년 AI 서비스 시장을 전망했다. 이어 "GPU는 AI 모델과 서비스 개발에 필수 요소이나, GPUaaS(서비스형 GPU)는 비용 부담이 높고 온프레미스 방식은 구축이나 상면 확보, 운영 등의 부담이 높다는 측면이 있다"며 "AI 서비스 기업 및 기관은 비즈니스 성장 단계에 따라 빠르게 증가하는 클라우드 비용을 절감할 수 있는 방법을 고민하며, GPU 등 자산 확보를 통한 수익성 개선 방안을 염두에 두어야한다"고 강조했다. 카카오엔터프라이즈는 이러한 AI 서비스 기업 및 기관의 부담을 해소할 수 있도록 고객이 GPU를 자산으로 소유하고 카카오클라우드가 GPU 클러스터를 구축 및 운영하는 새로운 형태의 하이브리드 GPUaaS를 선보인 바 있다. 카카오클라우드의 하이브리드 GPUaaS는 불확실한 초기 개발 및 기술 검증(PoC) 단계에서는 클라우드를 통해 투자 리스크를 최소화하며 민첩성을 확보하고, 비즈니스가 본 궤도에 오르는 시기에 자산화를 통해 효율적으로 수익성을 개선할 수 있도록 지원한다. 이 사업본부장은 "우리의 하이브리드 GPUaaS는 클라우드의 '유연성'과 소유의 '경제성' 등 두 가치를 동시에 확보할 수 있는 가장 현실적이고 강력한 해답"이라며 "우리는 AI 서비스 기업 고객과 기관의 클라우드 전략 파트너로서 고객이 불확실한 비즈니스 환경에서도 성장 단계에 발맞춰 민첩성과 수익성을 동시에 확보할 수 있도록 가장 효율적이고 안정적인 방안을 제시할 것"이라고 말했다.

2025.12.17 15:27장유미 기자

오픈AI, 아마존 칩 도입 저울질…"구글 추격에 인프라 다변화"

오픈AI가 아마존의 인공지능(AI) 칩 '트레이니움' 도입을 검토하고 있는 것으로 확인됐다. 17일 블룸버그통신에 따르면 오픈AI는 아마존으로부터 최소 100억 달러(약 14조원) 규모 투자를 유치하고, 그 조건으로 아마존의 자체 AI 반도체인 트레이니움을 도입하는 초기 논의를 진행 중이다. 이번 거래가 성사될 경우 오픈AI의 기업가치는 5천억 달러(약 740조3천억원)를 웃돌 것으로 전망된다. 이는 최근 오픈AI가 직원 지분 매각을 통해 시장에서 평가받은 몸값과 유사한 수준이다. 오픈AI가 아마존 칩에 눈을 돌린 배경에는 경쟁사 구글의 성장세가 자리 잡고 있다. 최근 구글클라우드가 텐서처리장치(TPU)로 개발한 '제미나이3'가 오픈AI의 'GPT-5.1' 성능을 능가한다는 평가를 받아서다. 이에 위기감을 느낀 오픈AI 경영진이 내부적으로 '코드 레드'를 발령한 것으로 알려졌다. 업계에선 엔비디아 그래픽처리장치(GPU)에 의존해온 오픈AI는 인프라 다변화를 생존 전략으로 선택했다는 분위기다. 아마존은 트레이니움이 기존 칩 대비 학습과 추론 비용이 저렴하고 연산 효율이 높다는 점을 강조해 왔다. 이달 미국 라스베이거스에서 열린 'AWS 리인벤트 2025'에서 '트레이니움3'를 공개했다. 트레이니움3는 전작 대비 전력 소비량을 40%가량 낮췄다. 엔비디아 GPU보다 AI 모델 훈련·운영 비용이 최대 절반 수준까지 줄어들 수 있다. 아마존웹서비스(AWS) 입장에서도 이번 협력은 절실한 상황이다. 임대형 컴퓨팅 파워 분야에서는 세계 최대 사업자지만, 정작 알짜배기인 AI 모델 개발 시장에서는 마이크로소프트와 구글에 밀리고 있어 차별화된 계기가 필요한 상황이다. 두 기업의 협상은 지난해 10월 오픈AI가 기업 구조 개편을 마친 직후 시작된 것으로 전해졌다. 당시 개편 과정에서 오픈AI의 최대 투자자인 마이크로소프트는 약 27%의 지분을 확보한 바 있다. 오픈AI와 아마존은 지난달 AWS가 7년간 380억 달러(약 56조2천600억원) 규모의 컴퓨팅 파워를 공급하는 계약을 맺은 바 있다. 당시 계약은 수십만 개의 엔비디아 칩 사용을 전제로 했다. 블룸버그통신은 "오픈AI가 GPU 공급 부족과 비용 문제를 해결하기 위해 아마존의 손을 잡으려 한다"며 "트레이니움 도입은 단순한 비용 절감을 넘어, 구글의 TPU 진영에 맞서기 위한 인프라 독립 선언과 같다"고 분석했다.

2025.12.17 13:57김미정 기자

엔비디아 '네모트론 3' 공개..."개인 PC로 나만의 AI 비서 구축"

엔비디아가 자신만의 인공지능(AI) 비서를 구축할 수 있도록 오픈 모델과 최적화 도구를 공개했다. 엔비디아에 '네모트론 3' 오픈 모델 제품군을 공개하고 '언슬로스' 프레임워크를 통해 거대언어모델(LLM) 미세 조정을 가속화한다고 16일 밝혔다. 이를 통해 사용자는 엔비디아 RTX AI PC와 DGX 스파크 환경에서 학습, 업무, 창작 등 목적에 맞는 맞춤형 AI 어시스턴트를 구축할 수 있다. 이번 발표 핵심은 '미세 조정'의 대중화다. 소형언어모델(SLM)은 전문적인 작업에서 정확도가 떨어지는 한계가 있었으나 엔비디아는 이를 해결하기 위해 모델을 특정 작업에 맞춰 훈련시키는 미세 조정 기술에 주목했다. 함께 도입된 언슬로스는 세계적으로 널리 쓰이는 오픈소스 프레임워크로 엔비디아 그래픽처리장치(GPU) 메모리 사용을 최소화해 훈련 효율을 높인다. 이 도구는 허깅페이스 트랜스포머 라이브러리 성능을 최대 2.5배까지 향상시켜 연구자와 개발자가 복잡한 연산을 신속하게 처리하도록 돕는다. 엔비디아는 미세 조정의 기반이 될 '네모트론 3' 제품군도 선보였다. 이 중 '네모트론 3 나노'는 하이브리드 전문가 혼합(MoE) 아키텍처를 기반으로 설계돼 현재 출시된 라인업 중 가장 높은 컴퓨팅 효율을 기록했다. 이 모델은 추론에 필요한 토큰을 최대 60% 줄여 비용을 절감하면서도 100만 토큰의 컨텍스트 윈도우를 지원한다. 긴 시간 동안 진행되는 다단계 작업에서도 AI가 맥락을 잃지 않고 훨씬 많은 정보를 유지할 수 있다는 설명이다. 개발자는 목표에 따라 파라미터 효율적 미세 조정(LoRA), 완전 미세 조정, 강화 학습 등 다양한 방식을 선택할 수 있다. 특히 LoRA 방식은 모델의 일부만 업데이트해 저비용으로 도메인 지식을 추가하거나 코딩 정확도를 높이는 데 유용하다. 엔비디아는 이번 나노 모델 공개에 이어 내년 상반기에 멀티 에이전트용 '네모트론 3 슈퍼'와 복잡한 애플리케이션용 '네모트론 3 울트라'를 순차적으로 출시할 예정이다. 엔비디아는 "네모트론 3 제품군은 업계 선도적인 정확도와 효율성을 갖춘 오픈 모델로 에이전틱 AI 애플리케이션 구축에 이상적"이라며 "개방형 훈련 데이터세트와 최첨단 강화 학습 라이브러리를 통해 AI 생태계를 지속적으로 확장할 것"이라고 강조했다.

2025.12.16 10:41김미정 기자

슈퍼마이크로, 엔비디아 HGX B300 수냉식 서버 출하…고집적·고효율 인프라 구현

슈퍼마이크로가 고집적·고효율 인공지능(AI) 인프라 수요에 대응하기 위해 엔비디아 최신 그래픽처리장치(GPU) 플랫폼을 적용한 수냉식 서버 솔루션을 전면에 내세웠다. 하이퍼스케일 데이터센터와 AI 팩토리를 겨냥한 이번 신제품을 통해 GPU 집적도와 에너지 효율을 동시에 끌어올린다는 전략이다. 슈퍼마이크로는 엔비디아 HGX B300 기반 4U 및 2-OU(OCP) 수냉식 솔루션 출시·출하를 시작했다고 15일 밝혔다. 이번에 선보인 제품은 엔비디아 블랙웰 아키텍처 기반으로 설계됐으며 슈퍼마이크로의 데이터센터 빌딩 블록 솔루션(DCBBS)이 핵심 구성 요소로 자리 잡았다. 신제품은 하이퍼스케일 데이터센터와 AI 팩토리가 요구하는 고성능 연산과 높은 GPU 집적도를 충족하는 동시에 전력·냉각 효율을 개선한 것이 특징이다. 특히 수냉식(DLC) 기술을 적용해 고전력 GPU 환경에서도 안정적인 운영이 가능하도록 설계됐다. 2-OU(OCP) 수냉식 솔루션은 21인치 OCP 오픈 랙 V3(ORV3) 규격에 맞춰 구성됐다. 랙당 최대 144개의 GPU를 탑재할 수 있는 고수준의 집적도를 제공하며 블라인드-메이트 매니폴드 커넥션과 모듈형 GPU·CPU 트레이 아키텍처를 통해 서비스성과 확장성을 동시에 확보했다. 이를 통해 제한된 공간에서 보다 많은 AI 워크로드를 처리할 수 있도록 지원한다. 해당 시스템은 엔비디아 블랙웰 울트라 GPU 8개를 단일 노드에 탑재해 GPU당 최대 1천100와트(W)의 전력을 소화한다. 단일 ORV3 랙은 최대 18개 노드, 총 144개의 GPU 구성이 가능하며 엔비디아 퀀텀-X800 인피니밴드 스위치와 슈퍼마이크로의 1.8메가와트(MW) 인로우 CDU를 통해 대규모 클러스터로 확장할 수 있다. 이같이 구성된 슈퍼클러스터는 최대 1천152개의 GPU까지 확장 가능하다. 함께 공개된 4U 전면 I/O 수냉식 솔루션은 기존 19인치 EIA 랙 환경을 그대로 활용할 수 있도록 설계됐다. 대규모 AI 팩토리에 이미 구축된 표준 랙 인프라에서도 2-OU(OCP) 솔루션과 동일한 연산 성능과 냉각 효율을 제공한다. 특히 DLC 기술을 통해 시스템 발열의 최대 98%를 수냉식으로 제거해 에너지 효율을 높이고 소음을 줄였다. 엔비디아 HGX B300 기반 두 솔루션은 시스템당 최대 2.1테라바이트(TB)의 HBM3e GPU 메모리를 지원한다. 이를 통해 대규모언어모델(LLM) 학습과 멀티모달 추론 등 고부하 AI 워크로드를 보다 효율적으로 처리할 수 있도록 돕는다. 엔비디아 퀀텀-X800 인피니밴드 및 스펙트럼-4 이더넷과 결합할 경우 커넥트X-8 슈퍼NICs를 통해 최대 800기가비피에스(Gb/s)의 네트워크 처리량도 확보할 수 있다는 설명이다. 운영 효율성과 총소유비용(TCO) 절감도 이번 제품의 핵심 요소다. 슈퍼마이크로의 DLC-2 기술은 데이터센터 에너지 사용량을 최대 40%까지 줄이고 45도 온수 냉각 방식을 적용해 물 사용량도 최소화한다. 기존 냉각수나 압축기가 필요 없는 구조로, 데이터센터 운영 부담을 낮췄다. 또 DCBBS 기반으로 L11·L12 단계의 사전 검증을 거쳐 랙 단위로 출하돼 대규모 AI 인프라 구축 시 가동 준비 시간을 단축할 수 있도록 지원한다. 찰스 리앙 슈퍼마이크로 최고경영자(CEO)는 "이번에 선보인 엔비디아 HGX B300 기반 수냉식 솔루션은 하이퍼스케일 데이터센터와 AI 팩토리가 요구하는 성능 집적도와 에너지 효율성을 충족한다"며 "업계에서 가장 컴팩트한 엔비디아 HGX B300 탑재 솔루션으로, 단일 랙에서 최대 144개의 GPU를 지원하고 검증된 DLC 기술을 통해 에너지 소비량과 냉각 비용을 절감한다"고 강조했다. 이어 "우리는 DCBBS를 통해 대규모 AI 인프라 구축을 지원하며 준비 시간 단축, 와트 당 최고 성능 구현, 설계부터 배포까지의 엔드투엔드를 통합 제공한다"고 덧붙였다.

2025.12.15 16:41한정호 기자

'SPHBM4' 표준 제정 임박…삼성·SK AI 메모리 새 국면 예고

반도체 업계가 새로운 HBM(고대역폭메모리) 개발을 구상하고 있다. 해당 제품은 기존 HBM과 동일한 성능을 구현하면서도 설계 난이도 및 제조비용을 대폭 낮춘 것이 특징이다. 실제 상용화 추진 시 삼성전자·SK하이닉스 등 메모리 기업들은 물론, TSMC·엔비디아 등 관련 생태계에 있는 기업 전반이 상당한 영향을 받을 것으로 예상된다. 15일 업계에 따르면 JEDEC(국제반도체표준협의회)은 새로운 HBM 표준인 'SPHBM4(Standard Package HBM)' 개발의 마무리 단계에 접어들었다. I/O 수 줄여도 대역폭 그대로…SPHBM4 개념 등장 HBM은 여러 개의 D램을 수직으로 적층한 뒤 TSV(실리콘관통전극)를 뚫어 전기적으로 연결한 고성능 메모리다. 이 경우 대역폭을 기존 D램 대비 크게 향상시킬 수 있게 된다. 대역폭은 초당 얼마나 많은 데이터를 주고받을 수 있는 지를 나타내는 척도다. 데이터 전송 통로인 I/O(입출력단자) 핀 수를 늘리거나, I/O 핀 당 전송속도를 높이는 방법으로 향상시킬 수 있다. 일례로, 6세대 HBM인 HBM4은 데이터 전송 통로인 I/O 핀 수를 기존(1천24개) 대비 2배로(2천48개) 늘리면서 성능을 높였다. SPHBM4는 HBM4와 동일한 D램을 채용했다. 그러나 I/O 핀 수를 4:1 비율로 직렬화(Serialization)해, I/O 핀 수를 4분의 1로 줄이면서도 HBM4와 동일한 대역폭을 지원한다는 특징을 가진다. 직렬화란 여러 개의 I/O 핀에서 동시에 처리되던 데이터를 단일 I/O 핀에서 순차적으로 처리하는 방식을 뜻한다. 4:1 비율의 경우, 기존 4개 I/O 핀에서 처리되던 데이터 양을 1개 I/O 핀이 4번의 처리로 담당하게 된다. 결과적으로 SPHBM4가 잘 구동되기 위해서는 I/O 핀 당 전송속도를 4배 이상 안정적으로 구현하는 직렬화 인터커넥트 기술이 핵심이 될 것으로 관측된다. 직렬화 인터커넥트 기술로 HBM용 베이스(로직) 다이를 설계하는 미국 반도체 스타트업 엘리얀(eliyan)도 "몇 개월 내에 SPHBM4 표준이 발표되기를 기대하고 있다"며 SPHBM4에 대한 환영의 뜻을 밝혔다. 베이스 다이는 메모리의 컨트롤러 기능을 담당하는 다이다. HBM과 GPU 등 시스템반도체를 PHY(물리계층)으로 연결해 데이터를 주고받을 수 있도록 만들어준다. SPHBM4가 도입되면 베이스 다이 역시 새로운 구조로 설계돼야 할 것으로 관측된다. SPHBM4 도입 시 제조 난이도·비용 감소 가능 I/O 핀 수가 512개로 줄어들게 되면, 전체 HBM 패키지에서 가장 큰 변화를 맞이하게 되는 부분은 인터포저다. 인터포저는 칩과 PCB(인쇄회로기판) 사이에 삽입하는 얇은 기판이다. AI 가속기 내부의 HBM과 로직 칩은 수많은 I/O 핀이 촘촘히 박혀 있어, PCB가 직접 대응하기가 힘들다. 이 때 미세한 배선층(RDL)을 가진 인터포저를 삽입하면 칩과 PCB의 연결을 수월하게 만들어 준다. 이렇게 HBM과 GPU를 인터포저로 연결하는 기술을 2.5D 패키징이라 부른다. 대만 주요 파운드리인 TSMC가 이 분야에서 독보적인 기술력을 확보하고 있으며, 자체적으로 'CoWoS(칩-온-웨이퍼-온-서브스트레이트)'라는 브랜드명을 붙이고 있다. 그간 TSMC는 실리콘 인터포저, 혹은 더 작은 크기의 실리콘 브릿지로 CoWoS 공정을 제조해 왔다. 실리콘 소재가 비싼 편에 속하지만, 배선 밀도를 높일 수 있어 고집적 회로 대응에 유리하기 때문이다. 반면 SPHBM4는 I/O 핀 수가 적어 기존만큼 고밀도 기판이 필요하지 않아, 유기(Organic) 인터포저만으로도 충분히 대응이 가능하다. 유기 인터포저는 실리콘 대비 배선 밀도가 낮지만, 가격이 저렴하기 때문에 패키지 제조 비용을 낮출 수 있다. 또한 유기 인터포저는 보다 유연한 설계가 가능해, HBM과 시스템반도체 간 채널 길이를 더 길게 만들 수 있다. 이를 통해 SPHBM을 더 많이 배치해, 결과적으로 총 메모리 용량을 늘릴 수 있다는 게 JEDEC의 설명이다. 이는 TSMC의 CoWoS 기술의 일종인 'CoWoS-R'의 HBM 도입을 가속화할 것으로 기대된다. CoWoS-R은 실리콘 인터포저 대신 유기 인터포저를 사용하는 개념이다. 실제 상용화 가능성은 아직 미지수 다만 SPHBM4가 실제 상용화될 지는 아직 미지수다. JEDEC은 "SPHBM4 표준은 개발 중이거나 개발 후 변경될 수 있으며, JEDEC 이사회에서 승인이 거부될 수도 있다"고 설명했다. 삼성전자, SK하이닉스 등 국내 반도체 업계에서도 SPHBM4에 대해 공식적으로 언급한 사례는 아직 없는 것으로 파악된다. 메모리 업계 한 고위 임원은 "SPHBM4 표준 제정은 HBM 기반의 AI 가속기 제조 비용을 줄이기 위한 여러 시도 중 하나로 보인다"며 "다만 현재 빅테크 기업들은 HBM의 속도 및 밀도를 동시에 강화하는 방향을 강하게 밀어부치고 있다"고 말했다.

2025.12.15 11:22장경윤 기자

토종 클라우드, AI 확산에 '액체 냉각' 승부수…데이터센터 설계 바뀐다

국내 클라우드 업계가 인공지능(AI) 확산에 따른 고성능 그래픽처리장치(GPU) 수요 증가에 대응하기 위해 데이터센터 냉각 기술 고도화에 속도를 낸다. 기존 공랭 방식으로는 한계에 이른 고발열 GPU 환경에서 액체 냉각이 필수 기술로 부상하면서 주요 기업들이 실증과 상용화를 병행하는 경쟁 구도가 형성되고 있다. 12일 업계에 따르면 국내 주요 클라우드 서비스 제공사(CSP)는 엔비디아 최신 GPU 도입에 맞춰 데이터센터 냉각 방식을 공기 냉각에서 액체 냉각 중심으로 전환하고 있다. GPU 성능이 급격히 고도화되면서 랙당 전력 밀도가 수십 킬로와트(kW) 수준까지 상승한 것이 배경이다. 대표적으로 KT클라우드가 액체 냉각 상용화에 발 빠르게 나서고 있다. 최근 개소한 가산 AI 데이터센터에 GPU 칩에 냉각판을 직접 부착해 냉각수를 순환시키는 '다이렉트 투 칩(D2C)' 방식 액체 냉각을 적용했다. 회사는 엔비디아 B200, NVL72급 고발열 서버 환경을 가정한 실증을 통해 안정적인 온도 유지와 전력 효율 개선 효과를 확인했다. KT클라우드는 서울 목동과 용산에 실증 허브 역할의 AI 이노베이션 센터를 운영하며 액체 냉각 기술 검증 범위를 넓히고 있다. 이 센터에서는 실제 운영 환경과 동일한 조건에서 수냉식과 액침 냉각을 시험하고 있으며 향후 기술 데이터를 업계와 공유해 표준화 논의에도 활용할 계획이다. 네이버클라우드는 액체 냉각을 포함한 하이브리드 냉각 전략을 통해 단계적 전환을 추진한다. 각 세종 데이터센터에 직접외기·간접외기·냉수를 병행하는 냉각 구조를 적용했으며 고밀도 GPU 존을 중심으로 차세대 냉각 기술 도입을 준비 중이다. 더 나아가 액침 냉각과 직접액체냉각(DLC)에 대한 개념검증(PoC)을 진행 중이며 향후 센터 증설 구간에 이를 반영한다는 목표다. NHN클라우드도 수냉 기술을 앞세워 최근 정부 GPU 확보 사업에서 존재감을 드러냈다. 정부가 도입하는 엔비디아 B200 물량의 75%가량을 구축하는 사업자로 선정됐으며 제안 기업 가운데 유일하게 수냉식 냉각 시스템 적용을 제안했다. 고발열 특성이 강한 B200의 안정적 운용을 위해선 수냉이 필수적이라는 점이 평가에 반영된 것으로 풀이된다. NHN클라우드는 확보한 B200 GPU를 대규모 클러스터로 구성해 내년 초부터 순차적으로 가동할 계획이다. 사전 실증을 통해 수냉식 냉각의 안정성과 운영 경험을 축적해 왔으며 고성능 AI 워크로드에 최적화된 데이터센터 운영 환경을 구축할 방침이다. 전문가들은 AI 확산에 따라 데이터센터 냉각이 단순한 설비 요소를 넘어 핵심 경쟁력이 되고 있다고 분석한다. 엔비디아 블랙웰 계열 GPU는 랙당 100kW를 넘는 전력을 요구해 공랭 방식으로는 대응이 어렵고 액체 냉각을 전제로 한 인프라 설계가 불가피하다는 설명이다. AI 데이터센터 설계 단계에서부터 냉각을 전력·네트워크와 함께 하나의 시스템으로 통합하는 움직임도 나타난다. GPU 연산 밀도가 높아질수록 특정 장비 단위의 냉각 성능뿐 아니라 전체 시설 구조와 열 흐름을 고려한 설계가 필요하다는 판단이다. 이에 기존 데이터센터를 단순 개조하는 방식으로는 한계가 있어 초기 설계 단계부터 전력·냉각·구조 하중을 고려한 AI 전용 데이터센터 구축이 진행되고 있다. 실제 KT클라우드는 내년 신규 개소할 부천·개봉·안산 센터를 모두 액체 냉각 기반으로 설계한다. 네이버클라우드도 액체 냉각을 중점으로 두고 각 세종 추가 증설에 나선다. NHN클라우드 역시 정부 사업을 통해 확보한 엔비디아 GPU의 수냉 클러스터를 양평 데이터센터에 구축한다. 데이터센터 업계 관계자는 "고집적 GPU를 수용하기 위해 국내 클라우드 사업자들이 액체 냉각 기술 도입을 확대 중"이라며 "내년을 기점으로 기업 고객들의 AI 인프라 수요도 본격화될 것"이라고 전망했다. 이어 "앞으로는 액체 냉각을 전제로 한 데이터센터 설계 역량이 클라우드 기업의 장기 경쟁력을 좌우하게 될 것"이라고 덧붙였다.

2025.12.12 15:49한정호 기자

브로드컴발 훈풍에 삼성·SK 메모리 수요 '청신호'

브로드컴의 맞춤형 AI 가속기 사업이 확장되고 있다. 최근 구글 AI칩의 추가 주문을 확보했으며, AI칩 고객사 수도 기존 4곳에서 5곳으로 늘었다. 이에 따라 AI칩에 고성능 D램, HBM(고대역폭메모리) 등을 공급하는 삼성전자, SK하이닉스도 지속적인 성장동력을 확보할 수 있을 것으로 예상된다. 11일(현지시간) 브로드컴은 회계연도 2025년 4분기(11월 2일 종료) 매출 180억2천만 달러를 기록했다고 밝혔다. 전분기 대비로는 13%, 전년동기 대비 28% 증가했다. 이번 브로드컴 매출은 증권가 컨센서스인 174억6천600만 달러를 상회하는 실적이다. 특히 AI 반도체 매출이 65억 달러로 전년동기 대비 74% 증가하면서 전 사업군 중 가장 강력한 성장세를 나타냈다. 브로드컴은 자체 보유한 반도체 설계 역량을 바탕으로 구글·메타·오픈AI 등 글로벌 IT 기업들의 AI 반도체 개발 및 제조를 지원해 왔다. 해당 고객사들은 엔비디아의 AI 가속기 대비 범용성은 떨어지지만, 전력 및 비용 효율성이 높은 AI 가속기 개발에 열을 올리고 있다. 브로드컴은 "고객사들이 거대언어모델(LLM) 학습 및 추론 어플리케이션을 통한 플랫폼 수익화에 맞춤형 AI 가속기(XPU)를 더욱 적극적으로 활용하고 있다"며 "이 덕분에 맞춤형 가속기 사업이 전년동기 대비 2배 이상 성장했다"고 설명했다. 최근 성과 역시 주목할 만 하다. 지난 3분기 미국 AI 스타트업 앤트로픽은 브로드컴과 100억 달러 규모의 구글 AI 가속기 TPU(텐서처리장치)를 주문한 바 있다. 올 4분기에는 앤트로픽으로부터 내년 말 납품 예정인 110억 달러 규모의 추가 계약을 체결했다. 또한 브로드컴은 최근 5번째 맞춤형 가속기 고객사를 확보하는 데 성공했다. 고객사명은 밝히지 않았으나, 10억 달러 규모의 주문으로 2026년 말 제품을 공급할 것으로 알려졌다. 중장기적으로는 오픈AI와의 협업을 통한 성장이 기대된다. 브로드컴은 "오픈AI는 자체 AI 가속기 도입을 위해 다년간의 노력을 진행 중"이라며 "오픈AI와의 10GW(기가와트) 규모의 계약은 오는 2027~2029년에 걸쳐 달성될 것"이라고 말했다. 이처럼 브로드컴의 AI 가속기 사업 확장은 삼성전자, SK하이닉스 등 국내 메모리 기업들의 제품 수요를 촉진하는 요소로 작용한다. AI 가속기에는 고성능 D램과 HBM(고대역폭메모리) 등이 대거 탑재된다. 특히 삼성전자, SK하이닉스의 전체 HBM 공급량에서 비(非) 엔비디아가 차지하는 비중은 점차 늘어날 전망이다. 구글은 올해 HBM3E 12단을 탑재한 AI 가속기를 출시한 데 이어, 내년에도 HBM3E 기반의 차세대 제품을 지속 출시할 예정이다. 메타, AWS 등도 내년 HBM3E 수요를 적극 견인할 것으로 보인다.

2025.12.12 10:57장경윤 기자

  Prev 11 12 13 14 15 16 17 18 19 20 Next  

지금 뜨는 기사

이시각 헤드라인

6년 만에 더 커지고 똑똑해진 신형 투싼…10월 국내 출격

트럼프 "'AI 군' 창설…인공지능 이름도 바꾸자"

전력기기 호황에 노조 생긴 효성重…내년 역대급 성과급 기대감↑

[ZD브리핑] 미중 정상회담·김범수 항소심 결심…추석 앞 산업·IT 이슈는

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.