'AI 인프라 병목 해결'...프라임마스, 메모리 솔루션 하반기 본격 양산

프라임마스가 글로벌 AI 데이터센터의 가장 큰 고질병으로 꼽히는 값비싼 GPU의 유휴(Idle) 현상을 해결하기 위해 초대형 메모리 확장 솔루션 양산에 나선다. 연산 장치의 발전 속도에 비해 턱없이 부족했던 메모리 용량 한계를 수백 테라바이트(TB) 단위로 확장하는 차세대 인터커넥트 기술이 글로벌 메모리 공급망의 핵심 생태계로 진입할지 주목된다. 프라임마스는 AI 인프라의 최대 병목 구간인 메모리 용량 한계를 극복하기 위해 CXL(컴퓨트 익스프레스 링크) 기반의 메모리 확장 솔루션인 'JBOM(Just a Bunch of Memory)'을 올해 하반기부터 본격 양산 공급한다고 28일 밝혔다. 프라임마스는 미국 실리콘밸리에 본사를 두고 기술 개발을 주도해 왔으며, 최근 글로벌 메모리 기업인 마이크론에 양산 물량 공급을 확정했다. 아울러 삼성전자와는 차세대 CXL 메모리 솔루션 공동 개발에 착수한 바 있다. 현재 AI 데이터센터 아키텍처의 가장 큰 비효율은 GPU의 성능을 메모리가 받쳐주지 못하는 데서 발생한다. 연산 속도에 비해 데이터가 오가는 메모리 용량이 부족하면, 막대한 비용을 들여 도입한 GPU가 연산을 멈추고 대기하는 병목 현상이 발생하기 때문이다. 결국 추가적인 GPU 증설 없이 인프라 효율을 극대화하려면 메모리 용량 확보가 필수적인 상황이다. 이 같은 효율성은 학계 및 산업계 임상 데이터로도 증명되고 있다. 지난해 말 발표된 알리바바의 '벨루가(Beluga)' 연구에 따르면, 8TB급 CXL 메모리 확장 환경을 구축했을 때 대규모 언어모델(LLM) 추론 엔진(vLLM)의 데이터 처리량이 기존 아키텍처 대비 7.35배 향상되는 결과가 확인됐다. 메모리 접근 방식과 용량 확보가 전체 AI 시스템의 생산성을 좌우하는 핵심 변수로 떠오른 이유다. 프라임마스가 선보인 'JBOM'은 차세대 인터커넥트 표준인 CXL을 활용해 다수의 대용량 메모리 카드를 하나의 거대한 풀(Pool)로 묶는 솔루션이다. 일반적으로 2~4TB 수준에 갇혀 있던 가동용 CPU 서버당 D램 용량 한계를 단숨에 수십에서 수백 TB 규모로 확장할 수 있다. 회사 측은 올해 40~120TB급 JBOM 솔루션을 시장에 우선 공급하고, 내년에는 240TB 이상으로 확장 규격을 늘리는 고도화 로드맵을 가동했다. 전덕호 프라임마스 기술전략 담당 상무는 “단순히 GPU 숫자만 늘리는 방식의 인프라 확장은 명확한 한계에 직면했다”며 “향후 AI 성능 경쟁의 전장(戰場)은 메모리 병목을 어떻게 제어하느냐에 달렸으며, 연산 중심 구조에서 메모리 중심 컴퓨팅 구조로 아키텍처의 무게중심이 이동하는 전환점이 될 것”이라고 설명했다. 그러면서 “이번 마이크론 양산 공급과 삼성전자와의 공동 R&D 체제 구축을 발판 삼아 메모리 중심 컴퓨팅 시대를 앞당길 것”이라며 “글로벌 무대에서 검증받은 원천 기술 성과가 궁극적으로 국내 반도체 생태계의 전반적인 고부가가치 경쟁력 강화로 이어지도록 하겠다”고 덧붙였다.