검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'망고부스트'통합검색 결과 입니다. (17건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

AMD가 찜한 망고부스트…'AI 팩토리' 앞세워 추론 시장 승부수

인공지능(AI) 인프라 기업 망고부스트가 AMD와의 협력을 바탕으로 자체 AI 데이터센터와 추론 서비스를 결합한 'AI 팩토리' 사업에 본격적으로 나선다. 서울 강남에 1메가와트(MW) 규모 AI 인프라를 구축하고 신규 추론 플랫폼을 출시해 기업 고객을 직접 공략한다는 전략이다. 장기적으로는 해외 인프라 의존도를 낮추고 국내에서 AI 데이터를 처리하는 소버린 AI 시장까지 사업을 확대할 계획이다. 김장우 망고부스트 대표는 12일 그랜드 인터컨티넨탈 서울 파르나스에서 개최한 신규 서비스 론칭 기자간담회에서 "우리는 단순히 부품을 공급하는 회사가 아니라 하드웨어부터 소프트웨어까지 직접 설계하고 고객에게 AI 서비스를 제공하는 회사"라며 "AMD와의 협력을 바탕으로 가격 경쟁력을 갖춘 AI 팩토리를 구축하겠다"고 밝혔다. 망고부스트는 2022년 서울대학교 연구진을 중심으로 설립된 AI 인프라 기업이다. 데이터처리장치(DPU)를 비롯한 네트워크 기술과 그래픽처리장치(GPU) 서버, 스토리지, AI 추론 소프트웨어를 자체 개발하고 있다. 기존에는 서버 제조사와 클라우드 기업 등에 인프라 기술을 공급하는 데 주력했지만 앞으로는 자체 시스템을 기반으로 기업 고객에게 AI 서비스를 직접 제공하는 사업을 확대한다는 방침이다. AMD 손잡고 AI 팩토리 구축…강남에 1MW 인프라 망고부스트가 내세운 핵심 전략은 AMD의 GPU와 자체 개발한 네트워크·스토리지 기술을 결합하는 것이다. 회사는 약 3년 전부터 AMD와 협력해 왔으며 AMD 인스팅트 GPU 기반 시스템의 성능을 높이는 소프트웨어와 네트워크 기술을 개발했다. 이를 통해 엔비디아 중심의 기존 AI 인프라와 차별화된 가격 경쟁력을 확보한다는 구상이다. 김 대표는 "AMD GPU는 가격 경쟁력이 있지만 이를 제대로 활용하기 위한 네트워크와 소프트웨어 기술이 중요하다"며 "우리는 이 성능을 끌어올리는 기술을 확보했고 AMD와의 협력을 통해 필요한 GPU와 메모리를 안정적으로 공급받을 수 있는 기반도 마련했다"고 설명했다. 실제 망고부스트는 AI 추론 성능 평가인 'MLPerf 인퍼런스 5.0'에서 AMD 인스팅트 GPU 다중 노드를 활용한 파트너 제출에 참여했다. 이어 '인퍼런스X 6.0'에선 한국과 미국에 위치한 AMD MI300X·MI325X·MI355X 등 서로 다른 세대의 GPU를 통합한 멀티 리전 추론 성능을 선보였다. 회사는 자체 소프트웨어 최적화만으로도 AMD GPU의 추론 성능을 크게 높였으며 향후 자체 하드웨어까지 적용하면 비용 효율성이 더욱 개선될 것으로 보고 있다. 이를 위한 첫 번째 거점으로 서울 강남구 도산공원 인근에 1MW 규모의 AI 팩토리를 구축 중이다. 기존 데이터센터의 공간과 설비를 이용하는 코로케이션 방식으로 인프라를 마련하고 있으며 AMD GPU 수백 장을 단계적으로 도입하고 있다. 현재 일부 인프라를 활용한 서비스가 시작됐으며 전체 구축은 내년 1분기까지 마무리할 계획이다. 망고부스트는 초기에는 외부 네오클라우드 사업자의 GPU와 자체 인프라를 함께 활용하고 이후 자체 AI 팩토리의 비중을 확대할 방침이다. 장기적으로는 1MW를 시작으로 5MW, 100MW 이상으로 인프라 규모를 확장하는 구상도 제시했다. 단순히 GPU 자원을 임대하는 네오클라우드와 달리 자체 설계한 시스템과 소프트웨어를 통합해 AI 추론 서비스를 제공하는 것이 사업 모델의 핵심이다. '망고 인퍼런스' 출시…AI 추론 서비스 직접 공급 이날 망고부스트는 신규 서버리스 AI 추론 플랫폼 '망고 인퍼런스'도 공식 출시했다. 기업과 개발자가 별도의 GPU 인프라를 구축하지 않고도 애플리케이션 프로그래밍 인터페이스(API) 키 하나로 AI 모델을 이용할 수 있는 서비스다. 추론 사용량과 처리 지연, 토큰 소비량, 트래픽 등을 확인할 수 있는 관리 기능도 제공한다. 서비스 경쟁력의 중심에는 자체 개발한 AI 추론 최적화 소프트웨어 'LLM부스트'가 있다. 일반적인 추론 소프트웨어가 GPU 연산 최적화에 집중하는 것과 달리 망고부스트는 스토리지에서 GPU로 데이터가 이동하는 과정까지 최적화한다. 이를 통해 데이터 전송 과정의 병목을 줄이고 GPU 활용률과 추론 처리 효율을 높인다는 설명이다. 권동업 망고부스트 최고기술책임자(CTO)는 "우리는 GPU 서버와 스토리지 서버, 네트워크 기술부터 추론 소프트웨어까지 직접 개발하고 있다"며 "실제 고객의 AI 사용 패턴을 파악해 인프라를 지속적으로 최적화할 수 있다는 점이 차별화된 경쟁력"이라고 말했다. 이어 "AMD GPU 기반의 추론 서비스를 경쟁력 있는 가격으로 제공 중"이라며 "주요 고성능 추론 서비스 사업자와 비교해 최소 20% 이상 저렴하게 가격을 책정했다"고 덧붙였다. 현재는 사용량에 따라 비용을 지불하는 방식으로 서비스를 제공하며 향후 기업 고객을 위한 전용 추론 환경도 지원할 예정이다. 국내 데이터 처리로 소버린 AI 공략…기업용 인프라도 확대 망고부스트는 AI 팩토리 사업의 또 다른 축으로 데이터 주권 확보를 제시했다. 기업들이 외부 AI 모델을 활용하는 과정에서 데이터가 해외 서버에서 처리되는 문제를 줄이고 국내 인프라에서 AI 추론을 수행할 수 있는 환경을 마련하겠다는 목표다. 특히 오픈웨이트 AI 모델을 국내 데이터센터에서 직접 운영하는 방식으로 해외 서비스 사업자에 대한 의존도를 낮출 계획이다. 권 CTO는 "소버린 AI에서 중요한 것은 단순히 모델을 확보하는 것이 아니라 실제 데이터가 어디에서 처리되고 관리되는지"라며 "한국에서 활용되는 AI 데이터는 국내에서 처리하고 관리할 수 있어야 하며 이를 위해 국내 AI 팩토리 구축이 중요하다"고 강조했다. 망고부스트는 앞으로 망고 인퍼런스를 통한 API 서비스뿐 아니라 기업과 공공기관이 자체 환경에서 AI를 운영할 수 있도록 데이터센터 설계와 통합 인프라 공급 사업도 확대할 방침이다. 금융·국방 등 데이터 통제가 중요한 분야에선 자체 네트워크와 스토리지 기술을 활용한 온프레미스 AI 시스템을 제공한다는 구상이다. 김 대표는 "앞으로 AI 시장에서는 모델을 얼마나 잘 만드는지만큼 이를 얼마나 빠르고 저렴하게 서비스할 수 있는지가 중요해질 것"이라며 "AMD와의 협력과 독자적인 하드웨어·소프트웨어 기술을 바탕으로 AI 팩토리 시장에서 경쟁력을 확보하겠다"고 밝혔다.

2026.10.12 14:11한정호 기자

"서버 구축부터 추론까지"…망고부스트, AI 풀스택 생태계 확장

망고부스트가 AMD 기반 하드웨어와 자체 소프트웨어를 결합해 인공지능(AI) 풀스택 사업 확대에 나섰다. 서버 간 데이터 이동을 최적화하는 반도체부터 모델 실행을 지원하는 소프트웨어, 추론 서비스까지 연결해 인프라 운영 효율과 가격 경쟁력을 확보하겠다는 구상이다. 망고부스트는 6~8일 서울 코엑스에서 열리는 'AI페스타 2026'에서 그래픽처리장치(GPU) 서버 '알폰소'와 스토리지 서버 '케사르', 자체 데이터처리장치(DPU) '부스트X'를 전시했다. GPU 서버 알폰소는 AMD 인스팅트 GPU에 자체 DPU와 추론 최적화 소프트웨어 'LLM부스트'를 결합한 제품이다. 기업이 연산 수요와 예산에 따라 선택할 수 있도록 고성능형과 중급형으로 제품군을 구성했다. 여기에 적용한 '부스트X RoCE AI'는 최대 400기가비트(GbE) 연결을 지원해 여러 서버가 AI 작업을 나눠 수행할 때 데이터 전송 부담을 줄인다. LLM부스트는 모델 구조와 하드웨어 구성, 실시간 요청량에 맞춰 실행 설정을 자동으로 조정하고 여러 GPU와 서버에 작업을 분산한다. AMD GPU 소프트웨어 플랫폼 'ROCm'과 연동해 서로 다른 세대의 AMD GPU를 동시에 사용하는 환경에서도 추론 작업을 지원한다. 이날 부스를 지키던 곽효윤 망고부스트 전략기획팀 매니저는 "LLM부스트는 자체 서버와 소프트웨어를 함께 최적화해 토큰 처리 효율을 높이는 것이 강점"이라고 강조했다. 이날 전시된 스토리지 서버 케사르는 연산과 제어를 담당하는 컨트롤러와 저장 용량을 확장하는 인클로저로 이뤄졌다. 컨트롤러에는 AMD 에픽 중앙처리장치(CPU)를 탑재하고, 인클로저에는 자체 DPU '부스트X NRT'가 적용됐다. 곽 매니저는 "이 서버는 별도 CPU와 D램 없이 SSD를 네트워크에 연결할 수 있다"며 "GPU 서버가 AI 연산을 수행하고 스토리지가 데이터를 공급하는 과정에서 DPU가 데이터 이동을 가속하는 구조"라고 제품을 설명했다. 망고부스트는 이들 장비와 소프트웨어를 결합해 약 1메가와트(MW) 규모의 자체 AI 데이터센터를 구축하고 있다. 향후 5MW와 100MW 규모로 확장할 계획이다. 이를 기반으로 이용자가 API 키를 발급받아 코딩 프로그램 등에서 최신 오픈 모델을 호출하는 추론 서비스도 제공할 방침이다. 요금은 토큰 사용량에 따라 부과하며, 모델 실행을 최적화해 이용 비용을 낮추겠다는 전략이다. 곽 매니저는 "우리는 향후 개별 부품 공급을 넘어 데이터센터에 즉시 구축할 수 있는 랙 단위 시스템과 서버리스 추론 서비스까지 제공할 것"이라고 밝혔다.

2026.10.07 14:10김미정 기자

망고부스트, 국가 AI 대상 IITP 원장상 수상…AI 풀스택 기술력 인정

망고부스트가 데이터처리장치(DPU)와 인공지능(AI) 추론 소프트웨어를 기반으로 한 풀스택 AI 인프라 기술력을 인정받아 국가 AI 대상 정보통신기획평가원(IITP) 원장상을 수상한다. 망고부스트는 오는 6일 서울 코엑스 C홀에서 열리는 'AI페스타26' 국가 AI 대상 시상식에서 IITP 원장상 수상으로 이름을 올렸다. 국가 AI 대상은 과학기술정보통신부가 주최하고 한국인공지능·소프트웨어산업협회(KOSA)가 주관하며 AI 기술 개발과 활용을 통해 산업 발전과 기술·서비스 혁신에 기여한 기업과 리더를 선정하는 상이다. 망고부스트의 AI 풀스택 인프라 솔루션은 AI 워크로드의 성능을 그래픽처리장치(GPU)에만 의존하지 않고 컴퓨팅과 네트워크, 스토리지, 데이터 이동, AI 추론 소프트웨어 전반을 함께 최적화하는 것이 특징이다. 회사는 DPU 기반 '부스트X(BoostX)'와 AI 추론 최적화 소프트웨어 'LLM부스트(LLMBoost)'를 중심으로 서버와 시스템 전반의 데이터 처리 효율을 높이고 있다. 여기에 그래픽처리장치(GPU) 서버 '알폰소(Alphonso)'와 스토리지 서버 '케사르(Kesar)'를 결합해 데이터센터 단위에서 AI 워크로드를 운영할 수 있는 풀스택 인프라를 제공한다. 망고부스트는 AI 모델 규모와 데이터 처리량이 증가하면서 GPU 자체의 연산 성능뿐 아니라 네트워크와 스토리지 입출력(I/O), 데이터 이동 과정에서 발생하는 병목을 줄이는 것이 AI 인프라 효율을 좌우하는 요소로 떠오르고 있다고 설명했다. 이번 수상은 AI 인프라 경쟁의 무게중심이 단순한 GPU 확보를 넘어 시스템 전반의 효율과 최적화로 확대되는 가운데 망고부스트의 풀스택 전략과 기술력을 인정받았다는 데 의미가 있다고 회사 측은 설명했다. 망고부스트는 AMD를 비롯한 글로벌 AI·데이터센터 생태계 기업들과 협력 관계도 확대 중이다. 향후 DPU 기반 인프라와 AI 추론 최적화 기술을 고도화하고 서버리스 추론 서비스 '망고 인퍼런스'를 비롯해 GPU 서버와 스토리지, 네트워크를 아우르는 엔드투엔드 에이전틱 AI 인프라를 AI 데이터센터(AIDC) 단위로 확장할 계획이다. 실제 데이터센터와 기업 환경에서 적용 사례를 늘리고 글로벌 AI 인프라 시장 공략에도 속도를 낸다는 방침이다. 장미선 망고부스트 대외협력이사는 "정부와 공공부문에서도 AI 인프라 투자가 빠르게 늘고 있지만, 중요한 것은 GPU를 몇 장 확보했느냐보다 확보한 자원을 얼마나 효율적으로 쓰느냐"라며 "정부지원 사업에서도 인프라 전반의 병목을 줄여 투자 대비 성능을 끌어올리는 기술의 가치가 갈수록 주목받고 있다"고 말했다. 이어 "이번 수상은 우리가 국내외 AI 인프라 정책과 시장 흐름을 살피며 풀스택 전략의 방향을 다듬어온 노력을 인정받은 것이어서 뜻깊다"며 "앞으로도 DPU와 AI 소프트웨어 기반 기술로 국가 AI 인프라 사업에 기여하고 공공과 민간, 국내와 해외를 아우르는 적용 사례를 만들어 가겠다"고 포부를 밝혔다. AI페스타26은 오는 6일부터 8일까지 사흘간 열리며 국가 AI 대상 시상식은 첫날 오후 5시 10분부터 진행될 예정이다.

2026.10.01 10:17한정호 기자

똑똑해진 AI의 숨은 고민…GPU 사각지대 채우는 K-반도체

초거대 AI 모델의 확산으로 연산 성능에 대한 수요가 급증하고 있지만 기존 그래픽처리장치(GPU) 중심의 인프라는 전력 소비, 높은 도입 비용, 데이터 전송 병목 등 구조적 한계에 부딪히고 있다. 특히 클라우드 연결이 불가능한 산업 현장이나, 방대한 데이터 처리 및 검색이 요구되는 데이터센터 환경에서는 GPU만으로 전체 AI 가치사슬을 커버하기 어렵다는 지적이 제기된다. 다음 주 10월 6일부터 삼성동 코엑스 C홀에서 개최되는 'AI페스타' AI반도체 특별관과 AI인프라 특별관에서는 이러한 GPU의 사각지대를 메우고, AI를 산업 현장에 실제 구동 가능한 상태로 전환하는 국내 반도체·인프라 스타트업 5개사의 기술과 솔루션이 집중 조명된다. 클라우드 끊고 현장으로…엣지·온디바이스 집중하는 AI 반도체 AI반도체 특별관에 참가하는 딥엑스와 모빌린트는 클라우드 서버에 의존하지 않고 기기 자체에서 실시간 AI 연산을 수행하는 NPU(신경망처리장치) 기술의 현장 적용 사례를 선보인다. 딥엑스는 자사 NPU 'DX-M1'의 실제 산업 현장 적용성에 초점을 맞춘다. 단독 부스 대신 파트너사인 달구, 바이다와 공동으로 부스를 꾸려 칩 상용화 생태계를 시연한다. 현장에서는 DX-M1을 탑재해 5W 미만의 전력으로 비전언어모델(VLM)을 구동하는 엣지 AI 박스를 비롯해 스마트글라스를 활용한 AI 응급현장 지원 솔루션, 자율주행 기반 차량 감속 유도 로봇 등이 전시된다. 딥엑스 관계자는 "이번 전시는 칩 자체보다 파트너 제품이 응급의료 현장과 도로 위에서 어떻게 작동하는지를 보여주는 데 방점을 뒀다"며 "초저전력 온디바이스 AI가 피지컬 AI 영역으로 확장되는 흐름을 체감할 수 있을 것"이라고 설명했다. 모빌린트 역시 클라우드 연결 없이 기기와 현장에서 직접 AI 연산을 수행하는 엣지 AI 솔루션을 출품한다. AI 가속기 카드 'MLA100'과 AI Box 'MLX-A1', 초저전력 SoC(시스템 온 칩) 레귤러스 등 주요 라인업을 통해 스마트팩토리 및 로봇 등 다양한 산업 영역의 구동 사례를 소개한다. 모빌린트 관계자는 “AI 반도체의 경쟁력은 소프트웨어와 결합해 고객의 제품과 산업 현장에서 실질적인 가치를 만들어내는 데 있다”며 “이번 전시에서 파트너들과 함께 엣지 AI 솔루션을 늘리고, 공동으로 사업 기회를 발굴해 나가겠다”고 밝혔다. AIDC 인프라와 에이전트 메모리 병목 뚫는 인프라 3사 AI인프라 특별관에서는 데이터 전송 및 메모리 용량의 물리적 한계로 인해 GPU 연산 효율이 저하되는 현상을 해결하는 기술들이 전시된다. 디노티시아는 AI 에이전트의 데이터 검색 및 장기기억 활용 시 발생하는 병목을 해결하기 위한 벡터 검색 가속기 'VDPU'를 전면에 내세운다. 자체 벡터DB '씨홀스'와 VDPU를 통합한 스토리지를 통해 기업 내부 지식 검색 인프라를 제시한다. GPU가 연산을, VDPU가 검색을 전담하는 보완적 구조다. 정무경 디노티시아 대표는 “AI가 직접 데이터를 찾아 활용하는 시대에는 스토리지의 역할도 달라져야 한다”며 “VDPU 기반 AI 스토리지로 AI에 필요한 정보를 제때 공급하는 데이터 인프라를 만들어가겠다”고 전했다. 파네시아는 AI 데이터센터(AIDC) 효율성 제고를 위한 CXL(컴퓨트 익스프레스 링크) 기반 풀스택 링크 솔루션을 출품한다. 자체 개발한 국산 CXL 스위치 칩과 IP(설계자산)를 통해 소버린 AIDC 내부의 이기종 연산 장치와 메모리 자원을 효율적으로 연결, 메모리 확장성을 확보하는 기술을 시연한다. 망고부스트는 서버 내 네트워크 및 스토리지 가속을 전담하는 DPU 솔루션을 공유한다. 데이터 이동 경로의 과부하를 최소화하고 중앙처리장치(CPU)와 GPU의 연산 부하를 덜어주어 데이터센터 전반의 효율을 극대화하는 방안을 제시할 계획이다. 한편 이번 AI페스타는 과학기술정보통신부가 주최하고 한국소프트웨어산업협회(KOSA)와 AI페스타 조직위원회가 주관하며 다음 달 6일부터 8일까지 사흘간 서울 삼성동 코엑스 C홀에서 열린다. 행사장에서는 AI반도체, AI 인프라, 피지컬 AI 등 다양한 분야 기업들을 만나볼 수 있다.

2026.09.29 15:10전화평 기자

"K-팹리스, 해외 PoC 감당 한계"…마중물 정책 호소

국내 인공지능(AI) 반도체 팹리스 기업들이 해외 진출 확대를 위해 정부 제도 지원을 요구했다. 연구실 단계 기술 검증을 넘어 상용화 단계에 진입했으나, 해외 고객 확보 과정에서 초기 실증 비용과 현지 기술 지원 부담이 크다는 이유다. 10일 서울 여의도 국회의원회관에서 열린 '국산 NPU 수출 확대 및 판로 다변화를 위한 국회 정책토론회'에서 국내 신경망처리장치(NPU) 기업 관계자들은 글로벌 시장 진입 과정에서 직면하는 비용과 신뢰성 문제를 집중 지적했다. 이들은 스타트업이 해외 현지 기술 지원과 장기 품질 보증 요구를 홀로 감당하기 어렵다고 설명했다. 조재홍 딥엑스 상무는 "상반기 기준 1300만 달러 규모 수출 실적을 올렸으나, 해외 대기업은 3년에서 10년에 이르는 품질 보증을 유지할 수 있는지 의구심을 가진다"고 밝혔다. 그는 "시차 대응을 위한 현지 엔지니어 채용과 해외 전시회 참가비 등 고정비 부담이 상당하다"며 "CES 부스 운영비만 12억원 수준"이라고 밝혔다. 초기 시장 진입 문턱을 낮추기 위한 지원 방안이 제안됐다. 딥엑스는 수요기업의 초기 구매 부담을 낮추는 'K-AI 반도체 수출 바우처' 신설을 촉구했다. 3억원 안팎의 초기 개념증명(PoC) 비용을 보조해 30억원대 이상 본 계약 체결로 유도하는 마중물 구조다. 현지 테스트베드 제공과 소프트웨어 개발 키트(SDK) 런타임 최적화 프로그램 신설도 건의했다. 양산 단계 검증과 생산 인프라 한계도 언급됐다. 김주영 하이퍼엑셀 대표(카이스트 전기및전자공학부 교수)는 "시제품 단계와 달리 월 1만장 규모 납품 요구에는 테스트 자동화 등 생산 인프라 한계가 나타난다"며 "글로벌 빅테크를 설득하려면 실제 운영실적(레퍼런스) 확보가 필수"라고 강조했다. 박성현 리벨리온 대표는 공공 AI 인프라 조달 평가기준을 '외산 그래픽처리장치(GPU)' 규격 맞추기에서 'AI 가속기' 단위 성능 중심 경쟁으로 전환해야 한다고 밝혔다. 박 대표는 "국가 AI 컴퓨팅 센터 등에서 실제 트래픽을 장기간 처리하는 기회가 보장돼야 한다"며 "안방에서 대규모 실서비스 레퍼런스가 선행돼야 해외 고객을 설득할 수 있다"고 설명했다. 선제적 공공 인프라 배치 요구도 이어졌다. 백준호 퓨리오사AI 대표는 "반도체는 타이밍 산업인 만큼 수요를 기다리지 않고 대규모 배치를 통해 시장을 창출해야 한다"고 말했다. 이어 "2030년까지 확대될 8.5기가와트(GW) 규모 신규 데이터센터에 국산 NPU 배치를 정책적으로 뒷받침해야 한다"며 "칩과 소프트웨어, 모델을 묶은 풀스택 인프라로 글로벌 소버린 AI 시장을 공략해야 한다"고 제안했다. 정책자금 연속성 확보도 과제다. 김주영 대표는 "AI 반도체는 매년 차세대 칩을 설계하고 양산해야 생존할 수 있는 구조"라며 "단발성 연구개발(R&D) 과제에 머물지 않고 국민성장펀드 등을 통해 팹리스를 향한 단계별 스케일업 자본 투입이 지속돼야 한다"고 요청했다. 정책토론회는 고동진 국민의힘 의원실 주관으로 열렸다. 고동진 의원은 인사말에서 "국산이라는 이유만으로 제품을 써달라는 논리는 시장에서 통하지 않는다"며 "엔비디아 대비 비용 효율이 확인된 만큼, 공공기관과 연구소 서버에서 국산 NPU를 선제 검증하고 안정화해야 수출길이 열린다"고 밝혔다.

2026.09.10 12:24전화평 기자

망고부스트 "에이전트 시대 DPU·SW 결합…'AI 인프라계 애플' 도약"

인공지능(AI) 기술이 단순 추론을 넘어 스스로 판단하고 복잡한 과업을 수행하는 'AI 에이전트' 시대로 진입하면서, 폭발하는 데이터센터(DC) 워크로드를 감당하기 위한 인프라 혁신이 화두로 떠올랐다. 이에 국내 AI 시스템 반도체 스타트업 망고부스트는 이기종 하드웨어를 유기적으로 연결하는 고성능 '데이터처리장치(DPU)' 설계 기술과 추론 최적화부터 다루는 풀스택 소프트웨어 솔루션을 융합해 글로벌 AI 인프라 시장의 판도를 바꾸겠다는 출사표를 던졌다. 회사는 특정 하드웨어 벤더에 종속되지 않는 개방형 생태계와 개발자 친화적인 환경을 무기로 'AI 데이터센터계의 애플'로 도약한다는 포부다. 망고부스트는 2022년 김장우 서울대 교수가 설립한 AI 시스템 반도체 딥테크 기업이다. DPU 설계 원천기술과 인프라 최적화 소프트웨어를 아우르는 '풀스택(Full-stack) 솔루션'을 앞세워 글로벌 시장을 공략하고 있다. "단일 서버 한계 직면…유기적 연결 가속하는 DPU 필수" 망고부스트는 단일 GPU 서버 중심의 데이터 처리 방식이 이미 물리적, 비용적 한계에 직면했다고 진단한다. 서로 다른 GPU 모델과 원격 저장공간(스토리지), CPU 등을 묶어 하나의 거대한 유기적 시스템으로 동작하게 만드는 과정에서 심각한 데이터 통신 병목이 발생하기 때문이다. 이원석 망고부스트 전략기획팀 팀장은 "추론만 하던 시대에서 본격적인 AI 에이전트 시대가 열리며 처리해야 할 워크로드 단위가 비약적으로 커졌다"며 "동일 기종의 GPU 서버만으로는 전체 성능을 감당할 수 없어 이기종 장치들을 필연적으로 연결해야 하는데, 이때 발생하는 네트워크 오버헤드를 전담 가속하는 DPU가 차세대 데이터센터의 핵심 인프라로 부상하고 있다"고 강조했다. 망고부스트의 DPU는 시장을 과점 중인 엔비디아의 '블루필드(BlueField)'와 대비되는 설계 철학을 지닌다. 이 팀장은 "엔비디아 DPU는 하드웨어 가속을 최소화하고 내부 CPU 중심으로 가동되는 반면, 망고부스트는 하드웨어 가속 비중을 극대화해 극한의 네트워크 성능 향상을 이끌어낸다"고 설명했다. 생태계의 확장성 측면에서도 궤를 달리한다. 이 팀장은 "엔비디아 DPU가 자사 GPU와 소프트웨어에 최적화된 폐쇄적 생태계에 갇혀 있다면, 우리는 특정 벤더에 종속되지 않는 '스위스' 같은 중립적 지위를 지향한다"며 "엔비디아와 AMD GPU는 물론 국내외 이기종 NPU, 다양한 네트워크 스위치 장비까지 완벽히 연결하는 개방형 솔루션을 제공한다"고 말했다. "시장 적기 대응 위해 FPGA 주력…차세대 승부처는 ASIC" 현재 망고부스트는 개발에만 수년이 소요되는 주문형 반도체(ASIC) 대신 필드 프로그래머블 게이트 어레이(FPGA) 기반 DPU 제품 공급에 주력하고 있다. 변화 무쌍한 AI 네트워크 표준에 즉각적으로 대응하기 위해서다. 한성철 망고부스트 HW개발 그룹장은 "AI 데이터센터용 네트워크 요구사항이 쉼 없이 변하는 상황에서, 하드웨어 구조를 유연하게 바꿀 수 있는 FPGA 제품이 신규 프로토콜을 가장 신속하게 지원할 수 있는 무기"라고 말했다. 비용 효율성에 대해서도 소신을 밝혔다. 한 그룹장은 "초기 매몰 비용 감안하면 대량 양산 전 적정 수량 단계에서는 FPGA가 훨씬 경제적이며, 전체 GPU 랙(Rack) 시스템 관점에서는 총소유비용(TCO) 절감 효과가 압도적"이라면서도 "데이터 전송량과 전력 효율 니즈가 극대화되는 시점에 맞춰 ASIC으로 승부하기 위해 철저하게 준비 단계를 거치고 있다"고 말했다. 실제로 보수적인 기준에서도 망고부스트의 솔루션은 동급 시스템 대비 약 30%의 TCO 절감 효과를 내는 것으로 파악됐다. 이러한 기술력은 대규모 투자와 글로벌 파트너십 확대로 이어지고 있다. 최근 AMD의 리사 수 최고경영자(CEO)가 직접 방문해 긴밀한 파트너십을 논의했으며, 해외 대형 하이퍼스케일러들과의 공동 솔루션 구축도 활발히 진행 중이다. 국내에서는 주요 K-클라우드 국책 사업 참여와 더불어 국산 NPU 기업들과의 시스템 연동을 강화하고 있다. 현재 누적 투자 유치액 1억 달러(약 1300억원)를 넘긴 상태로, 시리즈 B 펀딩 마무리도 눈앞에 뒀다. 미국 법인을 거점으로 글로벌 인재 확보에도 사활을 걸고 있다. 한 그룹장은 "단순히 DPU 반도체 부품이나 단품 소프트웨어를 파는 회사에 머물지 않겠다"며 "특정 하드웨어에 얽매이지 않고 모든 에코시스템을 유기적으로 엮어 최고 가성비의 시스템 최적화를 이끌어내는 리더, 즉 'AI 데이터센터계의 애플'로 도약할 것"이라고 포부를 밝혔다. '망고 LLM 부스트'로 추론 최적화…SDK로 DPU 문턱 낮춰 망고부스트는 AI 추론 소프트웨어 '망고 LLM 부스트'와 소프트웨어 개발 키트(SDK)를 앞세워 AI 인프라 영역을 넓히고 있다. DPU를 넘어 추론 최적화와 데이터 이동, AI 에이전트 라우팅까지 아우르는 SW 스택을 구축에 한창이다. 김창수 망고부스트 어드밴스드 AI 팀장은 망고 LLM 부스트가 가상거대언어모델(vLLM) 같은 일반 LLM 추론 프레임워크보다 넓은 범위를 다룬다고 강조했다. 기존 프레임워크가 GPU에서 LLM을 구동하는 데만 초점 맞춘다면, 망고 LLM 부스트는 여러 추론 작업을 관리하고 사용자 요청을 적절한 GPU로 보내는 기능까지 지원한다는 설명이다. 김 팀장은 AI 에이전트 시대에 망고 LLM 부스트 역할이 더 커질 것으로 봤다. 에이전트가 긴 대화와 복잡한 작업을 수행할수록 LLM이 앞서 계산한 내용을 임시 저장하는 'KV 캐시'도 덩달아 늘어나서다. 그는 "망고 LLM 부스트는 방대한 KV 캐시를 저장하고 재사용하거나, 필요한 GPU로 옮기는 과정을 관리한다"며 "한번 계산한 내용을 재활용하면 같은 연산을 반복하지 않아도 돼 추론 속도를 높일 수 있다"고 설명했다. 이어 "KV 캐시가 커져 GPU에 모두 보관하기 어려워지면 스토리지나 다른 GPU로 데이터를 옮겨야 한다"며 "이때 LLM 부스트가 캐시 저장 활용을 돕고, DPU가 실제 데이터 이동을 지원하는 양방향 구조로 작동한다"고 덧붙였다. 망고부스트는 SDK를 통해 DPU 사용 문턱도 낮추고 있다. 개발자가 DPU 구조나 복잡한 저수준 프로그래밍을 직접 익히지 않아도 주요 기능을 쓸 수 있도록 지원하는 방식이다. 김 팀장은 "DPU를 직접 프로그래밍하려면 새로운 개발 환경을 익혀야 해 부담이 크다"며 "개발자가 필요한 기능만 쉽게 가져다 쓸 수 있도록 만드는 것이 SDK 목표"라고 설명했다. 망고인퍼런스는 추론 환경에서 데이터 병목을 해결하는 DPU 부스트X(BoostX) 기술과 에이전트 운영체제(OS)를 효율화하는 'LLM 부스트'를 결합한 형태다. 개발자가 익숙한 API 형태로 AI 인프라 기능을 손쉽게 활용할 수 있도록 지원한다. 개발자와 스타트업 등은 HW 를 직접 제어하거나 복잡한 구현을 수행할 필요 없이 API 호출만으로 필요한 기능을 간편하게 활용할 수 있다. 망고인퍼런스는 올해 하반기 출시될 예정이다.

2026.08.19 14:57전화평 기자

"GPU 증설보다 효율 따져야"…망고부스트가 꺼낸 'AI 풀스택' 해법

"값비싼 그래픽처리장치(GPU)를 늘리기보다 이미 확보한 자원을 효율적으로 활용해야 하는 시대가 왔습니다." 망고부스트가 인공지능(AI) 인프라 시장에 던진 메시지다. 데이터처리장치(DPU)와 추론 소프트웨어(SW), GPU·스토리지 서버를 하나의 시스템으로 결합해 AI 데이터센터(AIDC)의 병목을 줄이겠다는 전략이다. 망고부스트는 DPU로 사업을 시작했지만 현재는 GPU 서버와 스토리지 서버, AI 추론 SW를 아우르는 AI 풀스택 기업으로 영역을 넓히고 있다. 개별 부품 공급을 넘어 데이터센터에 즉시 구축할 수 있는 랙 단위 시스템과 서버리스 추론 서비스까지 제공하겠다는 구상이다. 이런 전략은 망고부스트가 내세운 '부스트 유어 데이터센터(Boost Your Data Center)' 목표와 맞닿았다. 데이터센터 장비를 계속 늘리기보다 GPU와 서버, 스토리지 사이 데이터 이동을 최적화해 기존 인프라 처리 성능을 최대한 끌어내겠다는 의미다. 망고부스트 기술은 김장우 대표가 이끈 서울대 고성능컴퓨터시스템연구실에서 출발했다. 김 대표는 선마이크로시스템즈와 오라클에서 중앙처리장치(CPU)·시스템 아키텍트로 근무한 뒤 서울대 교수로 재직하며 10년 이상 서버 가속 기술을 연구했다. 김 대표와 연구진은 CPU가 연산뿐 아니라 네트워크와 스토리지 관련 작업까지 처리하는 기존 서버 구조에 주목했다. CPU에 업무가 몰리면 GPU와 스토리지 사이 데이터 이동이 느려지고, 고가의 GPU가 연산을 수행하지 못한 채 대기하는 시간이 늘어날 수 있기 때문이다. 연구진은 CPU가 맡던 네트워크와 스토리지 작업을 별도 반도체로 분리하는 DPU 기술을 개발했다. 김 대표는 연구 결과를 실제 데이터센터 환경에 적용하기 위해 2022년 망고부스트를 설립했다. 망고부스트는 미국 델라웨어 법인으로 출발해 워싱턴주 벨뷰에 본사를 뒀다. 서울과 산호세, 토론토, 도쿄, 인도네시아 등에서도 연구개발과 제품화, 고객 대응 업무를 수행하고 있다. 조직은 연구개발 중심으로 이뤄졌다. 현재 125명 넘는 엔지니어를 확보했으며 전체 인력 약 75%를 연구개발 업무에 배치했다. 부스트X에서 알폰소·케사르까지…HW·SW 하나로 묶었다 망고부스트 사업 출발점은 자체 DPU '부스트X(Mango BoostX™)'다. 부스트X는 CPU가 담당하던 네트워크와 스토리지, 보안 관련 작업을 대신 처리해 CPU와 GPU가 핵심 연산에 집중하도록 돕는다. 고속 네트워크 기반 AI 인프라에는 '로키 AI(RoCE AI)'가 적용된다. 로키 AI는 통합 이더넷 환경에서 원격직접메모리접근(RDMA)을 지원하는 RoCE 통신을 가속해 GPU와 서버 사이 데이터 전송 과정에서 발생하는 병목을 줄이는 역할을 한다. 망고부스트는 부스트X가 AI 에이전트 인프라 조정 작업까지 지원하도록 기술을 확장하고 있다. AI 에이전트가 여러 모델과 데이터, 외부 도구를 오가는 과정에서 발생하는 네트워크·스토리지 처리를 CPU에서 분리한다는 구상이다. DPU 위에서는 AI 추론 SW 'LLM부스트(LLM Boost™)'가 작동한다. LLM부스트는 여러 GPU와 서버에 AI 추론 요청을 분배하고 각 GPU가 맡을 작업을 조정해 유휴 시간을 줄이는 역할을 한다. 망고부스트 인프라는 서로 다른 세대나 제조사 AI 가속기를 하나의 클러스터처럼 활용하도록 설계한 것도 특징이다. 기업이 기존 GPU를 폐기하거나 전체 시스템을 최신 장비로 교체하지 않고도 신규 GPU와 함께 운용할 수 있도록 지원한다. 특히 GPU 서버 '알폰소(Mango Alphonso™)'는 이들 기술을 완제품 형태로 묶은 제품이다. AMD GPU와 부스트X, LLM부스트를 하나의 서버에 탑재해 AI 모델 학습과 추론에 필요한 연산·통신 환경을 통합했다. 스토리지 서버 '케사르(Mango Kesar™)'는 GPU가 연산에 필요한 데이터를 제때 공급하도록 지원한다. 저장 용량과 처리 성능을 각각 확장할 수 있는 분리형 구조를 채택했으며, DPU가 GPU와 스토리지 사이 통신을 가속한다. 통합 관리 SW '망고 AI 센터(MAC)'는 여러 서버 노드의 GPU·메모리 사용률과 전력, 온도, 네트워크 상태를 한 화면에서 보여준다. 관리자는 GPU가 제대로 활용되고 있는지 확인하고 시스템에서 발생한 병목이나 이상 상태를 파악할 수 있다. 서울에 42U 랙 10대 구축…벤치마크 넘어 실서비스 검증 서울에 위치한 망고부스트 데이터센터에 들어서자 검은색 서버랙이 줄지어 있었다. 랙 전면에 설치된 노란색 패널에는 '부스트 유어 데이터센터(BOOST YOUR DATA CENTER)' 문구가 적혀 있었다. 망고부스트는 외부 사업자가 운영하는 코로케이션 데이터센터의 공간과 전력·냉각 설비를 빌려 자체 AI 시스템을 구축하고 있다. 이곳에는 AMD 'MI355X' GPU를 탑재한 42U 규격 서버랙 10대를 배치할 계획이다. 각 랙은 GPU 서버 알폰소와 스토리지 서버 케사르를 중심으로 구성됐다. 부스트X와 로키 AI가 GPU·서버·스토리지 사이 데이터 이동을 가속하고, LLM부스트가 여러 GPU에 AI 추론 작업을 분배하는 구조다. 망고 AI 센터 화면에서는 GPU 사용률과 메모리, 전력, 온도, 네트워크 상태를 실시간으로 확인할 수 있었다. 개별 장비가 아니라 랙 전체의 연산 자원과 데이터 흐름을 통합 관리하기 위한 체계다. 망고부스트가 자체 데이터센터를 구축한 이유는 개별 제품이 아닌 전체 시스템의 성능을 검증하기 위해서다. DPU나 SW만 공급하면 고객이 사용하는 GPU와 네트워크, 스토리지 구성에 따라 실제 성능이 달라질 수 있다. 회사는 직접 구성한 데이터센터에서 HW와 SW를 함께 조정해 벤치마크에서 확인한 성능을 실제 고객 환경에서도 재현할 방침이다. 고객이 도입 전에 시스템 성능을 검증하는 공간으로도 활용한다. 망고부스트는 국제 AI 시스템 성능평가 'MLPerf'를 통해 추론 기술력을 검증하고 있다. MLPerf 인퍼런스 5.0에서 AMD 'MI300X' GPU 32개와 LLM부스트를 결합한 시스템은 엔비디아 'H100' GPU 32개 기반 비교 시스템보다 비용 대비 처리량이 2.8배 높은 것으로 나타났다. 다만 해당 수치는 망고부스트가 적용한 GPU와 SW 가격을 기준으로 총비용을 산정한 결과다. 고객 장비 도입 가격과 전력·냉각 비용, 운영 조건에 따라 실제 경제성은 달라질 수 있다. MLPerf 인퍼런스 6.0에서는 미국과 한국에 설치된 세 종류 AMD GPU 24개를 하나의 추론 시스템으로 연결했다. 해당 시스템은 '라마2-70B' 모델을 구동해 95.5%의 확장 효율을 기록했다. 망고부스트는 이를 통해 지역과 세대가 다른 GPU도 하나의 AI 추론 자원으로 활용할 수 있다고 설명했다. 기존 GPU와 최신 GPU를 같이 사용하면 장비 교체와 데이터센터 증설 부담을 줄일 수 있다는 주장이다. 망고부스트는 이런 HW·SW 통합 역량을 서버리스 AI 추론 서비스로 확장했다. 최근 미국 샌프란시스코에서 열린 'AMD 어드밴싱 AI 2026(AMD Advancing AI 2026)'에서 서버리스 AI 추론 플랫폼 '망고 인퍼런스(Mango Inference)'를 상용 출시했다. 망고 인퍼런스는 개발자가 GPU와 서버를 직접 구축·운영하지 않고 응용프로그램인터페이스(API)를 통해 AI 모델을 이용하도록 지원한다. 망고부스트의 GPU 서버와 DPU, LLM부스트를 서비스 형태로 제공하는 식이다. 망고부스트는 행사에서 AMD 최신 AI 가속기를 기반으로 엔비디아 차세대 칩 기반 시스템을 웃도는 추론 성능을 구현했다고 밝혔다. 엔비디아 GPU에 의존하지 않고도 AI 모델을 더 빠르고 경제적으로 운영할 수 있다는 것이 회사 측 설명이다. 당시 배경훈 부총리 겸 과학기술정보통신부 장관과 리사 수 AMD 최고경영자(CEO)도 행사장에 마련된 망고부스트 부스를 방문해 망고 인퍼런스를 살펴봤다. 망고부스트에 따르면 배 부총리와 리사 수 CEO는 서버리스 AI 추론 플랫폼의 필요성과 활용 가능성에 공감의 뜻을 나타냈다. 강남 데이터센터는 망고 인퍼런스의 성능과 안정성을 검증하고 실제 고객 요청을 처리하는 기반 시설로 활용된다. 제품 시험장과 고객 검증 공간을 넘어 AI 연산 자원을 서비스 형태로 공급하는 거점 역할까지 맡는 셈이다. 망고부스트는 완성형 서버랙을 판매하거나 고객 데이터센터에 동일한 시스템을 구축하는 방식으로 사업을 확대할 방침이다. DPU와 서버 공급에서 출발해 랙 단위 통합 인프라와 서버리스 AI 추론 서비스까지 사업 구조를 넓히고 있다. 망고부스트는 "우리 과제는 벤치마크에서 확인한 성능을 실제 고객 서비스에서도 재현하는 것"이라며 "응답속도와 안정성뿐 아니라 전력·냉각 효율, 유지보수와 장애 대응 능력까지 입증하겠다"고 강조했다.

2026.08.19 14:41김미정 기자

망고부스트, 글로벌 웹사이트 오픈…'AI 풀스택' 사업 힘준다

망고부스트가 글로벌 웹사이트를 새롭게 열고 인공지능(AI) 인프라 사업 확대에 나섰다. AI 데이터센터를 넘어 에이전트 운영까지 지원하는 AI 풀스택 기업으로 사업 영역을 넓힌다는 구상이다. 망고부스트는 새 비전과 사업 전략을 담은 글로벌 웹사이트를 공식 오픈했다고 10일 밝혔다. 웹사이트를 통해 '초지능 최적화가 시작되는 곳'이라는 비전과 '전 세계를 위한 엔드투엔드 에이전틱 AI 인프라 구축'이라는 미션을 글로벌 고객과 파트너에게 공개했다. 이날 AI 추론 플랫폼 '망고 인퍼런스' 출시 계획도 발표됐다. 망고 인퍼런스는 개발자가 API 키를 연동하면 서버리스 환경에서 오픈소스 AI 모델별로 최적화된 추론 성능을 이용할 수 있도록 지원하는 서비스다. 망고부스트는 망고 인퍼런스를 자체 시스템과 결합해 AI 추론 과정 비용 대비 성능을 높일 방침이다. 현재 공식 출시에 앞서 프리런칭 사전 등록을 진행하고 있다. 신청자에게 서비스 오픈 소식과 관련 혜택을 뉴스레터로 제공할 예정이다. 새 웹사이트는 '플랫폼'과 '제품' '솔루션' '회사' '자료' 등으로 구성됐다. 망고부스트는 '실리콘부터 시스템까지' 전략 중심으로 AI 데이터센터 구축 기술부터 산업별 솔루션과 핵심 기술 경쟁력·글로벌 파트너십을 소개했다. 망고부스트는 대규모 AI 학습과 추론을 지원하는 데이터센터 인프라를 넘어 자율적으로 판단하고 협업하는 AI 에이전트 운영 환경까지 지원하는 것을 목표로 하고 있다. 컴퓨팅과 네트워크·소프트웨어를 연결한 엔드투엔드 AI 인프라를 구축해 글로벌 시장 경쟁력 강화를 목표로 삼았다. 망고부스트는 데이터처리장치(DPU)와 시스템 소프트웨어를 비롯해 AI 데이터센터용 하드웨어와 소프트웨어를 자체 개발하고 있다. AI 가속기와 네트워크·시스템 소프트웨어를 통합 설계·최적화해 AI 워크로드를 위한 개방형 네트워크 패브릭 플랫폼을 제공하고 있다. 김장우 망고부스트 대표는 "이번 글로벌 웹사이트 오픈은 단순한 홈페이지 리뉴얼이 아니라 우리 새로운 비전과 글로벌 전략을 고객과 공유하는 중요한 출발점"이라며 "AI 데이터센터를 넘어 에이전틱 AI 시대를 뒷받침하는 AI 인프라를 구축하고 '실리콘부터 시스템까지' 전략을 기반으로 고객들에게 최적의 AI 서비스를 제공할 것"이라고 강조했다.

2026.08.10 08:30김미정 기자

[유미's 픽] "엔비디아 쿠다 장벽 넘자"…AI 반도체, SW 경쟁 불붙었다

인공지능(AI) 반도체 기업들이 잇따라 모델 최적화 소프트웨어 역량 확보에 나서고 있다. 칩 설계만으로는 AI 인프라 경쟁에서 우위를 점하기 어려워지면서 한정된 컴퓨팅·메모리 자원으로 더 많은 연산을 처리하는 소프트웨어 기술의 가치가 부각되는 분위기다. 퀄컴은 지난달 24일 AI 소프트웨어 기업 모듈러를 약 40억 달러 규모 주식 거래로 인수하겠다고 발표했다. 모듈러는 AI 모델을 다양한 칩에서 실행할 수 있도록 돕는 소프트웨어 기업이다. 로이터는 이번 인수가 퀄컴을 엔비디아 '쿠다(CUDA)'와 경쟁하는 소프트웨어 플랫폼 경쟁에 올려놓는 움직임이라고 평가했다. 국내에서도 비슷한 흐름이 나타났다. AI 반도체 기업 리벨리온은 지난달 30일 AI 추론 최적화 기업 스퀴즈비츠 인수를 발표했다. 스퀴즈비츠는 대형 AI 모델을 더 적은 연산·메모리 자원으로 구동하기 위한 모델 압축과 양자화, 추론 최적화 기술을 보유한 기업이다. 리벨리온은 이번 인수를 통해 신경망처리장치(NPU) 하드웨어와 소프트웨어 최적화, 추론 서빙을 함께 제공하는 통합 AI 인프라 기업으로 사업 범위를 넓힌다는 계획이다. 업계 관계자는 "AI 반도체 기업 입장에선 자체 칩 위에서 고객 모델을 빠르고 안정적으로 실행시키는 역량이 영업 경쟁력과 직결된다"며 "칩을 공급하는 데 그치지 않고 실제 워크로드 성능까지 입증해야 하는 수요가 커진 셈"이라고 설명했다.AI 모델 최적화 기업 노타도 같은 날 퓨리오사AI의 데이터센터용 NPU 환경에서 LG AI연구원의 엑사원 236B 최적화 결과를 공개해 주목받았다. 엑사원 236B는 약 2360억 개 파라미터 규모의 대형 AI 모델로, 노타는 모델 크기를 약 71% 줄이면서도 주요 평가 항목에서 원본과 유사한 수준의 정확도를 유지했다. 데이터센터 인프라 최적화 기업 망고부스트도 AI 실행 효율 경쟁의 한 축으로 꼽힌다. 망고부스트는 데이터처리장치(DPU)를 앞세워 네트워킹·스토리지·보안 등 데이터센터 인프라 작업을 중앙처리장치(CPU)에서 분리하는 기술을 개발해왔다. AI 모델 자체를 줄이는 방식은 아니지만 GPU와 서버 자원을 AI 연산에 더 집중시키는 구조라는 점에서 모델 최적화 기업들과 같은 수요를 겨냥하고 있다는 평가를 받는다. 이처럼 AI 반도체 시장에서 성능 최적화 소프트웨어 기업들이 주목받게 된 것은 생성형 AI 활용 방식이 달라지면서 모델 실행 능력이 더욱 중요해지고 있어서다. 대형언어모델(LLM)이 단순 실험 단계를 넘어 서비스와 업무 시스템에 적용되면서, 기업들은 칩의 이론 성능보다 실제 운영 환경에서 응답 속도와 처리량을 유지하면서 비용을 낮추는 역량을 더 중시하고 있다. 하지만 모델 규모가 커질수록 기업들의 비용 부담은 갈수록 늘어나는 추세다. 특히 LLM은 파라미터 규모가 클수록 추론 과정에서 많은 메모리와 연산 자원을 필요로 한다. 여기에 긴 문맥 처리, 검색증강생성(RAG), AI 에이전트처럼 반복 호출이 많은 서비스가 늘면서 데이터 이동량과 지연시간 관리 부담도 함께 증가하고 있다. 이로 인해 메모리 효율도 AI 인프라 경쟁의 핵심 변수로 떠오르고 있다. 고성능 메모리 확보 경쟁이 이어지고 있지만 모든 기업이 충분한 GPU와 메모리를 확보하기는 어렵다. 같은 하드웨어라도 모델 압축, 양자화, 컴파일러, 런타임, 추론 서빙 구조에 따라 필요한 서버 수와 운영비가 달라질 수 있어 최적화 소프트웨어의 중요성이 커지고 있다.엔비디아가 GPU 시장에서 구축한 소프트웨어 생태계도 반도체 기업들의 움직임을 자극하고 있다. 엔비디아는 GPU 성능뿐 아니라 쿠다를 중심으로 한 개발자 생태계와 소프트웨어 도구를 앞세워 AI 인프라 시장에서 우위를 확보했다. 이에 후발 AI 반도체 기업들은 하드웨어 성능만으로 고객을 설득하기 어려워졌고, 모델 실행과 개발 편의성을 함께 제시해야 하는 압박을 받고 있다. 국내 기업들도 이 같은 구도 변화에 맞춰 전략을 조정하고 있다. 리벨리온은 스퀴즈비츠 인수로 NPU와 최적화 소프트웨어 결합에 나섰고, 퓨리오사AI는 노타와 협력해 대형 모델의 NPU 구동 가능성을 넓히고 있다. 망고부스트는 DPU 기반 인프라 오프로딩으로 데이터센터 내부 병목을 줄이는 방식으로 AI 실행 효율 경쟁에 참여하고 있다. 업계에선 AI가 데이터센터를 넘어 산업 현장으로 확산될수록 최적화 수요가 더 커질 것으로 예상했다. 자동차, 로봇, 제조 설비 등은 전력과 지연시간, 보안 요건이 데이터센터와 다른 만큼, 범용 모델을 그대로 배포하기보다 각 산업과 칩 환경에 맞게 조정하는 역량이 AI 인프라 기업의 경쟁력이 될 것으로 보인다. 이 같은 분위기 속에 AI 반도체 시장이 하드웨어 공급 경쟁을 넘어 소프트웨어 스택 경쟁으로 재편될 가능성도 높아지고 있다. 특히 칩 설계, 모델 최적화, 런타임, 추론 서빙, 인프라 오프로딩을 촘촘하게 묶어 제공하는 기업이 고객 확보에서 유리한 위치를 차지할 것으로 전망된다. 업계 관계자는 "AI 반도체 기업이 고객을 설득하려면 벤치마크 수치뿐 아니라 실제 모델을 자사 칩에서 얼마나 효율적으로 돌릴 수 있는지를 제시해야 한다"며 "소프트웨어 최적화 역량이 없는 칩은 데이터센터와 산업 현장에서 채택 속도가 느릴 수밖에 없다"고 말했다. 그러면서 "AI 인프라 비용 부담이 커질수록 기업들은 같은 서버 자원으로 더 많은 추론을 처리할 수 있는 기술을 찾게 된다"며 "앞으로 AI 반도체 경쟁력은 칩 성능과 함께 모델 최적화, 메모리 효율, 데이터센터 운영 효율을 함께 제공할 수 있느냐에 따라 갈릴 것"이라고 덧붙였다.

2026.07.01 10:53장유미 기자

[현장] LG CNS AI 테크 서밋 2026 개막…엔비디아부터 오픈AI까지 총출동

LG CNS가 엔비디아, 오픈AI, 팔란티어 등 국내외 주요 인공지능(AI) 반도체 기업 함께 실행 중심 기업형 AI 전략을 제시했다. 26일 LG CNS는 AI 기술과 비즈니스 전략을 공유하는 'LG CNS AI 테크 서밋 2026'을 서울 마곡 사이언스파크에서 개최했다. 이번 행사는 AI가 기업 전반에 확산되는 상황에서 안정적인 도입과 통제 체계 구축, 데이터 폭증에 따른 인프라 효율화, 자율적으로 판단하고 행동하는 에이전틱 AI 전환, 데이터 주권을 확보하는 소버린 AI 구축 방안을 모색하기 위해 마련됐다. 엔비디아, 팔란티어, 오픈AI, 시스코, IBM, HPE, VM웨어, 델 테크놀로지스 등 글로벌 테크 기업과 함께 망고부스트, 퓨리오사AI, 리벨리온 등 국내 AI 반도체 기업이 참여해 기술 전략과 실제 적용 사례를 공유했다. 김태훈 LG CNS 부사장은 "AI는 이제 가능성의 시대를 지나 실제 실행과 성과를 만들어내는 시대로 들어섰다"며 "이제 생성형 AI의 단순 응답을 넘어 업무 프로세스 안에서 스스로 계획하고 실행하는 '에이전틱 AI'로 빠르게 진화하고 있다고 설명했다. 동시에 기업 현장에서는 보안, 컴플라이언스, 거버넌스가 내재화된 '엔터프라이즈 AI'가 새로운 표준으로 자리 잡고 있다고 강조했다. 인프라 변화도 핵심 화두로 제시했다. 김 부사장은 학습뿐 아니라 추론의 중요성이 커지고 있으며, 추론 비용 효율화와 운영 자동화, 관측 가능성 확보가 기업 경쟁력을 좌우하고 있다고 진단했다. 또한 산업과 국가별 규제에 대응하는 프라이빗 AI와 소버린 AI가 주요 요구사항으로 부상하고 있다고 덧붙였다. 행사는 키노트를 시작으로 엔터프라이즈 AI와 거버넌스, AI 인프라 효율화, 에이전틱 AI와 데이터 관리, 소버린 AI 등 주제별 트랙으로 구성됐다. 각 세션은 현장 적용 중심의 인사이트 공유에 초점을 맞췄다. 진요한 AI센터장은 올해를 'AI실전 배치의 해'로 삼고 실제 운영 역량을 갖춘 소버린 엔터프라이즈로 전환하는 출발점이 되기를 기대한다고 밝혔다. 그는 "지난 1년의 변화가 그 이전 20년보다 더 컸다"고 진단하며, 2017년 트랜스포머 등장 이후 2025년 현재는 AI가 실제 산업과 물리적 세계까지 확장되는 전환점에 와 있다고 설명했다. 특히 생성형 AI 이후 모델이 비약적으로 똑똑해지면서 B2C 경험과 B2B 현실 사이의 기대 격차가 커졌다고 지적했다. 개인은 즉시 활용하지만 기업은 보안, 데이터 정합성, 시스템 연계 등 복합 요건을 충족해야 한다는 점을 짚었다. 그는 엔터프라이즈 AI의 핵심을 '모델, 데이터, 운영'의 통합 전략으로 제시했다. 단일 모델 선택이 아니라 경량 모델과 고성능 모델을 작업 특성에 따라 라우팅하는 전략이 필요하며, 데이터 연결과 권한 관리, 배치 전략이 곧 소버린 역량이라고 강조했다. "모델을 보유하는 것이 아니라, 모델을 실전에 배치해 운영할 수 있는 능력이 기업 경쟁력"이라고 말했다. LG CNS는 이에 대응해 자사 AI 플랫폼을 에이전틱 구조로 고도화하고, '에이전트웍스' 체계를 통해 기업용 에이전트 운영 환경을 제공하겠다는 구상도 밝혔다. 모델 라우팅, 다중 모델 운영, 기업 데이터 연계, 권한 통제, UI 설계까지 포함한 통합 운영체계를 지향한다는 설명이다. 인프라 전략도 구체화했다. 퍼블릭 클라우드와 온프레미스 이분법을 넘어 상황별 혼합 구조가 필요하며, 추론 수요 확대에 대응해 XPU 기반 서비스도 준비하고 있다고 밝혔다. GPU를 모두 직접 구매하는 방식이 아니라 온디맨드 서비스 활용 등 유연한 전략이 필요하다고 강조했다. 외교부, 경기도교육청 등과의 로드맵 기반 AX 프로젝트 사례도 소개하며 선도 사례가 캐즘을 넘는 전환점이 될 수 있다고 강조했다. 또한 글로벌 파트너와의 협업을 통해 기술과 운영 역량을 결합한 실행형 AI 전략을 확대하겠다고 밝혔다. 김 부사장은 "LG CNS는 AX 마스터 플랜 수립부터 데이터 플랫폼, 인프라 구축, 보안과 거버넌스, 운영 자동화까지 고객의 AI 라이프사이클 전 과정을 책임지는 AX 이노베이터"라며 "오늘 공유되는 아이디어와 사례가 각 기업의 다음 실행을 더 빠르고 안전하게 만드는 출발점이 되길 바란다"고 밝혔다.

2026.02.26 13:51남혁우 기자

퓨리오사AI, 망고부스트와 맞손...AI 데이터센터 공략 가속화

AI 반도체 기업 퓨리오사AI와 망고부스트가 차세대 AI 데이터센터 시장 공략을 위해 손을 잡았다. 퓨리오사AI는 망고부스트와 차세대 AI 인프라 기술 공동 개발을 위한 업무협약(MOU)을 체결했다고 15일 밝혔다. 양사는 이번 협약을 통해 인공지능 및 데이터센터 인프라 분야에서 상호 협력 체계를 구축하고, 기술 교류를 통해 데이터센터 시장에서의 경쟁력을 강화한다는 방침이다. 전 세계 기업들이 본격적으로 인공지능 인프라 구축을 통한 인공지능 전환(AX)에 나서고 있는 가운데 GPU의 높은 전력소비는 인공지능의 빠른 확산에 병목으로 작용하고 있다. 이에 실제 인공지능 서비스 환경이 요구하는 성능을 높은 효율로 구현할 수 있는 반도체 솔루션에 대한 시장 수요가 나날이 폭증하고 있다. 고효율 반도체는 인프라 전성비를 개선시킬 뿐 아니라 냉각 설비, 부지 선정 등 제약요건을 완화시키는 만큼 인프라 구축 시점을 단축시키고 인공지능 전환을 가속화한다. 퓨리오사AI는 AI 연산에 특화된 독자적인 칩 아키텍처 텐서 축약 프로세서(TCP)와 소프트웨어 스택 기술을 보유중이며, HBM을 탑재한 2세대 칩 RNGD(레니게이드) 양산을 이달 말 앞두고 있다. 망고부스트는 고성능 네트워킹에 특화된 DPU(데이터처리장치)및 AI 시스템 성능 최적화 기술을 보유 중이며, 이달 초 400GbE 급 성능을 가진 BoostX DPU 제품군의 양산을 시작했다. 세계적으로 기술력을 인정받은 딥테크 기업간의 협력이라는 점에서 세계적으로 대두되고 있는 인공지능 병목을 해소할 수 있을지 결과가 주목된다. 백준호 퓨리오사AI 대표는 “차세대 AI 데이터센터의 경쟁력은 고성능 AI 반도체와 네트워킹 칩을 얼마나 긴밀하고 효율적으로 결합하느냐에 달려 있다"며 "퓨리오사AI는 망고부스트와의 협력을 통해 대한민국 AI 인프라 기술의 새로운 가능성을 보여주겠다”라고 말했다. 김장우 망고부스트 대표는 “이번 협약은 대한민국을 대표하는 AI 반도체 스타트업 간의 전략적 결합이라는 점에서 의미가 크다”며 “양사의 혁신 기술을 결합해 효율적이고 지속가능한 차세대 데이터센터의 표준을 제시하겠다”고 밝혔다.

2026.01.15 10:19전화평 기자

하이퍼엑셀-망고부스트, 차세대 AI 인프라 고도화 MOU

AI반도체 스타트업 하이퍼엑셀(HyperAccel)은 망고부스트(MangoBoost)와 차세대 AI 인프라 고도화를 위한 기술 및·사업 협력을 목적으로 업무협약(MOU)을 체결했다고 23일 밝혔다. 이번 협약은 AI 워크로드 증가로 복잡해지는 데이터센터 환경에 대응하기 위한 것으로, 양사는 지속가능한 데이터센터 구현과 AI 인프라 성능 및 운영 효율 개선을 공동 목표로 설정하고 기술 교류와 공동 검증을 중심으로 단계적인 협력 체계를 구축할 계획이다. 하이퍼엑셀은 LLM(거대언어모델) 추론에 특화된 고효율 AI 반도체 LPU(LLM Processing Unit)와 소프트웨어 스택을 기반으로 차세대 AI 가속 인프라를 개발하고 있으며, 망고부스트는 DPU 기반 네트워크 및 시스템 최적화 기술을 통해 AI 인프라의 효율을 높이는 솔루션을 보유하고 있다. 양사의 기술 역량을 결합해 AI 인프라 전반에서 실질적인 운영 개선 효과를 제공하는 것을 목표로 한다. 하이퍼엑셀 김주영 대표이사는 “AI 인프라의 확산과 함께 데이터센터의 성능, 효율, 지속가능성은 더 이상 선택이 아닌 필수 과제가 됐다”며 “망고부스트와의 협력을 통해 AI 반도체부터 데이터센터 운영까지 아우르는 실질적인 기술·사업 성과를 만들어갈 것”이라고 밝혔다. 망고부스트 김장우 대표이사는 “이번 협약은 AI에 최적화된 차세대 데이터센터 인프라를 구현하기 위한 중요한 출발점”이라며 “양사의 기술 역량을 결합해 고객에게 더 높은 성능과 효율, 그리고 지속가능한 데이터센터 환경을 제공하겠다”고 말했다. 양사는 향후 국내외 AI 및 데이터센터 시장을 대상으로 협력을 단계적으로 확대할 계획이다.

2025.12.23 14:09전화평 기자

[AI는 지금] 초거대 AI 네트워크 전쟁…GPU 넘어 '연결'에 답 있다

거대 인공지능(AI) 모델의 발전이 데이터센터의 숨은 약점인 '네트워크'의 한계를 드러내고 있다. 그래픽처리장치(GPU) 성능 경쟁을 넘어 방대한 데이터를 효율적으로 처리하고 연결하는 기술이 AI 시대의 새로운 승부처로 떠올랐다. 19일 업계에 따르면 지난 20년간 GPU 등 AI 연산 장치의 성능은 6만 배 이상 향상됐지만 이들을 잇는 네트워크 기술 발전은 30배 수준에 그쳤다. AI 모델의 파라미터가 조 단위로 커지면서 소프트웨어의 요구 수준은 급격히 높아졌지만 이를 뒷받침할 하드웨어 인프라가 따라가지 못하는 '성능 불균형'이 심화된 탓이다. 이러한 병목 현상은 AI 시스템 전체의 효율 저하로 이어진다. 과거 데이터센터는 중앙처리장치(CPU)가 애플리케이션 구동 외에 가상화, 네트워킹, 스토리지, 보안 등 온갖 부가 작업을 떠안아왔다. 특정 연산에 특화되지 않은 CPU에 과부하가 걸리면서 데이터 처리의 비효율이 발생했다. AI 병목 해결사 'DPU'…엔비디아 독주 속 경쟁 본격화 이 문제를 해결할 대안으로 데이터처리장치(DPU)가 주목받고 있다. DPU는 CPU를 대신해 데이터센터 운영에 필요한 각종 입출력(I/O) 작업을 오프로드(Offload)하고 가속하는 특화 반도체다. 이를 통해 CPU는 본연의 연산에 집중하고 데이터센터는 ▲성능 향상 ▲운영 비용 절감 ▲비용 효율적 확장이라는 세 마리 토끼를 잡을 수 있다. 다만 DPU 시장은 현재 특정 기업의 기술 종속이라는 그림자에 갇혀 있다. AI 인프라 시장의 절대 강자인 엔비디아가 자사의 독자 규격 '인피니밴드(InfiniBand)'를 기반으로 GPU와 DPU를 함께 공급하며 폐쇄적인 생태계를 구축했기 때문이다. 이로 인해 고객사들은 다른 업체의 장비를 쓸 때 호환성 문제에 부딪혀 결국 엔비디아에 락인 된 상태다. 엔비디아의 독주 체제에 균열을 내려는 시도는 세계 곳곳에서 일어나고 있는 상황이다. AMD는 지난 2022년 DPU 스타트업 '펜산도'를 약 인수하며 추격에 나섰고 인텔 역시 '마운트 에반스'와 같은 인프라처리장치(IPU)로 경쟁에 뛰어들었다. 최근에는 중국이 정부와 빅테크의 지원에 힘입어 DPU 스타트업의 새로운 산실로 떠오르는 추세다. 중커위수(Yusur Tech), 윈바오즈넝(Jaguar Microsystems) 등 수많은 현지 기업들이 엔비디아의 아성에 도전하고 있다. 이러한 글로벌 격전지 속에서 국내에서는 망고부스트가 사실상 유일하게 이들과 어깨를 나란히 하는 플레이어로 평가받는다. 망고부스트, SW·HW '풀스택' 역량…'엠엘퍼프 1위'로 기술력 입증 지난 2022년 김장우 서울대 교수가 10년간의 연구 결과를 바탕으로 창업한 망고부스트는 개방형 표준 기술인 '이더넷' 기반의 DPU 솔루션으로 시장을 공략한다. 엔비디아의 폐쇄 생태계와 달리 망고부스트의 DPU는 이더넷을 지원하는 모든 장비와 호환돼 다양한 업체의 GPU나 신경망 처리장치(NPU)를 자유롭게 활용할 수 있는 점이 특징이다. 이 회사는 하드웨어와 소프트웨어를 모두 아우르는 '풀스택' 역량을 강점으로 내세운다. 주요 제품으로는 ▲DPU 카드인 'GPU부스트'와 '스토리지부스트' ▲DPU 칩렛·IP ▲AI 시스템 소프트웨어 'LLM부스트' 등이 있다. 망고부스트의 기술력은 객관적인 성능 지표로도 입증됐다. AI 추론 성능을 측정하는 '엠엘퍼프(MLPerf) 인퍼런스 5.0' 벤치마크에서 AMD 인스팅트 '엠아이300엑스(MI300X)' GPU 4개 노드를 활용해 '라마2 70B' 모델 기준 역대 최고 처리량을 기록했다. 이는 망고부스트의 소프트웨어가 멀티노드 환경에서 선형적인 성능 확장을 이끌어낸 결과다. 스토리지 성능을 비교하는 '엠엘퍼프 스토리지 1.0'에서도 경쟁사인 뉴타닉스, 해머스페이스 등을 압도하며 1위를 차지했다. 망고부스트는 더 적은 수의 스토리지 노드를 사용하고도 더 많은 GPU를 효율적으로 지원하며 높은 성능을 보였다. 창업 2년 만에 4천억원의 기업가치를 인정받은 망고부스트는 글로벌 빅테크와의 협력도 가속하고 있다. 칩 단에서는 프로그래머블 반도체(FPGA) 제조사인 AMD, 인텔과 협력하고 서버 단에서는 삼성전자, 슈퍼마이크로 등과 공동 마케팅을 진행 중이다. 미국 경제 전문지 포브스는 망고부스트의 성과를 두고 "엔비디아가 AI 분야에서 모든 주목을 받는 동안 AMD는 파트너인 망고부스트가 엠엘퍼프에 최초로 멀티노드 제출을 하는 등 업계 지원을 유치하며 진전을 이루고 있다"고 평가했다.

2025.07.20 09:59조이환 기자

망고부스트-AIC, 차세대 컴퓨팅 기술 '맞손'…"스토리지 판 바뀐다"

망고부스트와 AIC가 고성능 컴퓨팅 기술 개발을 위해 손잡고 데이터 처리 장치(DPU) 시스템 경쟁력 강화에 나선다. AIC는 지난 9일 대만 타이베이에서 열린 '컴퓨텍스 2025' 현장에서 망고부스트와 MOU를 맺고 DPU 기반 시스템 공동 개발에 협력하기로 했다고 15일 밝혔다. 이번 계약은 양사의 기술적 시너지를 극대화하는 데 초점이 맞춰졌다. AIC는 고밀도 서버와 스토리지 설계·제조 역량을 갖춘 글로벌 하드웨어 기업이다. 이번 협력에서는 AIC가 가진 하드웨어 아키텍처 및 시장 채널이 활용된다. 여기에 망고부스트가 보유한 DPU 기반 풀스택 솔루션이 결합돼 새로운 형태의 엔터프라이즈 인프라를 구축할 수 있는 기반이 마련됐다. DPU는 기존 CPU·GPU 기반 인프라가 처리하지 못했던 데이터 병목 문제를 해결할 수 있는 대안으로 주목받고 있다. 데이터 이동과 처리, 보안 기능을 하드웨어 수준에서 분리해 처리함으로써 전체 시스템의 효율성과 확장성을 동시에 높일 수 있는 구조다. 망고부스트는 범용 그래픽 처리장치(GPU)와 다양한 가속기·스토리지 장치와의 호환성을 전제로 한 DPU 시스템을 개발해 온 국내 스타트업이다. DPU를 단순 부속이 아닌 시스템 중심 기술로 확장하려는 시도를 지속해왔다. 이 회사는 지난 2022년 설립 이후 미국, 캐나다, 한국을 중심으로 빠르게 사업을 확장해왔다. 약 10년에 걸친 선행연구를 바탕으로 DPU 아키텍처 내재화를 진행해 왔다. 이번 AIC와의 협력은 기술력을 외부 생태계와 본격 연결하는 첫 단계로 해석된다. 이번 계약은 단순 기술 통합에 그치지 않고 공동 기술 개발 이후의 시장 확장까지 염두에 두고 있다. AIC의 글로벌 지사망을 통해 망고부스트는 미국·한국·유럽 시장을 비롯한 신규 파트너십 기회를 확보할 수 있을 것으로 전망된다. 망고부스트 김장우 대표는 "이번 협력은 더 지능적이고 효율적인 컴퓨팅 플랫폼을 시장에 제공하고자 하는 우리의 미션을 실현하는 중요한 계기가 될 것"이라며 "DPU 기술의 가능성을 AIC와 함께 글로벌 시장에서 확대해 나갈 수 있기를 기대한다"고 밝혔다. 데이비드 황 AIC 세일즈 및 마케팅 부사장은 "망고부스트와의 협력을 통해 서버 및 스토리지 기술의 한계를 넘어 새로운 고성능 솔루션을 창출할 수 있을 것"이라며 "급변하는 시장의 요구에 부응하는 혁신적 제품을 함께 선보이겠다"고 말했다.

2025.06.15 09:57조이환 기자

망고부스트, AMD 기반 멀티노드 AI 학습 첫 성공…'라마2 70B' 11분 만에 완료

망고부스트가 AMD의 고성능 GPU 32개를 활용해 초대형 AI 모델을 약 11분 만에 학습하는 데 성공했다. 복잡한 하드웨어와 소프트웨어를 하나로 최적화해, 특정 장비에 의존하지 않고도 빠르고 효율적인 AI 학습이 가능하다는 점을 입증했다. 망고부스트는 메타 '라마2 70B 로라' 모델을 10.91분 만에 학습하는 데 성공했다고 5일 밝혔다. 이번 결과는 ML퍼프 기준으로 최초의 AMD 그래픽처리장치(GPU) 기반 멀티노드 학습 성과다. GPU 간 통신 병목을 제거하면서도 성능 저하 없이 학습 시간을 대폭 단축한 사례다. 측정은 국제 AI 벤치마크인 'ML퍼프 트레이닝 5.0(MLPerf Training v5.0)'에서 AMD '인스팅트 MI300X' 그래픽처리장치 32개를 활용했다. 특히 이번 학습에는 일부 파라미터만 미세조정하는 로라 방식이 적용돼 거대 모델에 대해 짧은 시간 안에 고효율 파인튜닝이 가능함을 입증했다. 망고부스트는 온프레미스와 클라우드 환경을 모두 지원하는 유연한 구조를 갖춰 특정 벤더나 하드웨어 환경에 얽매이지 않고 확장 가능한 학습 인프라를 구현하고 있다. 망고부스트는 자체 개발한 '망고 LLM부스트' 소프트웨어와 '망고 GPU부스트 RDMA' 통신 솔루션을 통해 모델 병렬화와 자동 튜닝, 배치 최적화, 메모리 조정 등을 통합 제공하는 시스템을 구현했다. 'LLM부스트'는 다양한 대규모 언어모델을 안정적으로 운영할 수 있도록 설계됐다. 'GPU부스트 RDMA'는 수천 개 큐피 환경에서도 성능 저하 없이 통신을 유지할 수 있도록 설계돼 있다. ML퍼프 제출 기준으로는 노드 1개에서 2개, 4개로 구성된 멀티노드 환경 모두에서 95~100% 수준의 선형적 성능 확장성을 달성했다. 통신 병목을 해소한 원격 직접 메모리 접근(RDMA) 기반 구조와 GPU 최적화 소프트웨어가 병렬 학습 효율을 실질적으로 끌어올린 것으로 해석된다. 이번 학습 결과는 AMD 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택과의 통합을 기반으로 한다. 망고부스트는 이 환경에 맞춰 'LLM부스트'의 연산, 메모리, 네트워크 제어 구조를 최적화했고 'MI300X'의 메모리 대역폭과 성능을 극대화하는 데 초점을 맞췄다. 망고부스트는 이번 벤치마크 외에도 '라마2 7B', '라마3.1 8B' 모델에 대한 내부 학습 벤치마크를 통해 유사한 성능을 확보해온 것으로 알려졌다. 이 성능은 실제 온프레미스나 클라우드 환경 모두에서 재현 가능하며 일반화된 학습 효율을 보장한다는 점에서 상용화 가능성도 입증된 상태다. ML퍼프와 ML커먼스의 창립자인 데이비드 캔터는 "망고부스트의 첫 ML퍼프 트레이닝 결과는 매우 인상적"이라며 "'MI300X' 단일 노드부터 4노드까지의 확장된 학습 성능은 현대 AI 가속기의 성능을 온전히 활용하려면 소프트웨어 스택의 최적화가 얼마나 중요한지를 다시 입증한 사례"라고 밝혔다. 김장우 망고부스트 대표는 "이번 ML퍼프 벤치마크에서 우리는 소프트웨어와 하드웨어의 통합 최적화를 통해 벤더 종속 없이도 대규모 LLM 학습을 효율적으로 수행할 수 있는 해답을 제시했다"며 "이번 결과는 우리 기술이 실제 데이터센터 운영 환경에서 충분히 확장 가능하다는 점을 보여주는 이정표"라고 밝혔다.

2025.06.05 16:40조이환 기자

"AI 인프라 대안 나올까"…망고부스트, 엔비디아 넘은 추론 성과 공개

망고부스트가 업계 표준 성능 테스트에서 인공지능(AI) 추론(inference) 분야의 신기록을 세우며 거대언어모델(LLM) 시대에 대응할 수 있는 새로운 기술적 대안을 제시했다. AI 데이터센터의 성능, 비용 효율성, 개방형 아키텍처를 두루 갖춘 조합으로 가능성을 입증하며 시장의 주목을 받고 있다. 망고부스트는 지난 2일 미국 워싱턴주 벨뷰에서 실시된 ML퍼프 인퍼런스(MLPerf Inference) v5.0 테스트에서 자사의 AI 추론 소프트웨어 '망고 LLM부스트'와 AMD 'MI300X' 그래픽처리장치(GPU) 조합으로 라마2-70B(Llama2-70B) 모델 오프라인 추론 부문에서 가장 높은 성능을 기록했다고 5일 밝혔다. 이번 테스트는 총 32개의 'MI300X' GPU를 4개 서버 노드에 분산한 다중 노드 구성에서 이뤄졌으며 'MI300X' 기반 시스템의 첫 ML퍼프 멀티노드 제출 사례로도 주목된다. 망고부스트는 '라마2-70B' 오프라인 추론 시나리오에서 초당 10만3천182 토큰(TPS)을 처리해 이전 최고였던 8만2천749 TPS 기록을 넘어섰다. 서버 시나리오에서도 9만3천39 TPS를 기록해 엔비디아 'H100' 기반 시스템 성능을 뛰어넘는 성과를 입증했다. 비용 구조 개선 효과도 눈에 띈다. 'MI300X' GPU는 H100 대비 최대 62% 저렴한 가격에 공급되며 '망고 LLM부스트'와의 조합으로 동일 GPU 수 기준 2.8배 더 높은 가격 대비 성능을 기록했다. 일각에서는 이를 고성능 AI 인프라의 비용 구조를 재편할 수 있는 가능성으로 보고 있다. 이 같은 성과는 AMD와의 긴밀한 협업을 통해 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택을 최적화한 결과다. 망고부스트는 'MI300X'의 성능을 극대화하는 동시에 단일 노드부터 멀티 노드 클러스터까지 유연하게 확장 가능한 AI 추론 솔루션을 구현했다. 클라우드 환경에서도 경쟁 우위가 확인됐다. 망고부스트는 AWS의 'A100' 기반 환경에서 오픈소스 프레임워크 '오라마(Ollama)' 대비 최대 138배 빠른 AI 추론 성능을 보였으며 허깅페이스의 '텍스트 생성 추론(TGI)'와 vLLM을 포함한 주요 프레임워크와 비교해 성능 및 비용 측면에서 모두 우위를 입증했다. 특히 라마3.1-70B, 큐원-32B, 딥시크-R1-디스틸 등 최신 LLM 모델을 대상으로도 성능 저하 없이 일관된 결과를 유지했다. 이는 다양한 워크로드에 대응 가능한 범용 추론 솔루션으로서의 강점을 보여준다. '망고LLM부스트'는 50개 이상의 오픈 거대언어모델(LLM)을 지원하며 도커 기반의 원라인(one-line) 배포 방식, 오픈AI 애플리케이션 프로그램 인터페이스(API) 호환성 등을 제공해 기존 시스템을 유지하면서도 손쉽게 도입 가능하다. 아마존웹서비스(AWS), 애저(Azure), 구글클라우드플랫폼(GCP) 등 주요 퍼블릭 클라우드뿐 아니라 보안 요구가 높은 온프레미스 환경에서도 통합 운용이 용이하다. 기술적 차별성은 자체 개발한 하드웨어 IP에 기반한다. 이 회사의 데이터처리장치(DPU)는 GPU, 스토리지, 네트워크 가속기 간 데이터 흐름을 최적화해 AI 인프라의 성능과 비용 효율을 동시에 높이는 역할을 한다. 관련 기술은 30건 이상의 특허로 보호받고 있으며 국제 컴퓨터 아키텍처 학술대회(ISCA) 등에서 발표된 10여 년간의 연구 성과를 바탕으로 개발됐다. 망고부스트는 현재 미국, 캐나다, 한국 등을 거점으로 빠르게 사업을 확장하고 있으며 6천만 달러(한화 약 810억원) 이상의 투자를 유치한 상태다. 당초에는 고성능 DPU 반도체로 주목받았지만 창업 초기부터 AI 인프라 전반을 아우르는 풀스택 시스템 솔루션 기업으로의 전환을 준비해왔다. 이번 '망고LLM부스트'는 이러한 소프트웨어 역량의 대표적인 결과물이다. 김장우 망고부스트 대표는 "이번 ML퍼프 결과는 글로벌 AI 인프라 시장에서 망고부스트의 기술력이 공식적으로 인정받았다는 의미"라며 "DPU 기반 하드웨어와 LLM 추론 최적화 소프트웨어가 결합된 풀스택 솔루션으로 AI 데이터센터의 성능과 비용 문제를 동시에 해결해 나가겠다"고 말했다.

2025.04.05 13:52조이환 기자

망고부스트, AI 추론 최적화 소프트웨어 '망고 LLM부스트' 출시

망고부스트는 AI 추론 성능을 향상시키는 시스템 최적화 소프트웨어 '망고 LLM부스트(Mango LLMBoost)'를 공식 출시했다고 16일 밝혔다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 프리패칭 기술, 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 활용한다. 이를 통해 경쟁사 LLM 추론 엔진 대비 최대 12.6배 성능 향상과 92%의 비용 절감을 달성했다. 망고 LLM부스트은 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포, 오픈 API 호환성이 강점이다. 엔비디아와 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM-v4 등 다양한 채팅 및 멀티모달 모델에서 검증됐다. 또 단일 추론 서버에서 자동 리소스 할당을 통한 효율적 배포와 관리를 가능하게 한다. 망고부스트의 웹 서빙 및 스트리밍 API를 포함한 종단 간(End-to-End) 배포 옵션을 제공하며, GPU 및 실행 모델에 따라 최적의 구성을 자동으로 선택한다. OpenAI API를 사용하는 기존 AI 애플리케이션에 손쉽게 통합할 수 있어서 편리하다. 망고부스트 관계자는 "망고 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다"고 밝혔다. 김장우 망고부스트 CEO는 "망고 LLM부스트의 출시는 시스템 레벨의 성능과 효율성을 향상시키기 위한 망고부스트의 지속적인 노력을 보여주는 중요한 이정표이다"라며 "당사의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해왔으며, 망고 LLM부스트는 하드웨어 및 소프트웨어 레이어를 모두 최적화함으로써, AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다"고 전했다.

2025.01.16 14:30이나리 기자

Prev 1 Next