검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'LLM 부스트'통합검색 결과 입니다. (5건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"GPU 증설보다 효율 따져야"…망고부스트가 꺼낸 'AI 풀스택' 해법

"값비싼 그래픽처리장치(GPU)를 늘리기보다 이미 확보한 자원을 효율적으로 활용해야 하는 시대가 왔습니다." 망고부스트가 인공지능(AI) 인프라 시장에 던진 메시지다. 데이터처리장치(DPU)와 추론 소프트웨어(SW), GPU·스토리지 서버를 하나의 시스템으로 결합해 AI 데이터센터(AIDC)의 병목을 줄이겠다는 전략이다. 망고부스트는 DPU로 사업을 시작했지만 현재는 GPU 서버와 스토리지 서버, AI 추론 SW를 아우르는 AI 풀스택 기업으로 영역을 넓히고 있다. 개별 부품 공급을 넘어 데이터센터에 즉시 구축할 수 있는 랙 단위 시스템과 서버리스 추론 서비스까지 제공하겠다는 구상이다. 이런 전략은 망고부스트가 내세운 '부스트 유어 데이터센터(Boost Your Data Center)' 목표와 맞닿았다. 데이터센터 장비를 계속 늘리기보다 GPU와 서버, 스토리지 사이 데이터 이동을 최적화해 기존 인프라 처리 성능을 최대한 끌어내겠다는 의미다. 망고부스트 기술은 김장우 대표가 이끈 서울대 고성능컴퓨터시스템연구실에서 출발했다. 김 대표는 선마이크로시스템즈와 오라클에서 중앙처리장치(CPU)·시스템 아키텍트로 근무한 뒤 서울대 교수로 재직하며 10년 이상 서버 가속 기술을 연구했다. 김 대표와 연구진은 CPU가 연산뿐 아니라 네트워크와 스토리지 관련 작업까지 처리하는 기존 서버 구조에 주목했다. CPU에 업무가 몰리면 GPU와 스토리지 사이 데이터 이동이 느려지고, 고가의 GPU가 연산을 수행하지 못한 채 대기하는 시간이 늘어날 수 있기 때문이다. 연구진은 CPU가 맡던 네트워크와 스토리지 작업을 별도 반도체로 분리하는 DPU 기술을 개발했다. 김 대표는 연구 결과를 실제 데이터센터 환경에 적용하기 위해 2022년 망고부스트를 설립했다. 망고부스트는 미국 델라웨어 법인으로 출발해 워싱턴주 벨뷰에 본사를 뒀다. 서울과 산호세, 토론토, 도쿄, 인도네시아 등에서도 연구개발과 제품화, 고객 대응 업무를 수행하고 있다. 조직은 연구개발 중심으로 이뤄졌다. 현재 125명 넘는 엔지니어를 확보했으며 전체 인력 약 75%를 연구개발 업무에 배치했다. 부스트X에서 알폰소·케사르까지…HW·SW 하나로 묶었다 망고부스트 사업 출발점은 자체 DPU '부스트X(Mango BoostX™)'다. 부스트X는 CPU가 담당하던 네트워크와 스토리지, 보안 관련 작업을 대신 처리해 CPU와 GPU가 핵심 연산에 집중하도록 돕는다. 고속 네트워크 기반 AI 인프라에는 '로키 AI(RoCE AI)'가 적용된다. 로키 AI는 통합 이더넷 환경에서 원격직접메모리접근(RDMA)을 지원하는 RoCE 통신을 가속해 GPU와 서버 사이 데이터 전송 과정에서 발생하는 병목을 줄이는 역할을 한다. 망고부스트는 부스트X가 AI 에이전트 인프라 조정 작업까지 지원하도록 기술을 확장하고 있다. AI 에이전트가 여러 모델과 데이터, 외부 도구를 오가는 과정에서 발생하는 네트워크·스토리지 처리를 CPU에서 분리한다는 구상이다. DPU 위에서는 AI 추론 SW 'LLM부스트(LLM Boost™)'가 작동한다. LLM부스트는 여러 GPU와 서버에 AI 추론 요청을 분배하고 각 GPU가 맡을 작업을 조정해 유휴 시간을 줄이는 역할을 한다. 망고부스트 인프라는 서로 다른 세대나 제조사 AI 가속기를 하나의 클러스터처럼 활용하도록 설계한 것도 특징이다. 기업이 기존 GPU를 폐기하거나 전체 시스템을 최신 장비로 교체하지 않고도 신규 GPU와 함께 운용할 수 있도록 지원한다. 특히 GPU 서버 '알폰소(Mango Alphonso™)'는 이들 기술을 완제품 형태로 묶은 제품이다. AMD GPU와 부스트X, LLM부스트를 하나의 서버에 탑재해 AI 모델 학습과 추론에 필요한 연산·통신 환경을 통합했다. 스토리지 서버 '케사르(Mango Kesar™)'는 GPU가 연산에 필요한 데이터를 제때 공급하도록 지원한다. 저장 용량과 처리 성능을 각각 확장할 수 있는 분리형 구조를 채택했으며, DPU가 GPU와 스토리지 사이 통신을 가속한다. 통합 관리 SW '망고 AI 센터(MAC)'는 여러 서버 노드의 GPU·메모리 사용률과 전력, 온도, 네트워크 상태를 한 화면에서 보여준다. 관리자는 GPU가 제대로 활용되고 있는지 확인하고 시스템에서 발생한 병목이나 이상 상태를 파악할 수 있다. 서울에 42U 랙 10대 구축…벤치마크 넘어 실서비스 검증 서울에 위치한 망고부스트 데이터센터에 들어서자 검은색 서버랙이 줄지어 있었다. 랙 전면에 설치된 노란색 패널에는 '부스트 유어 데이터센터(BOOST YOUR DATA CENTER)' 문구가 적혀 있었다. 망고부스트는 외부 사업자가 운영하는 코로케이션 데이터센터의 공간과 전력·냉각 설비를 빌려 자체 AI 시스템을 구축하고 있다. 이곳에는 AMD 'MI355X' GPU를 탑재한 42U 규격 서버랙 10대를 배치했다. 각 랙은 GPU 서버 알폰소와 스토리지 서버 케사르를 중심으로 구성됐다. 부스트X와 로키 AI가 GPU·서버·스토리지 사이 데이터 이동을 가속하고, LLM부스트가 여러 GPU에 AI 추론 작업을 분배하는 구조다. 망고 AI 센터 화면에서는 GPU 사용률과 메모리, 전력, 온도, 네트워크 상태를 실시간으로 확인할 수 있었다. 개별 장비가 아니라 랙 전체의 연산 자원과 데이터 흐름을 통합 관리하기 위한 체계다. 망고부스트가 자체 데이터센터를 구축한 이유는 개별 제품이 아닌 전체 시스템의 성능을 검증하기 위해서다. DPU나 SW만 공급하면 고객이 사용하는 GPU와 네트워크, 스토리지 구성에 따라 실제 성능이 달라질 수 있다. 회사는 직접 구성한 데이터센터에서 HW와 SW를 함께 조정해 벤치마크에서 확인한 성능을 실제 고객 환경에서도 재현할 방침이다. 고객이 도입 전에 시스템 성능을 검증하는 공간으로도 활용한다. 망고부스트는 국제 AI 시스템 성능평가 'MLPerf'를 통해 추론 기술력을 검증하고 있다. MLPerf 인퍼런스 5.0에서 AMD 'MI300X' GPU 32개와 LLM부스트를 결합한 시스템은 엔비디아 'H100' GPU 32개 기반 비교 시스템보다 비용 대비 처리량이 2.8배 높은 것으로 나타났다. 다만 해당 수치는 망고부스트가 적용한 GPU와 SW 가격을 기준으로 총비용을 산정한 결과다. 고객 장비 도입 가격과 전력·냉각 비용, 운영 조건에 따라 실제 경제성은 달라질 수 있다. MLPerf 인퍼런스 6.0에서는 미국과 한국에 설치된 세 종류 AMD GPU 24개를 하나의 추론 시스템으로 연결했다. 해당 시스템은 '라마2-70B' 모델을 구동해 95.5%의 확장 효율을 기록했다. 망고부스트는 이를 통해 지역과 세대가 다른 GPU도 하나의 AI 추론 자원으로 활용할 수 있다고 설명했다. 기존 GPU와 최신 GPU를 같이 사용하면 장비 교체와 데이터센터 증설 부담을 줄일 수 있다는 주장이다. 망고부스트는 이런 HW·SW 통합 역량을 서버리스 AI 추론 서비스로 확장했다. 최근 미국 샌프란시스코에서 열린 'AMD 어드밴싱 AI 2026(AMD Advancing AI 2026)'에서 서버리스 AI 추론 플랫폼 '망고 인퍼런스(Mango Inference)'를 상용 출시했다. 망고 인퍼런스는 개발자가 GPU와 서버를 직접 구축·운영하지 않고 응용프로그램인터페이스(API)를 통해 AI 모델을 이용하도록 지원한다. 망고부스트의 GPU 서버와 DPU, LLM부스트를 서비스 형태로 제공하는 식이다. 망고부스트는 행사에서 AMD 최신 AI 가속기를 기반으로 엔비디아 차세대 칩 기반 시스템을 웃도는 추론 성능을 구현했다고 밝혔다. 엔비디아 GPU에 의존하지 않고도 AI 모델을 더 빠르고 경제적으로 운영할 수 있다는 것이 회사 측 설명이다. 당시 배경훈 부총리 겸 과학기술정보통신부 장관과 리사 수 AMD 최고경영자(CEO)도 행사장에 마련된 망고부스트 부스를 방문해 망고 인퍼런스를 살펴봤다. 망고부스트에 따르면 배 부총리와 리사 수 CEO는 서버리스 AI 추론 플랫폼의 필요성과 활용 가능성에 공감의 뜻을 나타냈다. 강남 데이터센터는 망고 인퍼런스의 성능과 안정성을 검증하고 실제 고객 요청을 처리하는 기반 시설로 활용된다. 제품 시험장과 고객 검증 공간을 넘어 AI 연산 자원을 서비스 형태로 공급하는 거점 역할까지 맡는 셈이다. 망고부스트는 완성형 서버랙을 판매하거나 고객 데이터센터에 동일한 시스템을 구축하는 방식으로 사업을 확대할 방침이다. DPU와 서버 공급에서 출발해 랙 단위 통합 인프라와 서버리스 AI 추론 서비스까지 사업 구조를 넓히고 있다. 망고부스트는 "우리 과제는 벤치마크에서 확인한 성능을 실제 고객 서비스에서도 재현하는 것"이라며 "응답속도와 안정성뿐 아니라 전력·냉각 효율, 유지보수와 장애 대응 능력까지 입증하겠다"고 강조했다.

2026.08.19 14:41김미정 기자

하이퍼엑셀-망고부스트, 차세대 AI 인프라 고도화 MOU

AI반도체 스타트업 하이퍼엑셀(HyperAccel)은 망고부스트(MangoBoost)와 차세대 AI 인프라 고도화를 위한 기술 및·사업 협력을 목적으로 업무협약(MOU)을 체결했다고 23일 밝혔다. 이번 협약은 AI 워크로드 증가로 복잡해지는 데이터센터 환경에 대응하기 위한 것으로, 양사는 지속가능한 데이터센터 구현과 AI 인프라 성능 및 운영 효율 개선을 공동 목표로 설정하고 기술 교류와 공동 검증을 중심으로 단계적인 협력 체계를 구축할 계획이다. 하이퍼엑셀은 LLM(거대언어모델) 추론에 특화된 고효율 AI 반도체 LPU(LLM Processing Unit)와 소프트웨어 스택을 기반으로 차세대 AI 가속 인프라를 개발하고 있으며, 망고부스트는 DPU 기반 네트워크 및 시스템 최적화 기술을 통해 AI 인프라의 효율을 높이는 솔루션을 보유하고 있다. 양사의 기술 역량을 결합해 AI 인프라 전반에서 실질적인 운영 개선 효과를 제공하는 것을 목표로 한다. 하이퍼엑셀 김주영 대표이사는 “AI 인프라의 확산과 함께 데이터센터의 성능, 효율, 지속가능성은 더 이상 선택이 아닌 필수 과제가 됐다”며 “망고부스트와의 협력을 통해 AI 반도체부터 데이터센터 운영까지 아우르는 실질적인 기술·사업 성과를 만들어갈 것”이라고 밝혔다. 망고부스트 김장우 대표이사는 “이번 협약은 AI에 최적화된 차세대 데이터센터 인프라를 구현하기 위한 중요한 출발점”이라며 “양사의 기술 역량을 결합해 고객에게 더 높은 성능과 효율, 그리고 지속가능한 데이터센터 환경을 제공하겠다”고 말했다. 양사는 향후 국내외 AI 및 데이터센터 시장을 대상으로 협력을 단계적으로 확대할 계획이다.

2025.12.23 14:09전화평 기자

망고부스트, AMD 기반 멀티노드 AI 학습 첫 성공…'라마2 70B' 11분 만에 완료

망고부스트가 AMD의 고성능 GPU 32개를 활용해 초대형 AI 모델을 약 11분 만에 학습하는 데 성공했다. 복잡한 하드웨어와 소프트웨어를 하나로 최적화해, 특정 장비에 의존하지 않고도 빠르고 효율적인 AI 학습이 가능하다는 점을 입증했다. 망고부스트는 메타 '라마2 70B 로라' 모델을 10.91분 만에 학습하는 데 성공했다고 5일 밝혔다. 이번 결과는 ML퍼프 기준으로 최초의 AMD 그래픽처리장치(GPU) 기반 멀티노드 학습 성과다. GPU 간 통신 병목을 제거하면서도 성능 저하 없이 학습 시간을 대폭 단축한 사례다. 측정은 국제 AI 벤치마크인 'ML퍼프 트레이닝 5.0(MLPerf Training v5.0)'에서 AMD '인스팅트 MI300X' 그래픽처리장치 32개를 활용했다. 특히 이번 학습에는 일부 파라미터만 미세조정하는 로라 방식이 적용돼 거대 모델에 대해 짧은 시간 안에 고효율 파인튜닝이 가능함을 입증했다. 망고부스트는 온프레미스와 클라우드 환경을 모두 지원하는 유연한 구조를 갖춰 특정 벤더나 하드웨어 환경에 얽매이지 않고 확장 가능한 학습 인프라를 구현하고 있다. 망고부스트는 자체 개발한 '망고 LLM부스트' 소프트웨어와 '망고 GPU부스트 RDMA' 통신 솔루션을 통해 모델 병렬화와 자동 튜닝, 배치 최적화, 메모리 조정 등을 통합 제공하는 시스템을 구현했다. 'LLM부스트'는 다양한 대규모 언어모델을 안정적으로 운영할 수 있도록 설계됐다. 'GPU부스트 RDMA'는 수천 개 큐피 환경에서도 성능 저하 없이 통신을 유지할 수 있도록 설계돼 있다. ML퍼프 제출 기준으로는 노드 1개에서 2개, 4개로 구성된 멀티노드 환경 모두에서 95~100% 수준의 선형적 성능 확장성을 달성했다. 통신 병목을 해소한 원격 직접 메모리 접근(RDMA) 기반 구조와 GPU 최적화 소프트웨어가 병렬 학습 효율을 실질적으로 끌어올린 것으로 해석된다. 이번 학습 결과는 AMD 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택과의 통합을 기반으로 한다. 망고부스트는 이 환경에 맞춰 'LLM부스트'의 연산, 메모리, 네트워크 제어 구조를 최적화했고 'MI300X'의 메모리 대역폭과 성능을 극대화하는 데 초점을 맞췄다. 망고부스트는 이번 벤치마크 외에도 '라마2 7B', '라마3.1 8B' 모델에 대한 내부 학습 벤치마크를 통해 유사한 성능을 확보해온 것으로 알려졌다. 이 성능은 실제 온프레미스나 클라우드 환경 모두에서 재현 가능하며 일반화된 학습 효율을 보장한다는 점에서 상용화 가능성도 입증된 상태다. ML퍼프와 ML커먼스의 창립자인 데이비드 캔터는 "망고부스트의 첫 ML퍼프 트레이닝 결과는 매우 인상적"이라며 "'MI300X' 단일 노드부터 4노드까지의 확장된 학습 성능은 현대 AI 가속기의 성능을 온전히 활용하려면 소프트웨어 스택의 최적화가 얼마나 중요한지를 다시 입증한 사례"라고 밝혔다. 김장우 망고부스트 대표는 "이번 ML퍼프 벤치마크에서 우리는 소프트웨어와 하드웨어의 통합 최적화를 통해 벤더 종속 없이도 대규모 LLM 학습을 효율적으로 수행할 수 있는 해답을 제시했다"며 "이번 결과는 우리 기술이 실제 데이터센터 운영 환경에서 충분히 확장 가능하다는 점을 보여주는 이정표"라고 밝혔다.

2025.06.05 16:40조이환 기자

"AI 인프라 대안 나올까"…망고부스트, 엔비디아 넘은 추론 성과 공개

망고부스트가 업계 표준 성능 테스트에서 인공지능(AI) 추론(inference) 분야의 신기록을 세우며 거대언어모델(LLM) 시대에 대응할 수 있는 새로운 기술적 대안을 제시했다. AI 데이터센터의 성능, 비용 효율성, 개방형 아키텍처를 두루 갖춘 조합으로 가능성을 입증하며 시장의 주목을 받고 있다. 망고부스트는 지난 2일 미국 워싱턴주 벨뷰에서 실시된 ML퍼프 인퍼런스(MLPerf Inference) v5.0 테스트에서 자사의 AI 추론 소프트웨어 '망고 LLM부스트'와 AMD 'MI300X' 그래픽처리장치(GPU) 조합으로 라마2-70B(Llama2-70B) 모델 오프라인 추론 부문에서 가장 높은 성능을 기록했다고 5일 밝혔다. 이번 테스트는 총 32개의 'MI300X' GPU를 4개 서버 노드에 분산한 다중 노드 구성에서 이뤄졌으며 'MI300X' 기반 시스템의 첫 ML퍼프 멀티노드 제출 사례로도 주목된다. 망고부스트는 '라마2-70B' 오프라인 추론 시나리오에서 초당 10만3천182 토큰(TPS)을 처리해 이전 최고였던 8만2천749 TPS 기록을 넘어섰다. 서버 시나리오에서도 9만3천39 TPS를 기록해 엔비디아 'H100' 기반 시스템 성능을 뛰어넘는 성과를 입증했다. 비용 구조 개선 효과도 눈에 띈다. 'MI300X' GPU는 H100 대비 최대 62% 저렴한 가격에 공급되며 '망고 LLM부스트'와의 조합으로 동일 GPU 수 기준 2.8배 더 높은 가격 대비 성능을 기록했다. 일각에서는 이를 고성능 AI 인프라의 비용 구조를 재편할 수 있는 가능성으로 보고 있다. 이 같은 성과는 AMD와의 긴밀한 협업을 통해 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택을 최적화한 결과다. 망고부스트는 'MI300X'의 성능을 극대화하는 동시에 단일 노드부터 멀티 노드 클러스터까지 유연하게 확장 가능한 AI 추론 솔루션을 구현했다. 클라우드 환경에서도 경쟁 우위가 확인됐다. 망고부스트는 AWS의 'A100' 기반 환경에서 오픈소스 프레임워크 '오라마(Ollama)' 대비 최대 138배 빠른 AI 추론 성능을 보였으며 허깅페이스의 '텍스트 생성 추론(TGI)'와 vLLM을 포함한 주요 프레임워크와 비교해 성능 및 비용 측면에서 모두 우위를 입증했다. 특히 라마3.1-70B, 큐원-32B, 딥시크-R1-디스틸 등 최신 LLM 모델을 대상으로도 성능 저하 없이 일관된 결과를 유지했다. 이는 다양한 워크로드에 대응 가능한 범용 추론 솔루션으로서의 강점을 보여준다. '망고LLM부스트'는 50개 이상의 오픈 거대언어모델(LLM)을 지원하며 도커 기반의 원라인(one-line) 배포 방식, 오픈AI 애플리케이션 프로그램 인터페이스(API) 호환성 등을 제공해 기존 시스템을 유지하면서도 손쉽게 도입 가능하다. 아마존웹서비스(AWS), 애저(Azure), 구글클라우드플랫폼(GCP) 등 주요 퍼블릭 클라우드뿐 아니라 보안 요구가 높은 온프레미스 환경에서도 통합 운용이 용이하다. 기술적 차별성은 자체 개발한 하드웨어 IP에 기반한다. 이 회사의 데이터처리장치(DPU)는 GPU, 스토리지, 네트워크 가속기 간 데이터 흐름을 최적화해 AI 인프라의 성능과 비용 효율을 동시에 높이는 역할을 한다. 관련 기술은 30건 이상의 특허로 보호받고 있으며 국제 컴퓨터 아키텍처 학술대회(ISCA) 등에서 발표된 10여 년간의 연구 성과를 바탕으로 개발됐다. 망고부스트는 현재 미국, 캐나다, 한국 등을 거점으로 빠르게 사업을 확장하고 있으며 6천만 달러(한화 약 810억원) 이상의 투자를 유치한 상태다. 당초에는 고성능 DPU 반도체로 주목받았지만 창업 초기부터 AI 인프라 전반을 아우르는 풀스택 시스템 솔루션 기업으로의 전환을 준비해왔다. 이번 '망고LLM부스트'는 이러한 소프트웨어 역량의 대표적인 결과물이다. 김장우 망고부스트 대표는 "이번 ML퍼프 결과는 글로벌 AI 인프라 시장에서 망고부스트의 기술력이 공식적으로 인정받았다는 의미"라며 "DPU 기반 하드웨어와 LLM 추론 최적화 소프트웨어가 결합된 풀스택 솔루션으로 AI 데이터센터의 성능과 비용 문제를 동시에 해결해 나가겠다"고 말했다.

2025.04.05 13:52조이환 기자

망고부스트, AI 추론 최적화 소프트웨어 '망고 LLM부스트' 출시

망고부스트는 AI 추론 성능을 향상시키는 시스템 최적화 소프트웨어 '망고 LLM부스트(Mango LLMBoost)'를 공식 출시했다고 16일 밝혔다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 프리패칭 기술, 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 활용한다. 이를 통해 경쟁사 LLM 추론 엔진 대비 최대 12.6배 성능 향상과 92%의 비용 절감을 달성했다. 망고 LLM부스트은 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포, 오픈 API 호환성이 강점이다. 엔비디아와 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM-v4 등 다양한 채팅 및 멀티모달 모델에서 검증됐다. 또 단일 추론 서버에서 자동 리소스 할당을 통한 효율적 배포와 관리를 가능하게 한다. 망고부스트의 웹 서빙 및 스트리밍 API를 포함한 종단 간(End-to-End) 배포 옵션을 제공하며, GPU 및 실행 모델에 따라 최적의 구성을 자동으로 선택한다. OpenAI API를 사용하는 기존 AI 애플리케이션에 손쉽게 통합할 수 있어서 편리하다. 망고부스트 관계자는 "망고 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다"고 밝혔다. 김장우 망고부스트 CEO는 "망고 LLM부스트의 출시는 시스템 레벨의 성능과 효율성을 향상시키기 위한 망고부스트의 지속적인 노력을 보여주는 중요한 이정표이다"라며 "당사의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해왔으며, 망고 LLM부스트는 하드웨어 및 소프트웨어 레이어를 모두 최적화함으로써, AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다"고 전했다.

2025.01.16 14:30이나리 기자