ZDNet 검색 페이지

'부스트'통합검색 결과 입니다. (9건)

[AI는 지금] 초거대 AI 네트워크 전쟁…GPU 넘어 '연결'에 답 있다

거대 인공지능(AI) 모델의 발전이 데이터센터의 숨은 약점인 '네트워크'의 한계를 드러내고 있다. 그래픽처리장치(GPU) 성능 경쟁을 넘어 방대한 데이터를 효율적으로 처리하고 연결하는 기술이 AI 시대의 새로운 승부처로 떠올랐다. 19일 업계에 따르면 지난 20년간 GPU 등 AI 연산 장치의 성능은 6만 배 이상 향상됐지만 이들을 잇는 네트워크 기술 발전은 30배 수준에 그쳤다. AI 모델의 파라미터가 조 단위로 커지면서 소프트웨어의 요구 수준은 급격히 높아졌지만 이를 뒷받침할 하드웨어 인프라가 따라가지 못하는 '성능 불균형'이 심화된 탓이다. 이러한 병목 현상은 AI 시스템 전체의 효율 저하로 이어진다. 과거 데이터센터는 중앙처리장치(CPU)가 애플리케이션 구동 외에 가상화, 네트워킹, 스토리지, 보안 등 온갖 부가 작업을 떠안아왔다. 특정 연산에 특화되지 않은 CPU에 과부하가 걸리면서 데이터 처리의 비효율이 발생했다. AI 병목 해결사 'DPU'…엔비디아 독주 속 경쟁 본격화 이 문제를 해결할 대안으로 데이터처리장치(DPU)가 주목받고 있다. DPU는 CPU를 대신해 데이터센터 운영에 필요한 각종 입출력(I/O) 작업을 오프로드(Offload)하고 가속하는 특화 반도체다. 이를 통해 CPU는 본연의 연산에 집중하고 데이터센터는 ▲성능 향상 ▲운영 비용 절감 ▲비용 효율적 확장이라는 세 마리 토끼를 잡을 수 있다. 다만 DPU 시장은 현재 특정 기업의 기술 종속이라는 그림자에 갇혀 있다. AI 인프라 시장의 절대 강자인 엔비디아가 자사의 독자 규격 '인피니밴드(InfiniBand)'를 기반으로 GPU와 DPU를 함께 공급하며 폐쇄적인 생태계를 구축했기 때문이다. 이로 인해 고객사들은 다른 업체의 장비를 쓸 때 호환성 문제에 부딪혀 결국 엔비디아에 락인 된 상태다. 엔비디아의 독주 체제에 균열을 내려는 시도는 세계 곳곳에서 일어나고 있는 상황이다. AMD는 지난 2022년 DPU 스타트업 '펜산도'를 약 인수하며 추격에 나섰고 인텔 역시 '마운트 에반스'와 같은 인프라처리장치(IPU)로 경쟁에 뛰어들었다. 최근에는 중국이 정부와 빅테크의 지원에 힘입어 DPU 스타트업의 새로운 산실로 떠오르는 추세다. 중커위수(Yusur Tech), 윈바오즈넝(Jaguar Microsystems) 등 수많은 현지 기업들이 엔비디아의 아성에 도전하고 있다. 이러한 글로벌 격전지 속에서 국내에서는 망고부스트가 사실상 유일하게 이들과 어깨를 나란히 하는 플레이어로 평가받는다. 망고부스트, SW·HW '풀스택' 역량…'엠엘퍼프 1위'로 기술력 입증 지난 2022년 김장우 서울대 교수가 10년간의 연구 결과를 바탕으로 창업한 망고부스트는 개방형 표준 기술인 '이더넷' 기반의 DPU 솔루션으로 시장을 공략한다. 엔비디아의 폐쇄 생태계와 달리 망고부스트의 DPU는 이더넷을 지원하는 모든 장비와 호환돼 다양한 업체의 GPU나 신경망 처리장치(NPU)를 자유롭게 활용할 수 있는 점이 특징이다. 이 회사는 하드웨어와 소프트웨어를 모두 아우르는 '풀스택' 역량을 강점으로 내세운다. 주요 제품으로는 ▲DPU 카드인 'GPU부스트'와 '스토리지부스트' ▲DPU 칩렛·IP ▲AI 시스템 소프트웨어 'LLM부스트' 등이 있다. 망고부스트의 기술력은 객관적인 성능 지표로도 입증됐다. AI 추론 성능을 측정하는 '엠엘퍼프(MLPerf) 인퍼런스 5.0' 벤치마크에서 AMD 인스팅트 '엠아이300엑스(MI300X)' GPU 4개 노드를 활용해 '라마2 70B' 모델 기준 역대 최고 처리량을 기록했다. 이는 망고부스트의 소프트웨어가 멀티노드 환경에서 선형적인 성능 확장을 이끌어낸 결과다. 스토리지 성능을 비교하는 '엠엘퍼프 스토리지 1.0'에서도 경쟁사인 뉴타닉스, 해머스페이스 등을 압도하며 1위를 차지했다. 망고부스트는 더 적은 수의 스토리지 노드를 사용하고도 더 많은 GPU를 효율적으로 지원하며 높은 성능을 보였다. 창업 2년 만에 4천억원의 기업가치를 인정받은 망고부스트는 글로벌 빅테크와의 협력도 가속하고 있다. 칩 단에서는 프로그래머블 반도체(FPGA) 제조사인 AMD, 인텔과 협력하고 서버 단에서는 삼성전자, 슈퍼마이크로 등과 공동 마케팅을 진행 중이다. 미국 경제 전문지 포브스는 망고부스트의 성과를 두고 "엔비디아가 AI 분야에서 모든 주목을 받는 동안 AMD는 파트너인 망고부스트가 엠엘퍼프에 최초로 멀티노드 제출을 하는 등 업계 지원을 유치하며 진전을 이루고 있다"고 평가했다.

2025.07.20 09:59조이환

망고부스트-AIC, 차세대 컴퓨팅 기술 '맞손'…"스토리지 판 바뀐다"

망고부스트와 AIC가 고성능 컴퓨팅 기술 개발을 위해 손잡고 데이터 처리 장치(DPU) 시스템 경쟁력 강화에 나선다. AIC는 지난 9일 대만 타이베이에서 열린 '컴퓨텍스 2025' 현장에서 망고부스트와 MOU를 맺고 DPU 기반 시스템 공동 개발에 협력하기로 했다고 15일 밝혔다. 이번 계약은 양사의 기술적 시너지를 극대화하는 데 초점이 맞춰졌다. AIC는 고밀도 서버와 스토리지 설계·제조 역량을 갖춘 글로벌 하드웨어 기업이다. 이번 협력에서는 AIC가 가진 하드웨어 아키텍처 및 시장 채널이 활용된다. 여기에 망고부스트가 보유한 DPU 기반 풀스택 솔루션이 결합돼 새로운 형태의 엔터프라이즈 인프라를 구축할 수 있는 기반이 마련됐다. DPU는 기존 CPU·GPU 기반 인프라가 처리하지 못했던 데이터 병목 문제를 해결할 수 있는 대안으로 주목받고 있다. 데이터 이동과 처리, 보안 기능을 하드웨어 수준에서 분리해 처리함으로써 전체 시스템의 효율성과 확장성을 동시에 높일 수 있는 구조다. 망고부스트는 범용 그래픽 처리장치(GPU)와 다양한 가속기·스토리지 장치와의 호환성을 전제로 한 DPU 시스템을 개발해 온 국내 스타트업이다. DPU를 단순 부속이 아닌 시스템 중심 기술로 확장하려는 시도를 지속해왔다. 이 회사는 지난 2022년 설립 이후 미국, 캐나다, 한국을 중심으로 빠르게 사업을 확장해왔다. 약 10년에 걸친 선행연구를 바탕으로 DPU 아키텍처 내재화를 진행해 왔다. 이번 AIC와의 협력은 기술력을 외부 생태계와 본격 연결하는 첫 단계로 해석된다. 이번 계약은 단순 기술 통합에 그치지 않고 공동 기술 개발 이후의 시장 확장까지 염두에 두고 있다. AIC의 글로벌 지사망을 통해 망고부스트는 미국·한국·유럽 시장을 비롯한 신규 파트너십 기회를 확보할 수 있을 것으로 전망된다. 망고부스트 김장우 대표는 "이번 협력은 더 지능적이고 효율적인 컴퓨팅 플랫폼을 시장에 제공하고자 하는 우리의 미션을 실현하는 중요한 계기가 될 것"이라며 "DPU 기술의 가능성을 AIC와 함께 글로벌 시장에서 확대해 나갈 수 있기를 기대한다"고 밝혔다. 데이비드 황 AIC 세일즈 및 마케팅 부사장은 "망고부스트와의 협력을 통해 서버 및 스토리지 기술의 한계를 넘어 새로운 고성능 솔루션을 창출할 수 있을 것"이라며 "급변하는 시장의 요구에 부응하는 혁신적 제품을 함께 선보이겠다"고 말했다.

2025.06.15 09:57조이환

망고부스트, AMD 기반 멀티노드 AI 학습 첫 성공…'라마2 70B' 11분 만에 완료

망고부스트가 AMD의 고성능 GPU 32개를 활용해 초대형 AI 모델을 약 11분 만에 학습하는 데 성공했다. 복잡한 하드웨어와 소프트웨어를 하나로 최적화해, 특정 장비에 의존하지 않고도 빠르고 효율적인 AI 학습이 가능하다는 점을 입증했다. 망고부스트는 메타 '라마2 70B 로라' 모델을 10.91분 만에 학습하는 데 성공했다고 5일 밝혔다. 이번 결과는 ML퍼프 기준으로 최초의 AMD 그래픽처리장치(GPU) 기반 멀티노드 학습 성과다. GPU 간 통신 병목을 제거하면서도 성능 저하 없이 학습 시간을 대폭 단축한 사례다. 측정은 국제 AI 벤치마크인 'ML퍼프 트레이닝 5.0(MLPerf Training v5.0)'에서 AMD '인스팅트 MI300X' 그래픽처리장치 32개를 활용했다. 특히 이번 학습에는 일부 파라미터만 미세조정하는 로라 방식이 적용돼 거대 모델에 대해 짧은 시간 안에 고효율 파인튜닝이 가능함을 입증했다. 망고부스트는 온프레미스와 클라우드 환경을 모두 지원하는 유연한 구조를 갖춰 특정 벤더나 하드웨어 환경에 얽매이지 않고 확장 가능한 학습 인프라를 구현하고 있다. 망고부스트는 자체 개발한 '망고 LLM부스트' 소프트웨어와 '망고 GPU부스트 RDMA' 통신 솔루션을 통해 모델 병렬화와 자동 튜닝, 배치 최적화, 메모리 조정 등을 통합 제공하는 시스템을 구현했다. 'LLM부스트'는 다양한 대규모 언어모델을 안정적으로 운영할 수 있도록 설계됐다. 'GPU부스트 RDMA'는 수천 개 큐피 환경에서도 성능 저하 없이 통신을 유지할 수 있도록 설계돼 있다. ML퍼프 제출 기준으로는 노드 1개에서 2개, 4개로 구성된 멀티노드 환경 모두에서 95~100% 수준의 선형적 성능 확장성을 달성했다. 통신 병목을 해소한 원격 직접 메모리 접근(RDMA) 기반 구조와 GPU 최적화 소프트웨어가 병렬 학습 효율을 실질적으로 끌어올린 것으로 해석된다. 이번 학습 결과는 AMD 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택과의 통합을 기반으로 한다. 망고부스트는 이 환경에 맞춰 'LLM부스트'의 연산, 메모리, 네트워크 제어 구조를 최적화했고 'MI300X'의 메모리 대역폭과 성능을 극대화하는 데 초점을 맞췄다. 망고부스트는 이번 벤치마크 외에도 '라마2 7B', '라마3.1 8B' 모델에 대한 내부 학습 벤치마크를 통해 유사한 성능을 확보해온 것으로 알려졌다. 이 성능은 실제 온프레미스나 클라우드 환경 모두에서 재현 가능하며 일반화된 학습 효율을 보장한다는 점에서 상용화 가능성도 입증된 상태다. ML퍼프와 ML커먼스의 창립자인 데이비드 캔터는 "망고부스트의 첫 ML퍼프 트레이닝 결과는 매우 인상적"이라며 "'MI300X' 단일 노드부터 4노드까지의 확장된 학습 성능은 현대 AI 가속기의 성능을 온전히 활용하려면 소프트웨어 스택의 최적화가 얼마나 중요한지를 다시 입증한 사례"라고 밝혔다. 김장우 망고부스트 대표는 "이번 ML퍼프 벤치마크에서 우리는 소프트웨어와 하드웨어의 통합 최적화를 통해 벤더 종속 없이도 대규모 LLM 학습을 효율적으로 수행할 수 있는 해답을 제시했다"며 "이번 결과는 우리 기술이 실제 데이터센터 운영 환경에서 충분히 확장 가능하다는 점을 보여주는 이정표"라고 밝혔다.

2025.06.05 16:40조이환

네이버, 'ADVoost 쇼핑' 공개…광고 집행 전 과정이 AI로 자동화

네이버(대표 최수연)는 AI로 쇼핑 광고 캠페인 효율을 높이고 운영 부담은 낮춰주는 '애드부스트 쇼핑(이하 ADVoost shopping)'을 오픈 베타로 선보인다고 22일 밝혔다. 네이버는 전 서비스에 AI의 결합을 통한 새로운 경험을 만들어 나가고 있고, 이 중 광고 분야에 AI를 결합해 혁신적인 광고 경험을 광고주와 사용자 모두에 제공하기 위한 기술 솔루션 브랜드 'ADVoost'를 지난해 공개했다. AI 기반 정교한 데이터 분석을 통해 타겟 설정 및 확장, 소재 생성, 쇼핑·검색 광고 운영 등 네이버의 다양한 광고 관리 영역을 자동화하며 광고주들의 편의와 성과 극대화를 목표하고 있다. 이번에 선보이는 'ADVoost Shopping'은 쇼핑 광고주들에게 특화된 것으로, ▲광고 캠페인 설정 및 운영 ▲광고주 상품 연동 및 소재 선별 ▲광고 게재 위치 선정 및 노출 등 전 과정을 AI로 자동화한 것이 특징이다. 네이버 쇼핑에 상품을 등록해 판매하는 사업자라면 누구나 활용 가능하다. 기존에는 쇼핑 광고 집행을 희망하는 광고주가 직접 캠페인 내용 상세 설정, 타겟 사용자 분석, 소재 교체 등 제반 사항을 일일이 관리해야 했으므로, 광고 운영 대상이 일부 상품에 한정됐다. 하지만, ADVoost Shopping을 활용할 경우 AI가 네이버 쇼핑에 등록한 광고주의 전체 상품을 자동 연동하고, 최적의 광고 소재를 선별 적합한 사용자에게 노출해, 주력 상품은 물론 그동안 광고로 관리하기 어려웠던 세부 상품군까지 관심 있을 사용자들에게 도달 가능해진다. 광고주의 별다른 운용 부담 없이도 더욱 높은 광고 효과를 누릴 수 있게 되는 것이다. ADVoost Shopping은 그동안 검색·디스플레이 광고를 각각 관리해야 했던 부담을 없애고, 각 영역을 구분하지 않고 통합 지면으로 운영하여 적합한 곳에 쇼핑 광고 소재를 자동 노출한다. 실제로 ▲통합검색 ▲쇼핑검색 등 검색 지면은 물론, ▲네이버 메인 ▲네이버 콘텐츠(카페, 블로그 등) 서비스 ▲네이버 뉴스 등 디스플레이 지면까지 모두 아우르기 때문에 보다 폭 넓은 노출 효과를 기대할 수 있다. AI가 쇼핑 사용자 특성을 고려하여, 광고주 브랜드 및 제품에 관여도 높은 사용자의 정보 탐색 동선에 맞춰 자연스러운 노출 접점을 이룰 수 있도록 관리하는 식이다. 네이버는 이번 ADVoost Shopping 정식 공개 전 약 1개월 기간 동안 가전, 화장품, 패션, 식음료 등 산업 광고주 대상 CBT(Closed Beta Test)를 진행한 바 있다. 40개 사 광고주가 참여한 사전 테스트에서, 전체 광고주 평균 ROAS(광고 비용 대비 성과) 및 CVR(구매 전환률) 등이 ADVoost Shopping 도입 이전 대비 유의미하게 향상된 결과를 기록한 것으로 나타났다. 관련 CBT 성과 및 참여 광고주 호평에 힘 입어 이번 오픈 베타로 전환하게 됐다. 네이버 광고 프로덕트 전연국 리더는 “쇼핑 광고 특화 솔루션 'ADVoost Shopping'은 AI가 광고주의 광고 소재 및 캠페인 운영 효율과 성과를 높여주며 복잡도 높아진 디지털 광고 환경에 선제 대응하도록 지원한다”며 “네이버 서비스 내 쇼핑 광고 영역을 우선 대상으로 선보인 후 향후 외부 매체를 포함 다양한 범주로 광고 노출을 확대해 나갈 예정”이라고 밝혔다. 한편, 네이버는 이번 ADVoost Shopping을 필두로 더욱 다양한 솔루션을 순차 도입 및 최적화한다. ▲검색 연관도 높은 광고 콘텐츠를 제공하는 애드부스트 서치(ADVoost Search) ▲광고 소재를 자동 생성해 주는 애드부스트 크리에이티브(ADVoost Creative) ▲사용자 행태를 이해하는 AI 엔진을 기반으로 타겟팅을 자동 확장하는 애드부스트 오디언스(ADVoost Audience) 등 관련 솔루션 전반을 지속 고도화할 계획이다.

2025.05.22 22:13안희정

인텔 "코어 울트라 시리즈2, 보급형 워크스테이션에도 적합"

[타이베이(대만)=권봉석 기자] 인텔이 최근 수요가 늘어나고 있는 보급형 워크스테이션 시장에서 자사 코어 울트라 시리즈2(애로우레이크/루나레이크) 프로세서가 내장 그래픽 성능 향상, 독립 소프트웨어업체(ISV)와 협업을 통한 성능 향상 등 강점을 지녔다고 강조했다. 또 메모리 작동클록을 높여 게임 성능을 향상시키는 새 기능인 '200S 부스트'도 소개했다. 인텔은 아시아 최대 IT·컴퓨팅 전시회 '컴퓨텍스 2025' 개막 전날인 19일 오전(이하 현지시간) 대만 르메르디앙 타이베이에서 각국 기자단을 대상으로 코어 울트라2 프로세서 관련 브리핑을 진행했다. 이날 행사에서는 올 연말을 시작으로 내년에 걸쳐 출시될 차세대 코어 프로세서 '팬서레이크'(Panther Lake) 엔지니어링 샘플을 이용한 기능 시연도 함께 진행됐다. "워크스테이션 위한 성능·확장성 확보" 로저 챈들러 인텔 크리에이터·워크스테이션 솔루션 부문 부사장은 "코어 울트라 200S 프로세서는 AMD 라이젠 9 9950X 프로세서 대비 다중작업 성능은 최대 13%, 소모전력 125W 기준 전력 효율성은 11% 앞서며 주요 ISV와 협업을 통해 영상 처리 속도, 레이트레이싱 적용 렌더링 속도를 끌어올렸다"고 설명했다. 이어 "코어 울트라 200S 기반 워크스테이션은 최대 DDR5-6400 256GB ECC 메모리 탑재, 인텔 v프로 기술을 이용한 관리성·보안 강화, 전문가용 각종 영상 코덱 가속 등 이점을 지니고 있는 플랫폼"이라고 밝혔다. 시장조사업체 IDC에 따르면 전체 워크스테이션 시장 중 60%를 노트북 제품이 차지하며 이 중 씬앤라이트(슬림형) 노트북 성장세가 늘어나고 있는 추세다. 로저 챈들러 부사장은 "코어 울트라 200H는 전 세대 대비 AI 성능을 강화한 아크 140T GPU를 활용해 예전에는 외장 GPU가 필요한 작업을 처리할 수 있으며 ISV와 협력을 통해 최적화를 진행한 결과 전 세대 대비 최대 2배 가량 성능이 향상됐다"고 설명했다. "'200S 부스트' 기능 적용시 게임 성능 최대 10% 향상" 인텔이 최근 적용에 나선 '200S 부스트' 기능은 코어 울트라 200S-K 프로세서에 내장된 4개 타일 중 메모리를 관리하는 SOC 타일의 작동 속도는 최대 600MHz까지, 메모리 작동 클록은 최대 800MHz까지 높인다. Z890 칩셋 기반 메인보드에 최근 제조사가 배포한 UEFI 펌웨어를 적용하면 이용할 수 있다. 이 기능을 활용해 오버클록시에도 프로세서 보증기간(3년)은 그대로 유지된다. 킹스톤, 커세어 등 고성능 메모리 제작사도 이 기능 구현을 위해 인텔과 협력했다. 로버트 할록(Robert Hallock) 인텔 클라이언트 AI 및 기술 마케팅 총괄은 "200S 부스트 기능은 코어 울트라 200S에 내장된 SOC 타일의 잠재력을 끌어낼 수 있다. 이 기능을 활성화하면 '어쌔신 크리드' 등 주요 게임에서 최소 5%, 최대 10%까지 초당 프레임 수가 향상된다"고 설명했다. "팬서레이크 양산, 예정대로 진행중"...실제 시연도 공개 이날 인텔은 올 연말 출시할 차세대 코어 프로세서 '팬서레이크' 구동 시연도 함께 진행했다. 영상 편집 프로그램 '다빈치 리졸브', 사진 고해상도 변환(업스케일) 소프트웨어 '토파즈 포토 AI' 등 콘텐츠 제작 프로그램과 함께 거대언어모델(LLM) 작동 장면도 공개했다. 다빈치 리졸브 스튜디오 20에서 AI 기반 자동 색보정·4K 업스케일링이 실시간으로 구현됐다. LLM 구동 속도 역시 향상됐다는 것이 인텔 설명이다. 로저 챈들러 부사장은 "팬서레이크는 코어 울트라 200V의 전력 효율성, 코어 울트라 200H/HX/S의 고성능 등 장점을 한데 모은 프로세서로 차세대 GPU를 탑재해 AI와 3D 성능을 동시에 강화할 것"이라고 설명했다. 이어 "팬서레이크는 노트북부터 데스크톱, 모바일 워크스테이션까지 확장이 가능한 프로세서이며 예정대로 올 하반기 양산을 시작해 내년 초부터 본격적으로 보급될 것"이라고 덧붙였다.

2025.05.20 08:42권봉석

"AI 인프라 대안 나올까"…망고부스트, 엔비디아 넘은 추론 성과 공개

망고부스트가 업계 표준 성능 테스트에서 인공지능(AI) 추론(inference) 분야의 신기록을 세우며 거대언어모델(LLM) 시대에 대응할 수 있는 새로운 기술적 대안을 제시했다. AI 데이터센터의 성능, 비용 효율성, 개방형 아키텍처를 두루 갖춘 조합으로 가능성을 입증하며 시장의 주목을 받고 있다. 망고부스트는 지난 2일 미국 워싱턴주 벨뷰에서 실시된 ML퍼프 인퍼런스(MLPerf Inference) v5.0 테스트에서 자사의 AI 추론 소프트웨어 '망고 LLM부스트'와 AMD 'MI300X' 그래픽처리장치(GPU) 조합으로 라마2-70B(Llama2-70B) 모델 오프라인 추론 부문에서 가장 높은 성능을 기록했다고 5일 밝혔다. 이번 테스트는 총 32개의 'MI300X' GPU를 4개 서버 노드에 분산한 다중 노드 구성에서 이뤄졌으며 'MI300X' 기반 시스템의 첫 ML퍼프 멀티노드 제출 사례로도 주목된다. 망고부스트는 '라마2-70B' 오프라인 추론 시나리오에서 초당 10만3천182 토큰(TPS)을 처리해 이전 최고였던 8만2천749 TPS 기록을 넘어섰다. 서버 시나리오에서도 9만3천39 TPS를 기록해 엔비디아 'H100' 기반 시스템 성능을 뛰어넘는 성과를 입증했다. 비용 구조 개선 효과도 눈에 띈다. 'MI300X' GPU는 H100 대비 최대 62% 저렴한 가격에 공급되며 '망고 LLM부스트'와의 조합으로 동일 GPU 수 기준 2.8배 더 높은 가격 대비 성능을 기록했다. 일각에서는 이를 고성능 AI 인프라의 비용 구조를 재편할 수 있는 가능성으로 보고 있다. 이 같은 성과는 AMD와의 긴밀한 협업을 통해 라데온 오픈 컴퓨트(ROCm) 소프트웨어 스택을 최적화한 결과다. 망고부스트는 'MI300X'의 성능을 극대화하는 동시에 단일 노드부터 멀티 노드 클러스터까지 유연하게 확장 가능한 AI 추론 솔루션을 구현했다. 클라우드 환경에서도 경쟁 우위가 확인됐다. 망고부스트는 AWS의 'A100' 기반 환경에서 오픈소스 프레임워크 '오라마(Ollama)' 대비 최대 138배 빠른 AI 추론 성능을 보였으며 허깅페이스의 '텍스트 생성 추론(TGI)'와 vLLM을 포함한 주요 프레임워크와 비교해 성능 및 비용 측면에서 모두 우위를 입증했다. 특히 라마3.1-70B, 큐원-32B, 딥시크-R1-디스틸 등 최신 LLM 모델을 대상으로도 성능 저하 없이 일관된 결과를 유지했다. 이는 다양한 워크로드에 대응 가능한 범용 추론 솔루션으로서의 강점을 보여준다. '망고LLM부스트'는 50개 이상의 오픈 거대언어모델(LLM)을 지원하며 도커 기반의 원라인(one-line) 배포 방식, 오픈AI 애플리케이션 프로그램 인터페이스(API) 호환성 등을 제공해 기존 시스템을 유지하면서도 손쉽게 도입 가능하다. 아마존웹서비스(AWS), 애저(Azure), 구글클라우드플랫폼(GCP) 등 주요 퍼블릭 클라우드뿐 아니라 보안 요구가 높은 온프레미스 환경에서도 통합 운용이 용이하다. 기술적 차별성은 자체 개발한 하드웨어 IP에 기반한다. 이 회사의 데이터처리장치(DPU)는 GPU, 스토리지, 네트워크 가속기 간 데이터 흐름을 최적화해 AI 인프라의 성능과 비용 효율을 동시에 높이는 역할을 한다. 관련 기술은 30건 이상의 특허로 보호받고 있으며 국제 컴퓨터 아키텍처 학술대회(ISCA) 등에서 발표된 10여 년간의 연구 성과를 바탕으로 개발됐다. 망고부스트는 현재 미국, 캐나다, 한국 등을 거점으로 빠르게 사업을 확장하고 있으며 6천만 달러(한화 약 810억원) 이상의 투자를 유치한 상태다. 당초에는 고성능 DPU 반도체로 주목받았지만 창업 초기부터 AI 인프라 전반을 아우르는 풀스택 시스템 솔루션 기업으로의 전환을 준비해왔다. 이번 '망고LLM부스트'는 이러한 소프트웨어 역량의 대표적인 결과물이다. 김장우 망고부스트 대표는 "이번 ML퍼프 결과는 글로벌 AI 인프라 시장에서 망고부스트의 기술력이 공식적으로 인정받았다는 의미"라며 "DPU 기반 하드웨어와 LLM 추론 최적화 소프트웨어가 결합된 풀스택 솔루션으로 AI 데이터센터의 성능과 비용 문제를 동시에 해결해 나가겠다"고 말했다.

2025.04.05 13:52조이환

망고부스트, AI 추론 최적화 소프트웨어 '망고 LLM부스트' 출시

망고부스트는 AI 추론 성능을 향상시키는 시스템 최적화 소프트웨어 '망고 LLM부스트(Mango LLMBoost)'를 공식 출시했다고 16일 밝혔다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 프리패칭 기술, 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 활용한다. 이를 통해 경쟁사 LLM 추론 엔진 대비 최대 12.6배 성능 향상과 92%의 비용 절감을 달성했다. 망고 LLM부스트은 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포, 오픈 API 호환성이 강점이다. 엔비디아와 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM-v4 등 다양한 채팅 및 멀티모달 모델에서 검증됐다. 또 단일 추론 서버에서 자동 리소스 할당을 통한 효율적 배포와 관리를 가능하게 한다. 망고부스트의 웹 서빙 및 스트리밍 API를 포함한 종단 간(End-to-End) 배포 옵션을 제공하며, GPU 및 실행 모델에 따라 최적의 구성을 자동으로 선택한다. OpenAI API를 사용하는 기존 AI 애플리케이션에 손쉽게 통합할 수 있어서 편리하다. 망고부스트 관계자는 "망고 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다"고 밝혔다. 김장우 망고부스트 CEO는 "망고 LLM부스트의 출시는 시스템 레벨의 성능과 효율성을 향상시키기 위한 망고부스트의 지속적인 노력을 보여주는 중요한 이정표이다"라며 "당사의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해왔으며, 망고 LLM부스트는 하드웨어 및 소프트웨어 레이어를 모두 최적화함으로써, AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다"고 전했다.

2025.01.16 14:30이나리

망고부스트, 'SC24'서 DPU 전 제품군 공개…고성능 컴퓨팅 공략 강화

망고부스트(대표 김장우)가 AI 데이터센터 효율화를 위한 DPU(Data Processing Unit) 기술로 글로벌 시장 공략에 박차를 가하고 있다. 망고부스트는 지난 18일부터 21일까지 미국 조지아주 애틀랜타에서 열린 '슈퍼컴퓨팅 2024(Supercomputing 24, SC24)' 컨퍼런스에 대규모 단독 부스로 참가해 DPU 전 제품군을 선보였다. 이는 지난 10월 캘리포니아 산호세에서 열린 '2024 OCP 글로벌 서밋'에 이어 글로벌 시장 내 기술력을 알리는 행보다. 회사는 SC24에서 다양한 사양과 대역폭을 지원하는 PCIe DPU 카드, 고성능 GPU와 결합된 RDMA DPU 카드, NVMe/TCP 기반 스토리지 서버를 공개하며 글로벌 고객들의 이목을 끌었다. PCIe DPU 카드는 FH(Full Height) 및 LP(Low Profile) 등 다양한 규격과 100G, 200G, 400G 대역폭을 지원한다. 이런 특징으로 가상화, 네트워킹, 스토리지, 보안 등 데이터센터 주요 기능 전반에 걸친 망고부스트의 하드웨어 IP를 FPGA에 유연하게 탑재할 수 있다. RDMA(Remote Direct Memory Access) 기능을 제공하는 RDMA DPU 카드는 AMD의 최신 GPU인 MI300X와 결합된 완제품 형태로 제공 가능하며, GPU 간 직접 통신을 지원한다. 이는 엔비디아의 'GPUDirect RDMA'에 견줄 수 있는 성능으로 평가되며 고성능 GPU 시장에서의 경쟁력을 입증했다. 망고부스트의 NVMe/TCP 기반 스토리지 DPU 카드는 NVMe와 TCP/IP를 동시에 가속할 수 있는 독보적인 기술로 기존 이더넷 기반 데이터센터 인프라를 그대로 활용하면서도 스토리지 성능을 비약적으로 향상시키는 솔루션이다. 이 제품은 서버에 탑재된 완제품 형태로 공급 가능해 고객의 다양한 수요를 충족시킬 수 있다. 망고부스트 관계자는 "이번 SC24 행사에서 기존 데이터센터 운영사와 클라우드 서비스 기업은 물론, 방위 산업 및 우주 개발 등 특수 분야의 고성능 컴퓨팅 관계자들과 심도 있는 논의를 진행하며 신규 시장 진출 가능성을 확인했다"고 밝혔다. SC24는 미국 컴퓨터학회(ACM)와 국제전기전자공학회(IEEE)가 1988년부터 공동 주최해온 글로벌 최대 고성능 컴퓨팅(HPC) 학술 대회 및 전시회다. 올해 행사에는 AMD, 인텔, 엔비디아 등 글로벌 반도체 기업과 델, HPE, 슈퍼마이크로 같은 주요 서버 제조사, 그리고 미국 에너지부, NASA 등 고성능 컴퓨팅을 운용하는 주요 기관까지 1만8000명이 넘는 관계자들이 참석해 최신 기술과 성과를 공유했다.

2024.11.28 07:00이나리

망고부스트, 글로벌 GPU 기업과 'DPU 기반 가속 솔루션' 공동 발표

망고부스트는 글로벌 GPU 기업과 망고부스트는 지난 16일부터 3일간 미국 캘리포니아주 샌타클라라에서 개최된 '스토리지 네트워킹 산업 협회 개발자 컨퍼런스'에서 MI300X GPU-스토리지 네트워크 가속 솔루션을 발표했다고 밝혔다. '스토리지 네트워킹 산업 협회 개발자 컨퍼런스'는 전세계 스토리지 기술 표준을 결정하는 국제 협회인 스토리지 네트워킹 산업 협회의 연례 행사다. 스토리지 산업의 유수 엔지니어들이 모여 최신 스토리지 기술 동향과 미래 방향을 논하는 교육의 장이다. 최근 AI 산업 동향에 따르면, 대규모 언어 모델(LLM)의 발전과 대규모 데이터 처리 요구가 GPU에 최적화된 고속 스토리지 시스템의 수요를 증가시키고 있다. 글로벌 GPU 기업들은 최신 AI 워크로드의 엄격한 스토리지 요구 사항을 충족하기 위해, GPU-스토리지 간 네트워크 성능을 가속하는 솔루션 발굴에 박차를 가하고 있다. 망고부스트 DPU는 MI300X GPU 서버와 스토리지 서버 간의 접근 효율성을 크게 향상시키는 기술이다. 실제 사례 연구에 따르면, 글로벌 GPU 기업의 오픈 소스 소프트웨어 ROCm을 활용해 MI300X GPU 서버에서 LLM AI 워크로드를 구현한 결과, 망고부스트 DPU는 NVMe-over-TCP 및 P2P 통신을 통해 이더넷 기반 스토리지 서버와 GPU 간의 통신을 가속화했다. 이를 통해 CPU 사용량이 감소하고, 전반적인 성능과 확장성이 크게 개선된 것으로 나타났다. 한편. 망고부스트는 오는 10월 미국 산호세에서 열리는 '오픈 컴퓨트 프로젝트 글로벌 서밋(OCP 글로벌 서밋)'과 11월 미국 애틀랜타에서 개최되는 '슈퍼컴퓨팅 컨퍼런스'에도 참가해 자사의 최신 성과를 바탕으로 한 실물 제품을 공개할 예정이다. 망고부스트 관계자는 "두 행사는 각각 개방형 IT 하드웨어 생태계와 컴퓨터 아키텍처 분야에서 세계적으로 가장 큰 규모의 행사"라며 "망고부스트의 혁신 기술을 선보일 중요한 무대로 기대를 모으고 있다"고 전했다.

2024.09.30 11:19이나리

지금 뜨는 기사

이시각 헤드라인

車 관세 25%→15%…EU·日과 출발선 같아졌지만 수익성 '빨간불'

[유미's 픽] '국가대표 AI' PT 발표 막바지 속 정부 선택은

오프라인에 온라인 DNA 그대로...무신사 스토어 강남 가보니

AI 투자, 최대 50% 세금 환급…'국가전략기술' 첫 지정

ZDNet Power Center