검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'LLM'통합검색 결과 입니다. (226건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"LLM 추론비용 75% 절감"…스노우플레이크, '스위프트KV'로 AI 최적화 혁신

스노우플레이크가 생성형 인공지능(AI) 애플리케이션 비용 절감을 위한 새로운 최적화 기술을 선보여 거대언어모델(LLM)의 추론 처리 속도를 높이고 운영 비용을 대폭 절감할 수 있는 길이 열렸다. 17일 업계에 따르면 스노우플레이크의 최적화 기술인 '스위프트KV'는 LLM 추론 처리량을 최대 50%까지 향상시키고 추론 비용을 최대 75%까지 절감할 수 있다. 이 기술은 지난해 12월 오픈소스로 공개돼 주목받았다. '스위프트KV'는 LLM 추론 중 생성되는 키값(KV) 데이터를 효율적으로 관리해 메모리 사용량을 줄이는 기술이다. 이를 통해 AI 모델이 더 긴 컨텍스트를 처리하면서도 빠른 출력을 생성할 수 있다. 특히 기존 KV 캐시 압축 방식을 넘어 중복 계산을 최소화하고 메모리 사용량을 최적화했다. 스노우플레이크는 프롬프트 처리 시 계산 부담을 줄이기 위해 '스위프트KV'로 모델 재배선과 자체 증류 기술을 결합했다. 이는 입력 토큰 처리에서 불필요한 연산을 줄여 워크로드 효율성을 높이는 데 기여한다. 또 이 기술은 허깅페이스의 모델 체크포인트와 호환되며 코텍스 AI를 통해 '라마 3.3' 70B 및 '라마 3.1' 405B 모델에서 최적화된 추론이 가능하다. 스노우플레이크는 이를 통해 고객사가 기존 대비 최대 75% 저렴한 비용으로 AI를 활용할 수 있게 했다고 강조했다. 업계 전문가들은 스위프트KV의 개념이 프롬프트 캐싱이나 양자화 같은 기존 기술과 유사하다고 평가했다. 다만 복잡성, 정확도 유지, 성능 저하 여부 등이 기술 적용 시 해결해야 할 과제로 꼽힌다. 브래들리 심민 옴디아 수석 분석가는 "'스위프트KV'는 AI 추론 비용 절감의 한 방법일 뿐 개념 자체가 새로운 것은 아니다"면서도 "앞으로 다양한 AI 최적화 기술과 함께 사용될 가능성이 크다”고 예측했다.

2025.01.17 15:11조이환

망고부스트, AI 추론 최적화 소프트웨어 '망고 LLM부스트' 출시

망고부스트는 AI 추론 성능을 향상시키는 시스템 최적화 소프트웨어 '망고 LLM부스트(Mango LLMBoost)'를 공식 출시했다고 16일 밝혔다. 망고 LLM부스트는 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 프리패칭 기술, 최신 GPU를 최대한 활용한 모델 양자화(Quantization) 기술을 활용한다. 이를 통해 경쟁사 LLM 추론 엔진 대비 최대 12.6배 성능 향상과 92%의 비용 절감을 달성했다. 망고 LLM부스트은 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포, 오픈 API 호환성이 강점이다. 엔비디아와 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM-v4 등 다양한 채팅 및 멀티모달 모델에서 검증됐다. 또 단일 추론 서버에서 자동 리소스 할당을 통한 효율적 배포와 관리를 가능하게 한다. 망고부스트의 웹 서빙 및 스트리밍 API를 포함한 종단 간(End-to-End) 배포 옵션을 제공하며, GPU 및 실행 모델에 따라 최적의 구성을 자동으로 선택한다. OpenAI API를 사용하는 기존 AI 애플리케이션에 손쉽게 통합할 수 있어서 편리하다. 망고부스트 관계자는 "망고 LLM부스트는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다"고 밝혔다. 김장우 망고부스트 CEO는 "망고 LLM부스트의 출시는 시스템 레벨의 성능과 효율성을 향상시키기 위한 망고부스트의 지속적인 노력을 보여주는 중요한 이정표이다"라며 "당사의 DPU 전문성은 데이터 센터 효율성 개선이라는 사명에 중심 역할을 해왔으며, 망고 LLM부스트는 하드웨어 및 소프트웨어 레이어를 모두 최적화함으로써, AI 추론 워크로드 수행의 성능과 효율성이라는 핵심 과제를 해결한다"고 전했다.

2025.01.16 14:30이나리

AI칩 주도권 노리는 삼성…"서버·폰·TV용 NPU 모두 개발 중"

"NPU의 성장 가능성은 매우 높다. 삼성에서도 '마하'와 같은 클라우드용 NPU와 스마트폰에서 활용 가능한 온-디바이스용 NPU 등 여러 개발 프로젝트를 가동하고 있다. 특히 삼성리서치는 TV용 NPU를 개발하고 있다." 김대현 삼성리서치 글로벌AI센터장은 14일 여의도 국회의원회관에서 회사의 AI 가속기 발전 동향에 대해 이같이 밝혔다. NPU 성장성 유망…삼성도 서버·폰·TV 등 NPU 전방위 개발 현재 AI 반도체 시장은 글로벌 팹리스인 엔비디아의 고성능 GPU(그래픽처리장치)가 사실상 독과점 체제를 이루고 있다. GPU는 복수의 명령어를 동시에 처리하는 병렬 처리 방식이기 때문에, 방대한 양의 데이터를 반복적으로 연산해야 하는 AI 산업에 적극적으로 채용되고 있다. 김 센터장은 "엔비디아 GPU가 AI 데이터센터를 구축하는 가장 보편적인 반도체가 되면서, 이를 얼마나 확보하느냐가 AI 경쟁력의 바로미터가 됐다"며 "마이크로소프트나 메타가 수십만개를 확보한 데 비해, 삼성의 경우 1만개 내외로 아직 부족한 것이 사실"이라고 말했다. 특히 엔비디아는 자사 GPU 기반의 AI 모델 학습, 추론을 완벽하게 지원하는 소프트웨어 스택 '쿠다(CUDA)'를 제공하고 있다. 덕분에 개발자들은 대규모 AI 모델 학습 및 추론을 위한 다양한 툴을 활용할 수 있다. 다만 향후에는 NPU(신경망처리장치) 등 대체제가 활발히 쓰일 것으로 전망된다. NPU는 컴퓨터가 데이터를 학습하고 자동으로 결과를 개선하는 머신러닝(ML)에 특화된 칩이다. GPU 대비 범용성은 부족하나 연산 효율성이 높다. 김 센터장은 "NPU는 AI만 집중적으로 잘하는 반도체로, GPU가 AI 성능이 100이라면 NPU는 1000정도"라며 "엔비디아의 칩이 너무 비싸기 때문에, 글로벌 빅테크 기업들도 각각 성능과 효율성을 극대화한 맞춤형 AI 가속기를 개발하고 있다"고 설명했다. 삼성전자도 데이터센터, 온-디바이스AI 등 다양한 산업을 위한 NPU를 개발 중인 것으로 알려졌다. 김 센터장은 "삼성에서도 NPU 하드웨어와 소프트웨어, AI 모델에 이르는 전 분야를 개발하고 있고, 내부적으로 여러 개의 NPU 개발 프로젝트를 진행 중"이라며 "마하와 비슷한 또 다른 프로젝트가 있고, 삼성리서치는 TV용 NPU를 개발 중"이라고 설명했다. 앞서 삼성전자는 네이버와 협력해 자체 AI 가속기인 '마하'를 공동 개발해 왔으나, 양사 간 이견이 커져 프로젝트가 무산됐다. 대신 삼성전자는 자체 인력을 통해 AI 가속기 개발을 지속하기로 한 바 있다. 국내 AI칩 생태계 크려면…하드웨어·소프트웨어 균형 지원 필요 리벨리온, 퓨리오사AI 등 국내 스타트업도 데이터센터용 NPU를 자체 설계해 왔다. 각 기업은 국내 및 해외 테크 기업과 활발히 협력하면서 본격적인 시장 진입을 추진하고 있다. 김 센터장은 "국내 AI 반도체 스타트업들이 성공하기 위해서는 하드웨어와 소프트웨어 분야를 균형있게 지원해줄 수 있는 방안이 필요하다"며 "현재 이들 기업이 투자에만 의존하고 있지만, 궁극적으로는 데이터센터 기업과 연동돼 자생할 수 있는 생태계를 조성할 수 있도록 해줘야 한다"고 강조했다. 한편 이번 김 센터장의 발표는 고동진 국회의원이 주최한 '엔비디아 GPU와 함께 이야기되고 있는 TPU와 NPU 기술 등에 대한 현황분석 간담회'에서 진행됐다. 고동진 의원은 "우리나라의 AI 반도체 생태계 강화를 위해서는 국내 기업들을 활용한 데이터센터 인프라 구축이 필요하다"며 "엔비디아, 구글, 아마존 등 기존 주요 기업의 인프라를 쓰는 동시에, 국내 스타트업의 시스템반도체를 테스트베드화해서 1년 반 안에 수준을 끌어올리는 방향으로 가야한다고 생각한다"고 말했다.

2025.01.14 10:53장경윤

[기고] 산업 경계를 넘어서는 AI 혁신, 최적의 인프라에서 시작된다

비즈니스 환경이 급속도로 진화하면서 기업들은 끊임없이 생산성 향상과 데이터 활용, 사용자 경험 개선을 추구하고 있다. 이러한 변화 속에서 인공지능(AI)은 기업들의 핵심 과제를 해결할 강력한 도구로 주목받고, 많은 기업은 AI 도입을 통해 경쟁력을 강화하려 노력하고 있다. 산업별 AI 활용 현황과 전망 다양한 산업 분야에서 AI는 혁신적인 변화를 이끌고 있다. 유통 업계에서는 AI 기반 분석을 통해 재고 관리를 최적화하고 개인화된 고객 서비스를 제공하면서 매출 증대와 고객 만족도 향상을 동시에 달성하고 있다. AI는 고객의 구매 패턴을 분석해 최적의 재고 수준을 유지하고 각 고객에게 맞춤형 상품을 추천함으로써 구매 전환율을 높이는 데 기여한다. 의료 분야에서는 예측 분석과 머신러닝을 활용해 진단 정확도를 높이고 환자 치료 결과를 개선하고 있다. AI 알고리즘은 의료 영상을 분석해 초기 단계의 질병을 발견하고 환자의 의료 기록을 바탕으로 최적의 치료 방법을 제시한다. 이를 통해 의료진은 더 정확하고 효율적인 의사결정을 내릴 수 있다. 금융권에서는 대규모 언어 모델(LLM)을 도입해 실시간 금융 사기 탐지와 자동화된 거래 전략을 구현하고 있다. AI는 수많은 거래 데이터를 실시간으로 분석해 이상 거래를 감지하고 시장 동향을 예측해 최적의 투자 전략 수립을 지원한다. 제조업에서는 AI 기반 예측 유지보수로 설비 다운타임을 최소화하고 생산 효율을 높이고 있다. 센서에서 수집된 데이터를 AI가 실시간으로 분석해 설비 고장을 사전에 예측하고, 최적의 유지보수 시점을 제시함으로써 생산 중단을 방지한다. 이는 생산성 향상과 비용 절감으로 이어진다. AI 워크로드의 특성과 인프라 요구사항 AI 워크로드는 모델 학습과 실행, 유지관리에 있어 특별한 요구사항을 가진다. 예측 분석, 자연어 처리, 이상 징후 감지, 이미지 인식, 추천 시스템 등 각각의 워크로드는 고성능 컴퓨팅 자원과 대용량 스토리지가 필요하다. 특히 딥러닝 모델은 수십에서 수천억 개의 파라미터를 처리해야 해 강력한 GPU 성능이 요구된다. AI 인프라의 핵심 요소는 강력한 컴퓨팅 성능이다. GPU와 같은 가속기는 복잡한 연산을 병렬로 처리해 AI 모델의 학습 및 추론 속도를 크게 향상시킨다. 또한 지속적으로 증가하는 데이터 규모에 맞춰 스토리지 시스템은 높은 확장성과 처리 성능을 갖춰야 한다. 네트워크 인프라도 중요한 요소다. AI 워크로드는 대량의 데이터를 빠르게 이동시켜야 해 고속 네트워크가 필수다. 실시간 처리가 필요한 애플리케이션의 경우 낮은 지연시간이 매우 중요하다. 보안 역시 간과할 수 없다. AI 시스템은 데이터 보호와 규정 준수를 위한 강력한 보안 기능을 제공해야 한다. AI 도입의 현주소와 미래 전망 2023년 맥킨지 설문조사에 따르면 66%의 조직이 AI를 도입하는 탐색 또는 파일럿 단계에 있는 것으로 나타났다. 이는 AI 도입에 여전히 많은 과제가 있음을 시사한다. 하지만 AI 시장은 2027년까지 1천510억 달러 규모로 성장이 예측되며 기업들의 AI 투자도 꾸준히 증가할 것이다. AI 도입의 성공을 위해서는 명확한 전략과 로드맵이 필요하다. 기업은 자사의 비즈니스 목표와 환경에 맞는 AI 활용 사례를 발굴하고 이를 단계적으로 구현해 나가야 한다. AI 시스템의 구축과 운영을 위한 전문 인력 확보와 교육도 중요하다. HS효성인포메이션시스템은 고성능 컴퓨팅과 AI 워크로드를 위한 통합 AI 플랫폼을 제시하고 있다. 검증된 레퍼런스 아키텍처를 기반으로 데이터센터 AI 인프라의 설계, 배포, 관리를 획기적으로 단순화하고, AI 소프트웨어부터 GPU 서버, 네트워킹, 스토리지에 이르는 모든 구성 요소를 단일 벤더를 통해 제공한다. 현재 가장 많이 도입되고 있는 H100 GPU의 경우 최대 128개 노드까지 확장 가능한 최고 성능의 AI 개발 환경을 지원한다. NVMe 플래시 기반의 고성능 스토리지 시스템은 대규모 AI 워크로드를 효율적으로 처리한다. AI는 기업의 디지털 혁신을 이끄는 핵심 동력이다. 성공적인 AI 도입을 위해서는 적절한 인프라 구축과 함께 명확한 활용 전략이 필요하다. 기업들은 자사 비즈니스 환경과 목표에 맞는 AI 솔루션을 선택하고 이를 효과적으로 구현할 수 있는 파트너십을 구축해야 한다. AI의 잠재력을 최대한 활용하기 위해서는 기술적 준비와 함께 조직의 문화와 프로세스도 함께 변화해야 한다. 이러한 종합적인 접근을 통해 기업은 AI를 통한 진정한 디지털 혁신을 이룰 수 있다.

2025.01.10 23:26정문종

[AI는 지금] 中 딥시크, 'V3'로 실리콘밸리에 도전장…"비용·성능 모두 잡았다"

중국 인공지능(AI) 스타트업 딥시크가 최근 새로운 오픈소스 거대언어모델(LLM) 'V3'를 공개하며 주목받고 있다. 주요 벤치마크에서 오픈AI 등 실리콘밸리 빅테크의 AI 모델과 대등하거나 우수한 성능을 입증하면서도 누구나 사용이 가능해 글로벌 생태계에 큰 변화를 가져올 잠재력을 인정받고 있다. 9일 업계에 따르면 딥시크 'V3'는 총 6천710억 개에 달하는 매개변수를 갖춘 모델로, 메타의 최신 모델인 '라마(Llama) 3.1' 버전보다 약 1.5배 더 큰 규모다. 그동안 오픈소스 LLM으로 가장 널리 알려진 라마 시리즈와 비교해도 방대한 수준의 매개변수를 자랑한다. 또 누구나 쉽게 접근할 수 있는 오픈소스 형태로 출시돼 향후 글로벌 AI 생태계에 적잖은 파장을 일으킬 것이라는 관측이 제기된다. 전문가들은 딥시크 'V3'의 성능이 공인 가능한 벤치마크들을 통해 인정받았다고 평가한다. 코딩 분야에서는 코드포스(Codeforces) 등 국제 공인 프로그래밍 테스트를 통해 메타 '라마 3.1'이나 오픈AI의 '챗GPT 4o'와 어깨를 나란히 하거나 일부 영역에서는 오히려 앞선 결과를 보였다. 언어 능력에 있어서도 마찬가지다. 'V3'는 LLM 언어능력을 평가하는 MMLU 벤치마크에서도 88.5점을 달성했다. 이 점수는 88.7점을 받은 'GPT-4o'와의 점수 차가 매우 근소한 수준으로, '클로드 3.5'나 구글 '제미나이' 모델의 점수를 능가해 사실상 최고 수준에 가까운 역량을 입증했다. 개발 비용 측면에서의 가성비는 기술적 완성도만큼이나 'V3'가 주목받는 이유다. 딥시크 측은 'V3' 개발에 약 557만 달러(한화 약 82억 원)를 투입했다고 설명했는데 이는 오픈소스 방식으로 개발된 메타 라마 모델에 투입된 6억4000만 달러(한화 약 8천960억원)의 1% 수준에 불과하다. 또 엔비디아의 최신 AI칩인 'H100' 대신 상대적으로 낮은 성능의 'H800' 활용하면서도 데이터 압축과 연산 최적화를 통해 컴퓨팅 자원을 효율적으로 활용해 성능을 확보했다. 업계 전문가들은 이를 단순히 비용을 절감했다는 차원을 넘어 제한된 환경에서도 고성능 모델을 구현할 수 있다는 가능성을 보여줬다고 평가한다. 다만 오픈AI의 샘 알트먼 대표는 최근 자신의 소셜미디어 계정에서 “이미 운영 중인 것을 복사하는 것은 쉽다"며 "새롭고 어려운 일을 하는 것이 진정한 도전"이라고 언급했다. 업계 일각에서는 이를 딥시크와 같은 중국 AI 기업의 빠른 모델 출시를 겨냥한 우회적 비판으로 분석했다. 그럼에도 불구하고 딥시크가 내세우는 오픈소스 경쟁력과 저렴한 애플리케이션 프로그램 인터페이스(API) 요금 체계는 글로벌 시장에서 테크 기업들의 변화를 초래하는 주요 동력으로 작용할 가능성이 높다. 개인 구독제 형태로 과금을 하는 오픈AI, 구글 등 실리콘 밸리 AI 스타트업과는 달리 'V3'는 깃허브나 허깅페이스에서 개인이 무료로 다운로드가 가능하기 때문이다. 또 API 가격 역시 백만토큰 당 입력토큰이 약 30센트(한화 약 520원), 출력토근이 약 1달러(한화 약 1400원)로 '챗GPT 4'에 비해 약 30~40배 저렴하다. 실제로 중국 내 빅테크 기업들은 이미 딥시크 'V3'를 계기로 모델 사용료를 낮추는 방안을 검토하고 있는 것으로 알려졌다. 'V3' 모델의 경이로운 발전에는 미중 기술 경쟁과 AI 보호무역주의가 오히려 기여했다는 시각도 존재한다. 'H100' 등 미국 정부의 대중국 고성능 반도체 수출 규제 상황과 오픈AI의 중국 내 서비스 중단이 중국 AI 기술 발전을 초래했다는 것이다. 실제로 딥시크는 이보다 훨씬 낮은 사양인 'H800 GPU'에 각종 최적화 기술을 접목해 고효율화를 이뤄낸 것으로 평가된다. 또 지난해 7월부터 오픈AI가 중국 내 '챗GPT' 서비스를 VPN 접속마저 전면 차단하면서 중국 AI 기업들이 독자적인 모델을 키워낼 기회를 갖게 됐다는 분석이다. 미·중 간 기술 패권 경쟁이 중국 AI 스타트업을 더욱 독려하고 있는 셈이다. 다만 정치적 민감 이슈에 대한 회피와 모델 자체의 환각 문제 등은 'V3'이 극복해야 할 과제로 거론된다. 다수의 외신과 소셜 미디어 포스트 등에 따르면 'V3'는 천안문 사태처럼 중국 당국이 민감하게 여기는 주제에 대해서는 답변을 기피하도록 설계됐다. 이는 체제 안정을 AI 개발의 정책적 목표 중 하나로 간주하는 중국 당국의 정책때문이다. 이와 더불어 해외 사용자들이 진행한 테스트 결과 모델은 자신을 'GPT-4'로 혼동하거나 "나는 챗GPT입니다"라고 소개하는 등 환각 현상이 일부 포착됐다. 이에 런던 킹스칼리지의 마이크 쿡 연구원은 "경쟁 모델을 무분별하게 참조하면 현실 왜곡이 일어날 수 있다"고 우려했다. 이같은 단점에도 불구하고 딥시크 'V3'는 성능과 비용 효율 면에서 중요한 진전을 이뤄냈으며 글로벌 AI 시장에 새로운 변화를 불러올 가능성 가진 것으로 평가된다. 한 국내 AI 업계 관계자는 "LLM 수준이 상향 평준화되고 있기 때문에 'GPT 4' 수준의 성능을 보이는 것은 특기할 만한 점은 아니지만 그 외의 조건들이 주목할만 하다"며 "특히 671B 수준의 대형 모델 학습비용이 겨우 77억원밖에 나오지 않았다는 점이 고무적"이라고 평가했다.

2025.01.09 14:16조이환

"AI도 안전해야 혁신 가능"…SK쉴더스, 'LLM 보안 가이드'로 새 기준 제시

SK쉴더스가 인공지능(AI) 기술의 보안 취약점을 사전에 점검하기 위해 '거대언어모델(LLM) 애플리케이션 취약점 진단 가이드'를 발간했다. SK쉴더스는 보고서를 통해 AI 기반 해킹 위협이 급증하는 추세를 분석해 데이터 보호와 안전한 AI 시스템 구축을 지원하겠다고 8일 밝혔다. LLM은 금융, 제조, 헬스케어 등 다양한 산업에서 활용되고 있지만 데이터 처리 방식의 특성상 기존 IT 시스템과는 다른 보안 위험에 취약하다. 이번 보고서에서는 '오픈 웹 애플리케이션 보안 프로젝트(OWASP) LLM 애플리케이션 2025' 기준을 바탕으로 ▲LLM 통합 ▲에이전트 ▲모델의 세 가지 영역을 중심으로 보안 취약점을 다뤘다. 특히 프롬프트 인젝션과 애플리케이션 프로그램 인터페이스(API) 변조, RAG 데이터 오염 등 신종 공격 사례를 분석해 14개의 주요 취약점을 위험도별로 분류했다. 주요 위협으로 언급된 프롬프트 인젝션은 사용자가 입력값을 조작해 시스템의 의도치 않은 응답을 유도하는 방식이다. 이는 민감 정보 유출이나 악의적 응답 생성과 같은 문제를 일으킬 수 있다. 또 API 매개 변수 변조는 시스템 간 통신을 교란시켜 권한을 초과하는 동작을 유발하는 치명적인 해킹 기법으로 지목됐다. 이 외에도 RAG 데이터 오염은 외부 데이터를 악의적으로 변형해 검색 결과를 왜곡시키는 문제가 있다. 이를 방지하기 위해 보고서는 사용자 명령어와 시스템 프롬프트를 분리하고 데이터 검증 절차를 강화해야 한다고 강조했다. SK쉴더스는 AI 특화 모의해킹 서비스와 개발, 보안, 운영(DevSecOps) 컨설팅을 통해 기업들이 AI 애플리케이션의 잠재적 취약점을 조기에 발견하고 예방 조치를 마련할 수 있도록 돕고 있다. 김병무 SK쉴더스 사이버보안부문장은 "AI 기술은 편리함을 제공하지만 보안 취약점이 악용될 경우 심각한 사고로 이어질 수 있다"며 "이번 가이드는 기업과 기관이 신뢰할 수 있는 AI 시스템을 구축하는 데 실질적인 도움을 줄 것"이라고 밝혔다.

2025.01.08 10:07조이환