검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'플레이크'통합검색 결과 입니다. (62건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

"LLM 추론비용 75% 절감"…스노우플레이크, '스위프트KV'로 AI 최적화 혁신

스노우플레이크가 생성형 인공지능(AI) 애플리케이션 비용 절감을 위한 새로운 최적화 기술을 선보여 거대언어모델(LLM)의 추론 처리 속도를 높이고 운영 비용을 대폭 절감할 수 있는 길이 열렸다. 17일 업계에 따르면 스노우플레이크의 최적화 기술인 '스위프트KV'는 LLM 추론 처리량을 최대 50%까지 향상시키고 추론 비용을 최대 75%까지 절감할 수 있다. 이 기술은 지난해 12월 오픈소스로 공개돼 주목받았다. '스위프트KV'는 LLM 추론 중 생성되는 키값(KV) 데이터를 효율적으로 관리해 메모리 사용량을 줄이는 기술이다. 이를 통해 AI 모델이 더 긴 컨텍스트를 처리하면서도 빠른 출력을 생성할 수 있다. 특히 기존 KV 캐시 압축 방식을 넘어 중복 계산을 최소화하고 메모리 사용량을 최적화했다. 스노우플레이크는 프롬프트 처리 시 계산 부담을 줄이기 위해 '스위프트KV'로 모델 재배선과 자체 증류 기술을 결합했다. 이는 입력 토큰 처리에서 불필요한 연산을 줄여 워크로드 효율성을 높이는 데 기여한다. 또 이 기술은 허깅페이스의 모델 체크포인트와 호환되며 코텍스 AI를 통해 '라마 3.3' 70B 및 '라마 3.1' 405B 모델에서 최적화된 추론이 가능하다. 스노우플레이크는 이를 통해 고객사가 기존 대비 최대 75% 저렴한 비용으로 AI를 활용할 수 있게 했다고 강조했다. 업계 전문가들은 스위프트KV의 개념이 프롬프트 캐싱이나 양자화 같은 기존 기술과 유사하다고 평가했다. 다만 복잡성, 정확도 유지, 성능 저하 여부 등이 기술 적용 시 해결해야 할 과제로 꼽힌다. 브래들리 심민 옴디아 수석 분석가는 "'스위프트KV'는 AI 추론 비용 절감의 한 방법일 뿐 개념 자체가 새로운 것은 아니다"면서도 "앞으로 다양한 AI 최적화 기술과 함께 사용될 가능성이 크다”고 예측했다.

2025.01.17 15:11조이환 기자

"올해 AI 소프트웨어 시대 도래"…美서 오라클·스노우플레이크 '주목'

챗GPT를 시작으로 생성형 인공지능(AI) 열풍이 불며 지난해 각종 주식시장 종목들이 폭등한 가운데 올해는 AI 소프트웨어 분야에서 오라클과 스노우플레이크가 주목할 만한 기업으로 꼽혔다. 3일 야후 파이낸스에 따르면 미국 증권사 웹부시는 올해 생성형 AI와 거대언어모델(LLM)의 빠른 채택에 힘입어 AI 소프트웨어 산업이 광범위하게 발전될 것이라고 전망했다. 또 AI 인프라와 소프트웨어 개발, 클라우드 서비스 부문에서 경쟁력을 갖춘 기업들이 앞으로 많은 주목을 받을 것으로 봤다. 이에 맞춰 팔란티어와 세일즈포스, 몽고DB, 엘라스틱 외에 올해는 오라클, 스노우플레이크를 투자자들이 관심있게 봐야 할 종목으로 추천했다. 다니엘 아이브스 웹부시 애널리스트는 "AI 소프트웨어 시대가 도래했다"며 "엔비디아의 프로세서가 AI 확산의 원동력이 됐고, 마이크로소프트와 구글, 아마존웹서비스(AWS)를 비롯한 클라우드 제공업체와 하이퍼스케일러가 이에 불을 지폈다"고 평가했다. 그러면서 "스노우플레이크는 작년 대부분의 기간 동안 하락세를 보였지만 지난달 말부터 주가가 반등하기 시작했다는 것이 주목할 점"이라며 "최근 AI 기반 전망에 대한 기대감이 개선되면서 오라클, 세일즈포스, 엘라스틱, 스노우플레이크도 상승세를 보였다"고 덧붙였다.

2025.01.03 09:20장유미 기자