• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
지스타2026
반도체
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'최적화'통합검색 결과 입니다. (41건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

"LLM 추론비용 75% 절감"…스노우플레이크, '스위프트KV'로 AI 최적화 혁신

스노우플레이크가 생성형 인공지능(AI) 애플리케이션 비용 절감을 위한 새로운 최적화 기술을 선보여 거대언어모델(LLM)의 추론 처리 속도를 높이고 운영 비용을 대폭 절감할 수 있는 길이 열렸다. 17일 업계에 따르면 스노우플레이크의 최적화 기술인 '스위프트KV'는 LLM 추론 처리량을 최대 50%까지 향상시키고 추론 비용을 최대 75%까지 절감할 수 있다. 이 기술은 지난해 12월 오픈소스로 공개돼 주목받았다. '스위프트KV'는 LLM 추론 중 생성되는 키값(KV) 데이터를 효율적으로 관리해 메모리 사용량을 줄이는 기술이다. 이를 통해 AI 모델이 더 긴 컨텍스트를 처리하면서도 빠른 출력을 생성할 수 있다. 특히 기존 KV 캐시 압축 방식을 넘어 중복 계산을 최소화하고 메모리 사용량을 최적화했다. 스노우플레이크는 프롬프트 처리 시 계산 부담을 줄이기 위해 '스위프트KV'로 모델 재배선과 자체 증류 기술을 결합했다. 이는 입력 토큰 처리에서 불필요한 연산을 줄여 워크로드 효율성을 높이는 데 기여한다. 또 이 기술은 허깅페이스의 모델 체크포인트와 호환되며 코텍스 AI를 통해 '라마 3.3' 70B 및 '라마 3.1' 405B 모델에서 최적화된 추론이 가능하다. 스노우플레이크는 이를 통해 고객사가 기존 대비 최대 75% 저렴한 비용으로 AI를 활용할 수 있게 했다고 강조했다. 업계 전문가들은 스위프트KV의 개념이 프롬프트 캐싱이나 양자화 같은 기존 기술과 유사하다고 평가했다. 다만 복잡성, 정확도 유지, 성능 저하 여부 등이 기술 적용 시 해결해야 할 과제로 꼽힌다. 브래들리 심민 옴디아 수석 분석가는 "'스위프트KV'는 AI 추론 비용 절감의 한 방법일 뿐 개념 자체가 새로운 것은 아니다"면서도 "앞으로 다양한 AI 최적화 기술과 함께 사용될 가능성이 크다”고 예측했다.

2025.01.17 15:11조이환 기자

  Prev 1 2 3 Next  

지금 뜨는 기사

이시각 헤드라인

미국 규제당국 조사에 엔비디아 휘청... 주가 2주새 32% 하락

"월급 안 줘도 일 잘하네"…가맹점주 돕는 AI 직원들

[글로벌 줍줍] 백전백패 'AI 커닝' vs 백전백승 '뇌과학 공부법'

LGU+ 조직개편...AI 사업 재편으로 성과 속도전

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.