• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
인공지능
AI의 눈
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'LM 스튜디오'통합검색 결과 입니다. (2건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

엔비디아, 유휴 PC GPU로 AI 추론 분산하는 'PAIR' 공개

엔비디아가 4일 가정이나 사무실 내 PC GPU 자원을 이용해 AI 추론을 분산처리하는 '퍼스널 AI 라우터(PAIR)' 기술을 공개했다. 엔비디아는 "현재 미국 가정 중 절반 이상은 PC를 두 대 이상 이용하지만 상당한 연산 성능이 하루 중 대부분 쓰이지 않는 형태로 남아 있다"고 설명했다. 이어 "PAIR는 이처럼 사용되지 않는 PC의 컴퓨팅 자원을 로컬 AI에 활용할 수 있도록 지원하는 무료 오픈소스 소프트웨어"라고 설명했다. PAIR는 올라마와 LM스튜디오를 지원하며 에이전틱 AI 구현에 필요한 여러 개의 작은 작업을 내부 네트워크에 연결된 PC와 분산해 처리하는 방식으로 작동한다. 메인 PC에서 게임이나 콘텐츠 제작 등 다른 작업을 수행하는 동안 AI 워크로드를 상대적으로 여유가 있는 다른 시스템으로 이동하는 것도 가능하다. 다만 페어가 여러 PC의 GPU 메모리를 하나로 합쳐 하나의 대형 GPU처럼 사용하는 것은 아니다. 개별 추론 요청은 특정 시스템에서 처리되며, 여러 장치에 하나의 모델을 분할해 실행하는 방식과는 차이가 있다. 엔비디아는 "클라우드 서비스 대신 가정이나 기업 내 PC 자원을 로컬 AI 인프라로 전환해 로컬 AI와 멀티 에이전트 애플리케이션의 처리량을 높일 수 있다"고 설명했다. PAIR는 엔비디아 지포스 RTX 20 시리즈 이후 GPU와 엔비디아 RTX 프로 워크스테이션 GPU, DGX 스파크와 애플 M4 이후를 지원한다. 지원 운영체제는 윈도, 맥OS, 리눅스이며 그래픽 인터페이스와 터미널 인터페이스를 모두 지원한다.

2026.09.04 08:22권봉석 기자

"지포스 RTX와 쿠다로 무장"…엔비디아 'LM 스튜디오' 성능 폭발

엔비디아가 지포스 그래픽처리장치(GPU)와 쿠다를 기반으로 자체 로컬 거대언어모델(LLM) 실행 도구의 성능을 대폭 강화했다. 로딩·응답 속도 향상과 더불어 개발자 제어 기능을 확장해 로컬 AI 활용 생태계를 본격적으로 견인하는 전략이다. 엔비디아는 최근 'LM 스튜디오' 0.3.15 버전을 발표했다고 12일 밝혔다. 이번 버전은 지포스 '레이 트레이싱 익스피리언스(RTX)' GPU 환경에서 성능을 최대 27%까지 끌어올릴 수 있게 '쿠다' 그래프와 플래시 어텐션 최적화를 적용했다. 지포스 'RTX 20' 시리즈부터 최신 블랙웰 GPU까지 폭넓은 하드웨어 호환성도 확보했다. 'LM 스튜디오'는 고성능 추론과 데이터 보안을 동시에 확보할 수 있는 로컬 LLM 실행 도구다. '라마.cpp(llama.cpp)' 기반 런타임을 바탕으로 오프라인에서도 모델 실행이 가능하고 오픈AI 응용 프로그램 인터페이스(API) 호환 엔드포인트로도 작동해 맞춤형 워크플로우에 쉽게 통합된다. 새 버전은 '툴_초이스(tool_choice)' 패러미터를 도입해 도구 호출 방식에 대한 세밀한 제어를 제공한다. 외부 도구 연동 여부를 개발자가 지정하거나 모델이 동적으로 결정하게 할 수 있어 검색 증강 생성(RAG), 에이전트 파이프라인 등에 최적화된 구조를 제공한다. 시스템 프롬프트 편집기도 새롭게 설계돼 복잡하거나 장문 프롬프트에 대한 대응력이 향상됐다. 프리셋 기반의 다양한 모델과 양자화 방식도 지원되며 '젬마', '라마3', '미스트랄', '오르카' 등 주요 오픈소스 모델이 모두 포함됐다. 이같은 구조는 '옵시디언'과 같은 노트 기반 앱에 플러그인 형태로 연결돼 텍스트 생성, 연구 요약, 노트 검색을 클라우드 없이 수행할 수 있게 한다. 이 모든 과정은 'LM 스튜디오' 내의 로컬 서버를 통해 이뤄져 빠르고 프라이버시 중심의 상호작용이 가능하다. 성능 개선의 핵심은 '라마.cpp' 백엔드에 적용된 쿠다 그래프와 플래시 어텐션이다. 쿠다 그래프는 컴퓨팅처리장치(CPU) 호출 횟수를 줄여 모델 처리량을 최대 35%까지 높였다. 플래시 어텐션은 메모리 부담 없이 긴 컨텍스트 대응 능력을 강화하며 최대 15% 속도 향상을 이끌었다. RTX GPU 사용자라면 별도 설정 없이도 '쿠다 12.8' 기반의 성능 향상을 경험할 수 있다. 드라이버 호환 시 자동 업그레이드가 적용되며 얇은 노트북부터 고성능 워크스테이션까지 전 범위 RTX 인공지능(AI) PC에서 효율적인 추론이 가능하다. 'LM 스튜디오'는 윈도우, 맥OS, 리눅스에서 모두 실행 가능하며 무료로 다운로드해 사용할 수 있다. 데스크톱 채팅, 오픈AI API 개발자 모드 등 다양한 인터페이스도 제공된다. 엔비디아 측은 "'LM 스튜디오' 최신 업데이트는 RTX AI PC에서 최고의 성능과 유연성을 제공한다"며 "로컬 LLM 도입 장벽을 낮추고 사용자의 AI 실험과 배포를 적극 지원할 것"이라고 밝혔다.

2025.05.12 15:33조이환 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

트럼프는 '평화와 번영'·시진핑은 '인간 통제'…미중 정상 AI 시각차

아이폰18프로 먹통·강제 재부팅...애플, 내주 SW 업데이트

AI에 답 맡기는 학생들…교육 현장, AI 활용 원칙 세운다

美 AI·데이터센터 투자 10조 달러 전망…GDP 연평균 3.6% 규모

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.