• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
지스타2026
반도체
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'센터 스테이지'통합검색 결과 입니다. (2건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

노타, GPU 4분의 1로 초거대 AI 구동…전력 부담 낮춘다

인공지능(AI) 모델 최적화 기업 노타가 초거대 AI 모델 구동에 필요한 그래픽처리장치(GPU)를 8장에서 2장으로 줄이는 기술을 확보했다. AI 실행 과정에서 소비하는 에너지도 줄여 데이터센터와 기업용 AI 인프라 시장 공략에 나선다는 방침이다. 노타는 업스테이지의 2500억 매개변수 AI 모델 '솔라 오픈 2'를 경량화해 구동에 필요한 엔비디아 H100 GPU를 기존 8장에서 2장으로 줄였다고 9일 밝혔다. 모델 가중치 저장에 필요한 메모리는 500.6기가바이트(GB)에서 117.8GB로 76.5% 감소했다고 설명했다. 노타는 AI 모델의 연산 정밀도를 낮추는 양자화와 중요도가 낮은 연산 모듈을 제거하는 가지치기 기술을 적용했다. 모델 성능 저하를 최소화하면서 메모리 사용량을 줄여 적은 GPU로도 대규모 모델을 실행하도록 최적화했다. 중국 문샷AI의 초거대 모델 '키미 K3'에도 기술을 적용했다. 전체 매개변수가 2조 8000억 개에 달하는 이 모델은 기존에 엔비디아 B300 GPU 8장이 필요했지만, 노타는 일부 연산 모듈을 제거해 GPU 6장과 4장으로 각각 구동할 수 있는 경량화 버전 2종을 개발했다. 키미 K3에는 모델 내부에서 필요한 연산 모듈만 선택적으로 사용하는 전문가 혼합(MoE) 구조가 적용됐다. 노타는 각 모듈의 중요도를 분석해 상대적으로 기여도가 낮은 부분을 제거하는 방식으로 모델 크기를 줄였다. 모델 경량화뿐 아니라 실제 AI 실행 과정에서 소비하는 에너지를 줄이는 기술도 개발하고 있다. 노타는 AMD의 '라이젠 AI 맥스+ 395' 환경에서 알리바바의 '큐웬3 8B' 모델을 대상으로 추론 최적화 실험을 진행했다. GPU와 신경망처리장치(NPU)에 연산 작업을 나눠 맡기는 방식으로 기존 AMD 하이브리드 실행 환경보다 토큰당 에너지 소비를 31% 줄였다. AI가 답변을 완료하는 데 걸리는 시간도 최대 52% 단축했다고 밝혔다. 이러한 기술 개발은 AI 데이터센터의 전력과 용수 사용에 대한 부담이 커지는 가운데 이뤄지고 있다. 미국 여론조사기관 갤럽이 지난 3월 실시한 조사에서는 미국 성인 약 70%가 거주 지역에 AI 데이터센터를 건설하는 데 반대한다고 답했다. 반대 이유로는 전력과 물 사용에 따른 환경 영향과 생활비 부담 등이 꼽혔다. 미국 로런스버클리국립연구소도 올해 발표한 보고서에서 2030년 데이터센터가 미국 전체 전력 사용량의 11.8%를 차지할 것으로 추산했다. 해당 전망은 AI 전용 시설뿐 아니라 전체 데이터센터 전력 수요를 대상으로 한다. 데이터센터는 AI 모델을 실행하는 과정에서 발생한 열을 식히기 위해 냉각 설비를 가동한다. 냉각 방식에 따라 상당한 전력이나 물이 필요하다. AI 모델의 연산량과 메모리 사용량을 줄이면 일정한 작업량을 처리하는 데 필요한 서버 자원과 전력 부담을 낮출 수 있다. 노타는 이를 위해 AI 모델 경량화와 반도체별 연산 최적화, 추론·서빙 효율 개선으로 기술 적용 범위를 넓히고 있다. 추론 최적화는 AI가 답변을 생성하는 연산 과정을 개선하는 기술이다. 서빙 최적화는 여러 이용자의 요청을 효율적으로 처리하도록 서버 자원을 배분하는 방식을 뜻한다. 사업 확대에도 나선다. 노타는 자체 AI 모델 최적화 플랫폼 '넷츠프레소'를 중심으로 반도체 기업에 소프트웨어 라이선스와 모델 최적화 기술을 공급하고 있다. 기존 고객과의 후속 계약을 확보하면서 기술 공급 관계를 확대하고 있다는 설명이다. 노타는 앞으로 GPU뿐 아니라 중앙처리장치(CPU), NPU 등 다양한 반도체 환경에서 AI 모델을 효율적으로 실행하도록 기술을 고도화할 계획이다. 특정 반도체에 의존하지 않고 기업이 보유한 컴퓨팅 자원을 활용해 AI를 운영하도록 지원한다는 전략이다. 김태호 노타 최고기술책임자(CTO)는 "글로벌 반도체 생태계와의 협력을 기반으로 AI 실행과 운영 최적화 기술 적용 범위를 넓히고 있다"며 "고객의 컴퓨팅 효율을 높이는 사업을 확대해 나가겠다"고 말했다.

2026.11.09 17:28김동원 기자

스테이지파이브, LLM 기반 AI 고객센터 론칭

스테이지파이브는 24일 자체 보유한 통신서비스 고객센터 데이터를 활용해 LLM 기반으로 최적화한 AI 고객센터를 국내 통신사업자 최초로 선보였다고 밝혔다. 핀다이렉트 AI 고객센터는 시간과 장소의 제약 없이 24시간 고객들의 다양한 형태의 질문을 이해하고 실시간으로 맞춤형 답변을 제공한다. 특히 비정형 질문에도 정확한 대응을 통해 고객의 궁금증을 즉시 해소하며, 상담 인력의 부담을 경감시키는 데 큰 역할을 한다. 실제 AI 상담 도입 후 온라인 상담 처리 건수가 117% 증가했으며, 이 가운데 약 40%는 AI가 처리하고 있다. 반복적이고 단순한 상담 업무는 AI가 대신 처리하고, 복잡한 문의만을 전문 상담원이 직접 처리하는 방식으로 운영하여 상담 인력의 효율적 운영이 가능해졌다. 고객 입장에서도 기존의 정형화된 질문에만 답하는 챗봇 방식에서 벗어나 자유롭게 질문하고 정확한 답변을 실시간으로 받을 수 있어 만족도가 높아졌다. 회사는 현재의 AI 상담을 에이전트 기반으로 추가 개발 중이며 이를 통해 고객정보를 실시간으로 조회하고 보다 전문적인 상담을 제공하는 개인화 기능을 곧 추가 공개할 예정이다. 스테이지파이브는 이번 'AI 고객센터'를 시작으로 'AI 고객케어'와 'AI 세일즈'로 AI 에이전트의 확장 구축을 추진 중이다. 'AI 고객케어'는 고객의 해지의도 추출과 분석을 통해 맞춤형 요금제 제안 및 간편 변경 서비스를 제공하고, 'AI 세일즈'는 잠재 고객군을 수집·추출하여 해당 고객군에 최적의 상품을 효율적으로 제안하도록 세일즈 자동화를 구현하는 것이다. 서상원 스테이지파이브 대표이사는 “AI 고객센터의 도입은 AI 기반 서비스 혁신의 첫걸음으로, AI 기술을 통해 고객들의 시간 절약과 불편함 해소를 돕고 고객 만족도를 획기적으로 개선할 수 있었다”며 “앞으로도 스테이지파이브는 AI와 최신 기술을 접목한 다양한 서비스를 통해 고객들에게 차별화된 경험을 제공할 계획”이라고 말했다.

2025.04.28 12:16박수형 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

수능 끝나도 'AI 부정행위' 추적…시험장에 남은 무선 기록까지 살핀다

'지스타 2026' 첫 주말, 벡스코에 관람객 북적…게임 축제 열기 고조

무신사 코랄핑크 vs 올리브영 마젠타핑크…홍대 뷰티 '핑크' 전쟁

"시연하려면 3시간 대기"…크래프톤 지스타 '타래' 부스에 참관객 인산인해

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.