검색 - IT세상을 바꾸는 힘 지디넷코리아

ZDNet 검색 페이지

'모델 경량화'통합검색 결과 입니다. (5건)

태그
기간
- 3개월
- 1년
- 1년 이전

재검색

노타, 中 '키미 K3' 경량화…GPU 최대 절반 줄여

노타가 최근 업계 주목을 받는 중국 문샷AI의 초거대 인공지능(AI) 모델 '키미 K3'를 경량화해 구동에 필요한 그래픽처리장치(GPU)를 최대 절반으로 줄이는 데 성공했다. 노타는 전문가 모듈을 각각 25%·50% 줄인 키미 K3 경량화 모델 2종을 공개했다고 6일 밝혔다. 2조 8000억 개 매개변수를 갖춘 키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택한 오픈웨이트 모델이다. 이를 구동하려면 엔비디아 최신 고성능 GPU인 B300 8장이 필요해 기업·개발자가 활용하기에 비용과 인프라 부담이 컸다. 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 설계해 일반적인 양자화 방식만으로는 추가 압축 범위가 제한적이라는 문제도 있었다. 노타는 이를 자체 개발한 '비균일 전문가 프루닝' 기술로 해결했다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식이다. 모든 층을 동일 비율로 줄이던 기존 방식과 달리 층별 제거 비율을 다르게 적용해 성능 저하를 최소화했다. 키미 K3 경량화 모델 2종은 구동에 필요한 GPU 수가 기존 8장에서 각각 6장·4장으로 줄었다. 노타 자체 평가 결과, 50% 경량화 모델은 층별 전문가를 동일한 비율로 제거하는 기존 방식(REAP)보다 대다수 벤치마크에서 더 높은 성능 보존율을 기록했다. 고난도 과학·추론 능력 평가(GPQA-Diamond)와 지시 수행 능력 평가(IFeval) 점수는 각각 2.52점, 2.22점 높았다. 김태호 노타 최고기술책임자(CTO)는 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다"고 말했다.

2026.08.06 14:05이나연 기자

노타, 업스테이지 '솔라 오픈2' GPU 8장→2장으로 줄였다

노타가 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에서 엔비디아 H100 그래픽처리장치(GPU) 8장이 필요했던 업스테이지의 차세대 모델을 2장만으로 구동할 수 있도록 최적화하는 데 성공했다. 노타는 독파모 사업 내 업스테이지 컨소시엄에서 2차수 성과물인 '솔라 오픈2' 전용 경량화 모델을 글로벌 AI 플랫폼인 허깅페이스에 공개했다고 27일 밝혔다. 솔라 오픈2는 문서 업무와 코딩, 툴 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 에이전트 AI 구현에 초점을 맞춘 거대언어모델이다. 총 2500억 개의 매개변수(파라미터) 규모로, 실제 작업 시에는 필요한 150억 개만 활성화하는 전문가 혼합(MoE) 구조를 채택했다. 이를 통해 토큰 사용량이 많은 에이전트 업무에서도 효율적인 운영이 가능하게 했다. 노타는 솔라 오픈2 연산 효율을 실제 기업 환경에서의 배포 효율을 극대화하기 위해 ▲데이터 기반 MoE 양자화 ▲라우터 인지형 MoE 양자화 ▲비균일 전역 프루닝 기술을 적용했다. 데이터 기반 MoE 양자화에는 모델 가중치를 INT4 또는 NVFP4 기반의 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 캘리브레이션 데이터를 합성하는 기술인 'PASCAL-MoE'를 활용했다. '라우터 인지형 MoE 양자화'에는 양자화 이후에도 라우터의 전문가 선택이 안정적으로 유지되도록 설계한 자체 양자화 알고리즘을 적용했다. 중요도가 낮은 전문가 모듈을 선택적으로 제거하는 '비균일 전역 프루닝 기술'도 도입했다. 결과적으로 노타는 모델 가중치를 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리해 원본 모델 가중치 메모리를 500.6 기가바이트(GB)에서 117.8 GB로 약 76.5% 감축하는 데 성공했다. 메모리 용량 기준으로 엔비디아 H100 GPU 8장이 필요했던 원본 모델을 2장 환경에서도 구동할 수 있도록 최적화했다는 설명이다. 특히 양자화 이후에도 솔라 오픈2의 에이전트 AI 핵심 기능인 툴 호출이 안정적으로 유지됐다. 김태호 노타 최고기술책임자(CTO)는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다"며 "기업이 자사 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 고도화하겠다"고 말했다.

2026.07.27 10:43이나연 기자

AWS 공인 파트너 '노타', AI칩 최적화 서비스 출시

노타가 아마존웹서비스(AWS)와 함께 모바일(삼성), 반도체 IP(Arm), 데이터센터(퓨리오사AI), 엣지(모빌린트)에 이어 클라우드까지 인공지능(AI) 모델 경량화 사업 영역을 넓힌다. 노타는 AWS 공인 파트너 자격으로 트레이니움을 포함한 AWS AI 칩 환경에서 고객 AI 모델 경량화 및 튜닝 서비스를 제공한다고 7일 밝혔다. 노타는 이번 협력으로 자사 플랫폼 '넷츠프레소' 기반 AI 모델 튜닝 서비스를 출시한다. 대규모 AI 모델 학습에서 토큰 경제성을 제공하는 AWS 트레이니움과 고성능 추론을 낮은 비용으로 제공하는 AWS 인퍼런시아 도입을 검토하는 기업 고객이 대상이다. 넷츠프레소는 AI 모델 크기를 최대 90% 이상 축소하면서도 정확도를 유지할 수 있는 경량화·배포 자동화 플랫폼이다. 서비스는 기술검증(PoC) 및 진단, 모델 포팅 및 경량화, 성능 튜닝 단계로 구성된다. 노타는 AWS 트레이니움 및 인퍼런시아 환경에서 대규모언어모델(LLM) 튜닝 경험을 축적해왔다. 320억 개 파라미터 규모의 고성능 언어 모델에 경량화 기술을 적용해 모델 크기를 68% 줄이면서도 정확도 손실을 1% 미만으로 유지하는 성과를 달성했다. 채명수 노타 대표는 "고객이 뛰어난 가격 대비 성능을 제공하는 AWS AI 칩 성능을 자사 모델에서 온전히 활용할 수 있도록 모델 튜닝을 지원한다"며 "AWS AI 칩 기반 인프라 도입을 검토하는 기업 고객에게 실질적인 비용 효율화 성과를 제공하겠다"고 강조했다.

2026.07.07 16:53이나연 기자

노타, 삼성 '엑시노스'에 AI 최적화 기술 공급…"온디바이스 기술력·시장성 입증"

노타가 삼성전자의 최신 애플리케이션 프로세서(AP)에 인공지능(AI) 최적화 기술을 탑재해 온디바이스 생성형 AI 대중화에 박차를 가한다. 노타는 자사 AI 모델 최적화 기술을 삼성전자의 '엑시노스 2500'에 공급하는 계약을 체결했다고 26일 밝혔다. 이번 계약을 통해 노타는 삼성전자의 AI 모델 최적화 툴체인 '엑시노스 AI 스튜디오'에 핵심 기술을 제공하며 엑시노스 2500 AP에서 고도화된 생성형 AI 경험이 구현될 수 있도록 기술적 기반을 마련했다. 엑시노스 AI 스튜디오는 고객이 개발한 AI 모델을 엑시노스 프로세서에 최적화해 효율적으로 구동할 수 있도록 지원하는 툴체인이다. 여기에 노타의 기술이 접목되면서 모델 최적화 효율과 성능이 향상되는 것은 물론 클라우드 연결 없이도 스마트폰에서 한층 강화된 온디바이스 AI 경험이 가능해졌다. 삼성전자 모바일 AP S/W 개발팀 조철민 상무는 "엑시노스 AI 스튜디오에 노타의 AI 모델 최적화 기술이 적용되면서 온디바이스 AI 모델 개발 효율성이 전작 대비 향상됐다"며 "양사 간 기술 협업으로 좋은 성과를 낼 수 있어 기쁘다"고 밝혔다. 노타는 이번 삼성전자와의 협업으로 기술력에 더해 시장성과 사업성을 입증했다고 강조했다. 노타는 최근 코스닥 시장에 공식 상장했으며 확보한 자금을 북미·유럽·중동 등 주요 글로벌 시장에서의 사업 확장에 투입할 계획이다. 이를 통해 온디바이스 생성형 AI의 상용화를 선도하고 글로벌 AI 기술 리더로서의 입지를 공고히 한다는 방침이다. 채명수 노타 대표는 "삼성전자와의 협업은 우리의 AI 최적화 기술이 글로벌 소비자용 제품에 적용돼 상용화된 의미 있는 사례"라며 "AI 반도체와 소프트웨어의 유기적 결합을 통해 온디바이스에서 고성능 생성형 AI를 구현했다"고 말했다. 이어 "앞으로도 삼성전자 및 글로벌 파트너들과 함께 온디바이스 AI 생태계 확장을 주도해 나가겠다"고 덧붙였다.

2025.11.26 16:23한정호 기자

노타, 온디바이스 기술력 글로벌서 입증…'매드 랜드스케이프' 2년 연속 선정

노타가 글로벌 인공지능(AI) 생태계를 대표하는 주요 벤치마크에 이름을 올리며 기술 경쟁력을 입증했다. 노타는 글로벌 AI 산업의 핵심 지표로 평가되는 '2025 매드(머신러닝·AI·데이터) 랜드스케이프'에서에서 엣지 AI 부문에 2년 연속 선정됐다고 13일 밝혔다. 이는 올해 4월 CB 인사이트가 발표한 '2025 글로벌 혁신 AI 스타트업 100'에 이어 거둔 성과다. 매드 랜드스케이프는 글로벌 VC·테크 업계가 AI·데이터 산업의 구조적 변화를 파악하는 데 활용하는 대표 자료다. 올해 발표에서는 AI가 클라우드 중심에서 디바이스·하드웨어 중심으로 재편되는 흐름이 더욱 뚜렷해졌다는 점이 주목된다. 특히 엣지 AI는 이러한 변화의 중심에 있으며 고성능 모델의 디바이스 탑재 수요 증가에 따라 글로벌 AI 경쟁력의 핵심 지표로 부상한 분야다. 전 세계 1천150여 개 기업이 포함된 이번 매드 랜드스케이프에서 한국 기업은 삼성을 포함해 단 세 곳이며 노타는 엔비디아·퀄컴·애플·인텔·AMD 등 칩셋·디바이스 생태계를 구축한 글로벌 테크 리더들과 함께 엣지 AI 부문에 선정됐다. 이를 통해 노타는 온디바이스 AI 분야에서 기술적 존재감과 글로벌 경쟁력을 빠르게 확대하고 있음을 입증했다. 노타가 독자 개발한 AI 모델 최적화 플랫폼 '넷츠프레소'는 AI 반도체부터 IoT 디바이스까지 다양한 하드웨어에서 모델을 효율적으로 압축·최적화·배포할 수 있는 기술 플랫폼이다. 모델 크기를 최대 90% 이상 줄이면서도 정확도를 유지해 개발·운영 비용을 대폭 절감하며 다양한 산업의 AI 도입 속도를 크게 높이고 있다. 노타는 삼성전자·퀄컴·르네사스·소니 등 글로벌 반도체 기업과 협력을 통해 엣지 인텔리전스 산업 전반에서 입지를 확대하고 있다. 최근에는 저사양 디바이스에서도 대규모언어모델(LLM)을 구동할 수 있는 최적화 기술을 선보여 제조·가전·IoT 등 디바이스 중심 산업으로 온디바이스 AI 적용 범위를 확장 중이다. 또 정부의 독자 AI 파운데이션 모델 개발 프로젝트에 정예팀으로 참여하며 국가적 차원에서도 기술력을 인정받고 있다. 채명수 노타 대표는 "CB 인사이트 AI 100에 이어 매드 랜드스케이프 엣지 AI 부문에도 연달아 선정된 것은 우리의 기술 혁신성이 글로벌에서 인정받은 중요한 성과"라며 "앞으로도 독보적인 AI 경량화·최적화 기술을 기반으로 제조·모빌리티·로봇·가전 등 산업 전반의 적용 범위를 넓히고 글로벌 시장에서 새로운 성장 기회를 주도하겠다"고 말했다.

2025.11.13 16:55한정호 기자