디노티시아·한양대, AI양자화 평가 플랫폼 오픈소스로 공개
인공지능(AI)·반도체 통합 솔루션 전문기업 디노티시아는 한양대학교 AIHA 연구실과 산학협력 연구를 통해 개발한 AI 양자화 알고리즘 평가 플랫폼, 'QLLM-INFER'를 깃허브(GitHub)에 오픈소스로 공개했다고 8일 밝혔다. 이 플랫폼은 '아파치 2.0' 라이선스를 적용해 누구나 자유롭게 사용하고 기여할 수 있다. 오픈소스를 그대로 재배포하거나 수정하여 재배포하더라도 소스 코드를 공개할 의무가 없으며, 상업적 이용에도 제한이 없다. 최근 챗GPT와 같은 대규모 언어 모델(LLM)이 주목받으면서 AI 기술의 활용 범위가 급격히 넓어지고 있다. 그러나 이러한 모델은 높은 연산량과 메모리 사용으로 인해 실제 서비스나 개인용 컴퓨터 및 스마트폰에 적용하기 어렵다. 이를 해결하기 위한 방법이 양자화 기술이다. 양자화는 AI 모델의 계산 정밀도를 낮춰 더 빠르게 만드는 기술로, 큰 숫자를 작은 숫자로 압축하는 방식이다. 이를 통해 AI 모델은 원래 성능을 유지하면서도 메모리 사용량과 연산 속도를 크게 줄일 수 있다. 그러나 지금까지 다양한 양자화 알고리즘이 서로 다른 환경과 조건에서 평가돼, 어느 기술이 더 좋은 지 객관적으로 비교하기 어려웠다. 디노티시아와 한양대는 이런 문제를 해결하고자 표준화된 환경에서 알고리즘 성능을 정확히 비교할 수 있는 플랫폼을 만들었다. 또한 최근 3년(2022~2024년)동안 가장 많이 주목받은 양자화 기술 8가지를 선정해 동일한 조건에서 객관적으로 평가했다. 특히 이 플랫폼은 ▲가중치와 활성화 값(모델의 기억과 계산을 담당하는 값)을 모두 줄이는 방식, ▲가중치만 줄이는 방식, ▲AI가 긴 입력을 처리할 때 임시 저장하는 공간(KV 캐시)을 줄이는 방식 등 세 가지 유형으로 나눠 알고리즘 성능을 분석했다. 정무경 디노티시아 대표는 “LLM 서비스가 널리 상용화되기 위해서는 양자화를 통한 모델 경량화가 필수적이지만, 어떤 양자화 기술이 타겟 응용과 시스템에 더 유효한 지 판단이 어렵다”며 “'QLLM-INFER'는 양자화 알고리즘의 성능을 객관적이고 투명하게 비교할 수 있는 오픈소스 플랫폼으로, 최적의 양자화 솔루션을 선택하거나 새로운 양자화 기술을 개발할 때 큰 도움을 줄 것”이라고 강조했다. 최정욱 한양대학교 융합전자공학과 교수는 “지금까지 양자화 기술은 연구마다 기준이 달라 객관적 비교가 어려웠다”며 “이번 플랫폼은 AI 연구에 처음으로 표준화된 평가 기준을 제시했다는 점에서 학문적으로 의미가 크며, AI 연구자들이 이 플랫폼을 통해 더욱 객관적이고 신뢰성 높은 연구 성과를 낼 수 있을 것으로 기대한다”고 말했다. 한편 디노티시아는 최근 한국어 논리 추론 AI모델인 'DNA-R1'을 오픈소스로 공개해 한국어 AI 연구 활성화에 기여하고 있다는 평가를 받고 있다.
