中 칭화대 GPT4 넘어선 AI 챗봇 '무료 배포'

중국 칭화대가 이중 언어로 대화할 수 있는 인공지능(AI) 챗봇 모델을 개발하고 무료 제공하겠다고 밝혔다. 15일 칭화대 컴퓨팅 기술 성과 상용화 기업인 '즈푸AI'와 칭화 KEG 실험실은 중국어-영어 대형 언어 모델인 '챗GLM-6B'와 '챗GLM2-6B'를 학술 연구에 완전히 공개할 것이며 자신들의 허가를 받은 후에는 기업도 무료로 사용할 수 있다고 밝혔다. 앞서 개발 주체인 칭화대 데이터마이닝연구실(TUHDM)이 3월 14일 중국어-영어 이중 언어 대화 모델 챗GLM-6B를 발표했다. 이 모델은 일반언어모델(GLM) 아키텍처를 기반으로 하며 62억 개의 매개변수가 있다. 이어 6월 25일에 챗GLM2-6B 모델이 공개됐다. 이 모델은 초기 모델의 유창한 대화와 낮은 배포 문턱 등을 유지하면서 새로운 기능을 추가했다. 챗GLM2-6B는 GLM의 혼합목적함수를 사용, 1조4천억 개의 중국어 및 영어 토큰 데이터 세트에 대해 학습하고 모델 정렬을 수행했다. 추론 속도는 1세대에 비해 42% 증가했으며 생성 속도도 개선했다. 콘텍스트 길이는 챗GLM-6B의 2K에서 32K로 늘렸다. 추론 속도와 리소스 효율성 측면에서 효율적 추론과 낮은 메모리 사용을 달성할 수 있는 멀티쿼리어텐션(Multi-Query Attention) 기술을 사용한다. 공개된 자료에 따르면 챗GLM2-6B는 상하이교통대학 언어지능기술실험실이 운영하는 중국어 기초 모델 평가(Ceval) 키트에서 GPT4를 앞섰다. 두 모델은 7월 초 기준 허깅페이스(Huggingface)에서 이미 다운로드량이 300만과 120만을 각각 넘어섰다. 허깅페이스는 자연어처리 스타트업이 개발한 트랜스포머 모델 제공 모듈이다. 트랜스포머 모델은 문장 속 단어를 순차적이 아닌 병렬로 처리하면서 단어들의 관계를 통해 의미를 파악해낸다. GPT의 핵심 기술로서 미국 오픈AI의 챗GPT 아키텍처이기도 하다. 즈푸AI와 칭화 KEG는 "중국산 빅모델 오픈소스 생태계 발전을 위해 두 모델의 가중치를 학술 연구에 완전히 개방하기로 했다"고 설명했다.