알리바바 '큐원4' 예고편 나왔다…훈련비용 9분의 1 절감
중국 알리바바가 차세대 인공지능(AI) 모델 '큐원4' 핵심 설계를 앞당겨 발표했다. 26일 알리바바 큐원팀은 자사 블로그를 통해 새 모델 '큐원3.8-플래시-넥스트'를 공개했다. 기존보다 훈련 비용을 9분의 1로 줄이면서도 코딩·사무 업무 성능은 끌어올린 저비용 개방형 모델이다. 이 모델은 전체 규모가 1250억개(125B) 파라미터에 이르지만 문장을 처리할 때마다 그중 60억개(6B)만 골라 쓴다. 모델 전체를 매번 돌리는 대신 필요한 부분만 켜서 사용한다. 큐원팀은 "이 방식으로 직전 모델인 '큐원3.7-플러스'보다 훈련 비용을 약 9분의 1 수준까지 낮췄다"며 "사용료도 입력 100만 토큰당 0.16달러, 출력 100만 토큰당 0.47달러 수준"이라고 밝혔다. 큐원3.8-플래시-넥스트는 내년 출시할 큐원4에 어떤 기술이 들어갈지 핵심만 미리 보여준 예고편 모델이다. 알리바바는 과거에도 새로운 큐원 모델을 내놓기 전, 그 안에 쓸 설계를 먼저 공개해 왔다. 이번에는 모델 '가중치'도 함께 공개했다. 가중치는 AI가 학습을 통해 얻은 결과물로 모델 두뇌에 해당한다. 이를 공개하면 누구나 모델을 내려받아 직접 뜯어보거나 자신의 서비스에 활용할 수 있다. 큐원팀은 "개발자들이 큐원4 설계를 미리 검증할 수 있도록 개방했다"고 밝혔다. 새로운 기술 가운데 하나는 '큐원 스파스 어텐션(QSA)'이다. AI는 긴 글을 이해할 때 앞 내용을 모두 다시 훑어보기 때문에 문맥이 길어질수록 비용이 늘어난다. QSA는 글을 작은 덩어리로 묶은 뒤 중요한 부분만 골라 보는 방식으로 이 비용을 줄인다. QSA는 '어디가 중요한지 찾는' 탐색 비용까지 아꼈다. 기존 기술은 글이 길어질수록 이 탐색 작업에서도 비용이 늘어나는 한계가 있었다. 큐원팀은 QSA를 적용해 100만 토큰 분량의 긴 문맥에서 처리 속도가 최대 7.6배 빨라졌다고 밝혔다. 'N-그램 임베딩'이라는 기술도 새로 적용했다. 보통 AI는 단어 하나를 기준으로 정보를 찾지만 이 기술은 앞뒤 몇 개 단어를 함께 묶어 문맥으로 정보를 찾는다. 이를 통해 연산량은 거의 늘리지 않으면서 모델 용량만 510억개(51B) 파라미터만큼 키웠다. 해당 부분은 그래픽처리장치(GPU)가 아닌 일반 메모리에 저장해 두고 필요할 때만 불러오도록 설계해 GPU 부담도 줄였다. 정보가 모델 내부를 더 잘 흐르도록 하는 '게이티드 레지듀얼(GR)' 기술도 담았다. AI는 여러 층을 거치며 정보를 처리하는데 층이 깊어질수록 초반 정보가 흐려지기 쉽다. GR은 정보가 지나가는 통로를 하나에서 네 갈래로 넓혀 초기 정보가 뒤쪽 층까지 전달되도록 했다. 큐원팀은 이를 통해 학습 안정성도 높였다고 설명했다. 큐원팀은 자체 성능 평가에서 이 모델이 앤트로픽 '클로드 오퍼스 4.6', 딥시크 'V4' 등 경쟁 모델과 비교해 코딩과 도구 활용 등 일부 업무에서 앞섰다고 발표했다. 다만 이번에 공개된 성능·속도 수치는 모두 큐원팀이 자체적으로 측정한 값이다. 외부 기관 검증은 아직 이뤄지지 않았다. 큐원3.8-플래시-넥스트는 현재 허깅페이스 모델스코프에서 내려받을 수 있다 알리바바 클라우드를 통해 API로도 제공된다. 클로드 코드, 코덱스 등 주요 코딩 도구와도 연동된다.
