작게, 더 작게…AI 모델 크기 줄인다
오픈AI, 마이크로소프트, 구글 등 인공지능(AI) 기업들이 과도한 비용경쟁 문제를 해결하기 위해 매개변수 줄이기에 나선다. 월스트리트저널(WSJ) 등 외신은 8일 구글, 오픈AI 등 빅테크와 미스트랄, 앤트로픽 등 AI 스타트업들이 대규모 AI모델에서 매개변수가 적은 모델로 개발 방향을 바꾸는 중이라고 보도했다. AI 기업들의 개발 방향 변화는 보다 저렴한 비용으로 효율적인 AI 모델을 구축하기 위함이란 분석이다. 예상보다 AI 모델 개발 및 운영 비용이 기하급수적으로 증가하며 보다 저렴하고, 빠르고, 전문화하기 위해 작은 규모의 AI 개발에 집중한다는 것이다. 특히 문서 요약이나 이미지 생성 등 일반적인 작업에 대규모 AI 모델을 활용하는 것은 과도한 비용낭비라는 지적이다. WSJ에 따르면 오픈AI GPT-4처럼 1조개가 넘는 매개변수 기반 AI 모델을 개발하고 사용하기 위해선 1억 달러(약 1천378억원)가 들어간다. 반면 100억개 미만의 매개변수가 들어간 더 작은 데이터 세트를 사용하면 1천만 달러(약 137억8천만원) 미만의 비용이 필요하다고 말했다. 더 작은 모델은 학습 비용 외에도 컴퓨팅파워도 덜 사용하는 만큼 매번 데이터 입력이나 분석 등의 작업에 들어가는 비용도 줄어든다. 모델 크기가 줄어든 만큼 메모리가 작은 휴대폰, 임베디드 시스템에서도 활용할 수 있다. 휴대전화, 노트북 등 디바이스에서 자체 AI로 운영하는 만큼 통신이나 클라우드 비용에 대한 제약도 없다. AI 기업들은 매개변수의 수는 줄였지만 실제 성능은 기존AI와 비슷한 수준으로 유지하거나 검색, 이미지 분석 등 특정 분야에 특화해 보다 높은 성능을 달성하는 방향으로 연구 중이다. 대규모 생성형 AI 개발을 위해 수십억 달러를 투자한 마이크로소프트는 최근 챗GPT의 100분의 1 규모의 매개 변수로 비슷한 수준의 성능을 달성하는 소규모 대형언어모델(sLLM) 파이(Phi)를 공개한 바 있다. 이와 함께 대규모 클라우드 기반 슈퍼컴퓨터 없이 다양한 검색 및 이미지 생성 기능을 지원하는 AI노트북도 선보인 바 있다. 마이크로소프트의 유수프 메흐디 최고상업책임자(CCO)는 "우리는 세상이 다양한 모델로 가득 찰 것으로 점점 더 믿고 있다"며 기술의 발전에 따라 하나의 AI가 아닌 다양한 AI로 다변화할 것으로 전망했다. 애플 역시 지난 6월 애플 세계 개발자 회의(WWDC2024)를 통해 애플 인텔리전스 로드맵을 공개하면서 소형 AI 모델을 사용한다고 발표했다. 오는 9월 출시할 아이폰 16시리즈에 'A18' 칩을 사용할 계획이며 시리(Siri)를 전면 개편해 제미나이, 클로드 등을 이용한 대화형 AI 비서를 사용할 예정이다. 다만 여기에도 큰 크기의 AI 모델은 필요하지 않기 때문에 아이폰이 감당할 수 있는 크기의 AI가 도입될 것이라고 외신들은 분석했다. 구글과 미스트랄, 앤트로픽, 코히어도 올해 더 작은 규모의 AI모델을 출시한 바 있다. 세일즈포스 클라라 쉬 AI 총책임자는 "거대 모델을 쓰는 건 소 잡는 칼로 닭을 잡는 것과 같다"며 "기업 경영 입장에선 오버페이를 하면서도 업데이트 지연 문제가 일어나는 걸 원하지 않을 것"이라고 설명했다.
