[AI는 지금] 대기업 발 뺀 독파모 '패자부활전'…모티프·트릴리온랩스 덕에 활기
정부가 국가대표 AI를 선발하는 독자 파운데이션 모델(독파모) 프로젝트에 '패자부활전'을 도입한 후 여러 대기업이 외면하는 것과 달리 스타트업이 잇따라 도전장을 던지면서 새로운 활기를 불어넣고 있다. 이들 중 한 곳이 추가 컨소시엄으로 선정될 경우 독파모 사업이 대기업과 스타트업의 대결 구도로 펼쳐질 것으로 예상된다.20일 업계에 따르면 모티프테크놀로지스, 트릴리온랩스는 조만간 진행되는 독파모 개발 사업 추가 공모에 참여할 예정이다. 모티프테크놀로지스, 트릴리온랩스는 각각 주관기업, 참여기업으로 독파모 1차 공모에 도전했다가 탈락한 바 있다. 모티프테크놀로지스는 반도체 기업 모레 자회사로, 고성능 대형언어모델(LLM)과 대형멀티모달모델(LMM) 모두를 파운데이션 모델로 개발한 경험을 갖췄다. 특히 지난 해 11월 공개한 LLM '모티프 12.7B'는 모델 구축부터 데이터 학습까지 전 과정을 직접 수행한 순수 국산 기술이란 점에서 주목 받고 있다. 기존 트랜스포머 구조를 그대로 쓰지 않고 '그룹별 차등 어텐션(GDA)' 기술을 자체적으로 개발해 적용해 경쟁력이 있다고 평가 받는다. 모티프테크놀로지스 관계자는 "이는 단순히 모델을 바닥부터 학습시키는 '프롬 스크래치'를 넘어 지능 핵심인 어텐션 함수와 모델의 아키텍처 자체를 새롭게 설계한 것"이라며 "12.7B 파라미터의 비교적 작은 LLM인 이 모델은 글로벌 AI 모델 성능을 종합평가하는 '아티피셜 애널리시스'의 인텔리전스지수(AAII)에서 675B에 달하는 '미스트랄 라지 3' 같은 대형 LLM보다 높은 점수를 기록했다"고 설명했다. 트릴리온랩스도 핵심 전략으로 완전한 '프롬 스크래치'를 내세워 이번에 도전장을 던진다. 이곳은 이미 의료 AI 스타트업 루닛과 함께 정부의 'AI 특화 파운데이션 모델' 사업자로 선정돼 의과학·바이오 특화 AI 모델 개발 과제를 수행하며 기술력을 입증하고 있다.특히 설립 1년 만에 700억(70B) 매개변수 규모의 LLM을 자체 기술로 개발한 경험이 있다는 점에서 기대감을 높이고 있다. 또 트릴리온랩스가 보유한 '도메인 특화 증류 기반 소형 LLM 전문가 혼합(MoE) 구조 기술'은 국가전략기술로 채택되기도 했다. 신재민 트릴리온랩스 대표는 "특화 AI 모델 개발 과제에 참여 중이어서 그동안 독파모 추가 공모에 참여해도 될지 망설였다가 최근 정부로부터 지원 자격에 제한이 없다는 답변을 받고 이처럼 결정하게 됐다"며 "그동안 프롬 스크래치 모델을 만들기 위해 전력을 쏟았던 만큼, 이번에 도전하면 승산이 있다고 생각했다"고 밝혔다. 이어 "GPU를 H100 기준 2천 장을 사용해 '덴스(Dense)' 구조로 70B 모델을 선보여 봤던 경험이 있다는 점도 우리의 경쟁력"이라며 "H100, H200, B200 등 다양한 GPU를 사용했던 경험과 완전한 프롬 스크래치 아키텍처로 AI 모델을 개발해봤던 저력이 있던 만큼 충분히 경쟁할 수 있을 것으로 본다"고 덧붙였다. 실제 트릴리온랩스가 강조한 '덴스 모델'은 독파모 1차 경쟁 5개 업체 중 네이버클라우드가 유일하게 적용해 주목 받은 바 있다. '덴스 모델'은 모든 파라미터가 매번 계산에 참여하는 전통적인 모델 구조로, 어떤 것을 입력하든지 항상 같은 경로로 계산이 돼 지연 시간과 비용이 MoE에 비해 안정적이라고 평가된다.다만 네이버클라우드는 경쟁사들에 비해 전체 파라미터 수가 굉장히 작아 평가 시 다소 불리한 위치에 놓여 있다는 평가가 많았다. 당초 1차 심사 때 옴니 모델을 14B로 선보일 것이라고 목표했던 것과 달리 모델 크기가 8B에 그쳤다는 것도 아쉬운 점으로 지목됐다.트릴리온랩스는 70B에 '덴스 모델'을 적용했다는 점에서 이번 추가 모집에서 우위를 차지할 수 있을 것으로 자신하는 분위기다. 또 개발 과정에서 '중간 체크포인트(Checkpoint)'를 매번 공개하면서 그간 독파모 선발 과정에서 제기됐던 '독자성'에 대한 의혹도 즉시 차단한다는 방침이다. 신 대표는 "10% 학습된 모델, 20% 학습된 모델 등을 개발했을 때마다 공개해 누구나 다운 받아 트래킹할 수 있도록 개방할 것"이라며 "최종 공개된 모델까지 극단적으로 투명하게 공개해 독자성 등과 관련한 논란을 원천 봉쇄할 수 있게 할 것"이라고 설명했다. 이어 "우리 모델이 진화하는 모습을 보면서 더 많은 사람들이 관심을 가지고 연구하게 될 것이라 믿는다"며 "자연스럽게 국내를 넘어 글로벌 AI 학습 생태계가 더 활발히 조성될 수 있도록 하는 것이 목표"라고 부연했다. 이 같은 분위기 속에 정부는 조만간 LG AI연구원과 업스테이지, SK텔레콤 등 독파모 2차 단계에서 함께 실력을 겨룰 1개 컨소시엄 선발에 대한 공고를 할 예정이다. 이번에 선발된 1개 팀은 이르면 7월 중순께 시행될 2차 평가에서 3개 컨소시엄과 실력을 겨루게 된다. 만약 모티프테크놀로지스나 트릴리온랩스 중 한 곳이 선정되면 LG AI연구원, SK텔레콤 등 대기업 2곳과 업스테이지 등 스타트업 2곳의 경쟁이 펼쳐질 것으로 보인다. 그러나 네이버클라우드와 KT, 카카오, NC AI 등 기존 독파모 탈락 대기업들은 지식재산권(IP) 부담과 '탈락 기업'이라는 낙인 리스크에 대한 우려로 추가 선발전에 참여하지 않기로 했다. 이처럼 대기업의 잇따른 불참 결정으로 독파모 패자부활전의 불씨가 꺼져가는 듯 했으나 스타트업들이 참여 의사를 밝히면서 정부도 흥행에 다시 기대감을 드러내는 눈치다. 코난테크놀로지스 등 일부 업체들도 참여 여부를 두고 고심 중인 것으로 알려졌다. 류제명 과기정통부 2차관은 지난 15일 브리핑에서 "추가 참여 기업에도 총 프로젝트 기간과 정부가 지원하는 GPU·데이터는 동일하게 설계해 제공할 것"이라며 "프로젝트 종료 시점이 다르더라도 2단계를 마칠 때까지 동일한 기간을 보장하고, 평가는 6~7월로 한 달 정도 유연하게 운영할 계획"이라고 밝혔다.
