[안광섭 AI 진테제] 독파모 2차 평가가 남긴 것
필자는 지난 10일 이 코너에서 정부의 독자 파운데이션 모델(이하 독파모) 프로젝트 2차 평가에 대해 썼다. 당시는 결과 발표를 앞둔 시점이었고, 필자는 벤치마크 점수보다 실제 쓰임새를 물어야 한다고 주장했다. 그 뒤 열흘 사이에 많은 일이 일어났다. 독파모 2차 평가 결과는 그제 18일 나왔다. 그 사이 벤치마크 점수만 겨냥해 모델을 튜닝했다는 '벤치맥싱(benchmaxing)' 공방이 업계를 달궜고, 평가 기관인 아티피셜 애널리시스(Artificial Analysis)가 직접 입장을 내는 상황까지 갔다. 18일 발표에서 SK텔레콤, LG AI연구원, 업스테이지가 살아 남았고, 아티피셜 애널리시스 벤치마크 점수가 가장 높았던 모티프테크놀로지스는 떨어졌다. 다음 날 언론은 세부 점수 공개를 요구했고, 오늘(20일) 과학기술정보통신부는 항목별 1위 기업과 점수를 담은 보도설명자료를 냈다. 필자는 지난회 칼럼을 "무엇을 재느냐가 결국 무엇을 만드느냐를 결정한다"는 문장으로 끝냈다. 열흘 뒤 이 문장이 이렇게 시험대에 오를 줄은 몰랐다. 지난회 칼럼 이후 여러 곳에서 의견과 인터뷰 요청을 받았고, 대부분 결과가 나온 뒤 답하겠다고 미뤄 뒀다. 이 글이 그 답이다. 1. 벤치마크 1위 탈락, 두 개의 진영 먼저 사실관계다. 이번 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점, 총 100점으로 치러졌다. 벤치마크 40점은 아티피셜 애널리시스 지능지수(AAII) 기반 25점과 한국지능정보사회진흥원(NIA) 벤치마크 15점으로 구성됐다. AAII 점수는 각 사 자체 보고가 아니라 아티피셜 애널리시스가 직접 측정했다. 지난 칼럼에서 "남(외부기관)이 다시 잰 숫자"를 요구했는데, 실제로 그렇게 됐다. 그 남이 잰 숫자에서 모티프의 '모티프 3'는 47점을 받았다. 미국·중국 외 국가 모델 중 최고점이고, 나머지 3개 팀보다 한참 위다. 그럼에도 모티프는 떨어졌다. 여론은 둘로 갈렸다. 한쪽은 "벤치마크만 잘 나오는 모델이니 떨어지는 게 당연하다"고 했고, 다른 쪽은 "최고 점수를 낸 팀을 떨어뜨리는 것은 프로젝트의 자기모순"이라고 했다. 남은 세 팀이 대기업 둘이고 하나는 상장을 앞둔 업스테이지이고 떨어진 팀은 30명 규모 스타트업이라는 점도 논란을 키웠다. 필자가 보기에 두 진영은 정반대 주장을 하는 것 같지만 같은 전제를 공유한다. 이 평가의 본체가 벤치마크였다는 전제다. 하지만 그 전제가 틀렸다. 2. 배점표를 뜯어 보면 두 진영 모두 틀렸다 20일 과기정통부 보도설명자료의 숫자를 그대로 옮긴다. 항목별 최고점과 4팀 평균이다. • AAII 벤치마크(배점 25점): 최고 모티프 11.9점, 평균 9.48점 • NIA 벤치마크(배점 15점): 최고 SK텔레콤 13.4점, 평균 13.05점 • 전문가 평가(배점 35점): 최고 LG AI연구원 29.5점, 평균 28.75점 • AI 전문 사용자진 평가(배점 15점): 최고 SK텔레콤 11.6점, 평균 10.53점 • 일반 국민 평가(배점 10점): 최고 LG AI연구원 7.6점, 평균 7.03점 스케일링 공식을 역산하면 모티프의 AAII 원점수 47점은 나머지 3팀 평균(약 35점)을 12점가량 앞선다. 그런데 배점 환산을 거치면 이 격차는 3.2점으로 압축된다. 100점짜리 시험에서 가장 압도적인 우위가 3.2점짜리 우위로 줄어드는 구조인 것이다. 이 구조는 평가 전에 이미 공개돼 있었다. 벤치마크는 이 평가의 본체가 아니라 배점 25점짜리 항목 하나였다. 그럼 당락은 어디서 갈렸나. 18일 발표에 따르면 영역별 1위와 4위의 격차는 벤치마크 4.0점, 전문가 평가 2.4점, 사용자 평가 5.0점이다. 배점이 가장 큰 전문가 평가(35점)가 가장 변별하지 않았고, 이번에 신설된 사용자 평가(25점)가 가장 크게 변별했다. 과기정통부도 브리핑에서 모티프에 대해 기술력은 뛰어났지만 사용성·활용성에서 다른 기업보다 낮은 평가를 받았다고 설명했다. 정리하면, 모티프가 벤치마크에서 벌어들인 우위보다 사용자 평가에서 잃은 열위가 컸다. 데이터를 가르치는 입장에서 하나 더 짚는다. AI 스타트업 대표 49명으로 구성한 전문 사용자진의 평균 점수를 5점 척도로 환산하면 3.51점, 일반 국민 185명의 평균은 3.52점이다. 전문가와 비전문가 234명이 국산 모델 네 개를 사실상 같은 자리, 즉 '보통과 우수 사이'에 놓았다. 순위 경쟁보다 이 수렴이 국산 모델의 현재 수준을 더 정확히 보여준다. 3. '성능 대 실용성'이라는 가짜 대립 많은 논평이 이번 결과를 '성능은 좋은데 실용성이 없는 모델의 탈락'으로 요약했다. 이 요약은 성능과 실용성을 대립항으로 놓는데, AI에서 이 둘은 대립하지 않는다. 모델의 성능이란 결국 추론 능력이고, 추론 능력이 올라가면 실무 효용도 따라서 커진다. 프론티어 모델들이 코딩과 문서 작업 시장을 잠식하는 것은 벤치마크 점수와 별개의 현상이 아니라 같은 현상이다. 논평들이 실제로 혼동하는 것은 성능과 실용성이 아니라 과업 수행 능력과 비용이다. 무엇을 해낼 수 있는가와, 그것을 얼마에 어떤 형태로 쓸 수 있는가는 다른 축이다. 모티프의 47점은 첫 번째 축의 숫자이고, 사용자 평가에서 잃은 점수는 두 번째 축, 즉 인터페이스와 서빙 안정성과 접근성의 문제다. 이렇게 구분하면 판정의 의미가 달라진다. 모티프는 '일은 잘하는데 실무에 못 쓰는 모델'이 아니라 '일은 잘하는데 아직 상품이 아닌 모델'이었다. 전자는 기술의 실패이고 후자는 제품화의 미완이다. 둘을 섞어 부르면 진단도 처방도 틀리게 된다. 국내 모델의 진짜 문제는 따로 있다. 시험이 바뀌는 순간 점수가 요동친다는 것이다. 아티피셜 애널리시스의 트렌드 자료를 보면, 지능지수가 아홉 개 평가로 구성을 바꿔 가며 개편(현재 v4.1.1)되는 동안에도 국가별 상위권은 미국 프론티어 모델과 중국 오픈웨이트 모델이 유지해 왔다. 능력이 특정 시험 바깥으로 일반화돼 있다는 뜻이다. 이번 배점표 안에도 같은 증거가 있다. 국내에서 설계된 NIA 벤치마크에서 4팀 평균은 13.05점으로 배점 15점의 87%에 달하고, 최고점과 평균의 차이가 0.35점에 불과할 만큼 만점 부근에 밀집해 있다. 반면 에이전트 중심으로 재편된 AAII에서 4팀 평균은 9.48점, 배점 25점의 38%로 떨어진다. 익숙한 시험에서는 다 같이 만점 부근이고, 낯선 시험에서는 다 같이 절반 아래다. 벤치맥싱 비판이 겨냥해야 할 과녁은 이것이고, 검증법은 간단하다. 시험을 바꿔서 다시 재면 된다. 이 기준으로 보면 모티프의 47점은 오히려 무게가 실린다. 바뀐 시험, 전 세계 모델이 아직 다 잘하지 못하는 새 평가에서 낸 점수이기 때문이다. 4. 이것은 경진대회가 아니라 조달이었다 그렇다면 모티프를 떨어뜨린 판정은 잘못됐나. 필자의 답은, 불편하지만, 아니다에 가깝다. 독파모를 단독 사업으로 보면 '국가대표 AI 선발전'으로 읽힌다. 그러나 정부의 AI 사업 포트폴리오 안에 놓고 보면 다르게 읽힌다. 정부는 '모두의 AI'로 국민 대상 AI 서비스 보급을, '전국민 AI 경진대회'와 'AI 배움터'로 이용 저변을, 'AI 테스트베드'로 검증 인프라를 만들고 있다. 전부 수요와 확산 쪽 인프라다. 그 옆에 놓인 독파모는 가장 좋은 모델을 뽑는 대회가 아니라, 이 인프라에 연결할 공급자, 즉 소버린 AI를 장기간 운영할 조직을 고르는 조달에 가깝다. 조달에서 공급자를 고를 때는 기술력만큼 지속가능성을 본다. 자본, 인력 유지, 서빙 인프라, 유통 채널이다. 2차 평가에서 활용성 배점이 10점에서 15점으로 오르고 1차의 배점 항목이던 독자성이 최소기준 체크로 바뀐 것은 이 성격 전환의 문서적 증거다. 그 기준으로 통신 가입자와 에이닷을 가진 SK텔레콤, 그룹 계열사와 단말을 가진 LG, 포털을 확보한 업스테이지를 남긴 판단은, 최선인지는 몰라도 조달로서는 일관된 판단이다. 그리고 이것은 필자가 지난 칼럼에서 내린 결론과 같은 방향이다. 필자는 "'모델'이 아니라 '조직'에 기대하라. 모델은 6개월이면 낡지만 조직은 남는다"고 썼다. 정부가 한 일이 바로 그것이다. 모델 점수 1위를 떨어뜨리고 조직을 남겼다. 5. 측정이 만든 것들 판정이 방어된다면 글은 여기서 끝나야 한다. 그런데 끝나지 않는다. 배점표는 평가 결과만 만든 것이 아니다. 기업들의 행동을 바꿨다. 첫 번째 사례는 업스테이지다. 업스테이지는 올해 1월 카카오와 포털 다음(Daum) 운영사 지분 인수 양해각서를 맺고 5월 본계약을 체결했다. 현재 공정거래위원회 기업결합 심사 중이다. 인수 명분에는 독파모로 개발 중인 모델의 대국민 확산이 명시됐고, 20일 자료에 공개된 전문가 평가 의견에서 다음 연계 추진은 실제 긍정 평가 사유로 꼽혔다. 인수의 주된 동기가 상장을 앞둔 외형 확충이라는 분석이 유력하지만, 확산 배점과 상장 전략이 같은 방향을 가리켰고 그 선택이 평가에서 득점했다는 사실은 남는다. 이 대목에서 필자가 교정해야 할 것이 있다. 지난 칼럼에서 필자는 '솔라 오픈 2'를 다음 포털에 얹는 계획을 영리한 유통 전략으로 평가했다. 절반만 맞았다. 그것은 제휴가 아니라 인수한 자기 채널에 얹는 것이고, 제3자 채택이 아니라 내부 활용에 가깝다. 남의 플랫폼이 내 모델을 선택하는 것과 내가 산 플랫폼에 내 모델을 싣는 것은 확산의 증거로서 무게가 다르다. 확산 항목이 이 둘을 구분하지 않는다면, 채널은 빌리는 것보다 사는 것이 확실하다는 교훈만 남는다. 두 번째 사례는 모티프다. 모티프테크놀로지스는 무명의 신생 팀이 아니다. 국산 슈퍼컴퓨터 '천둥'을 만든 서울대 연구진이 2020년 세운 AI 인프라 소프트웨어 회사 모레(Moreh)가 파운데이션 모델 사업을 위해 분사한 회사다. 모레는 엔비디아 쿠다(CUDA)를 대체하는 소프트웨어로 KT와 AMD의 전략 투자를 받았고, 2024년 말 102B 규모 한국어 모델을 공개하며 모델 사업 진출을 예고했다. 30명이 GPU 700여 장으로 5개월 만에 314B 모델을 만든 것은 기적이 아니라, GPU 커널부터 다뤄 온 시스템 소프트웨어 조직의 축적이 모델로 전환된 것이다. 이 계보를 알면 '대자본에 희생된 언더독'이라는 서사는 유지되기 어렵다. 모티프는 자본이 없는 팀이 아니라 KT와 AMD가 투자한 인프라 기업의 모델 사업 부문이다. 흥미로운 것은 그 모회사 모레가 YTN 보도에 따르면 업스테이지와 함께 AMD 반도체 기반 거대언어모델 구축 협력을 진행 중이라는 점이다. 평가에서는 탈락팀과 생존팀이지만 공급망에서는 같은 방향을 보는 파트너다. 두 사례를 나란히 놓으면 구조가 보인다. 확산을 배점하자, 채널이 없던 한 회사는 30년 된 포털을 통째로 샀고, 채널이 없던 다른 회사는 떨어졌다. 확산 실적을 절대량으로 재는 항목은, GTM(Go To Market) 전략의 언어로 말하면 모델 역량의 측정이 아니라 보유 채널 자산의 대리 측정이다. 정부도 이 비대칭을 인지해 모티프에게 기존 모델의 확산 실적까지 폭넓게 인정하는 보정을 뒀지만, 배점표가 재는 것 자체를 바꾸지는 못했다. 무엇을 재느냐가 무엇을 만드느냐를 결정한다는 지난 칼럼의 문장은 경고로 쓴 것인데, 열흘 사이에 실제로 일어난 일이 됐다. 측정 기준 하나가 한 회사의 인수합병을 밀었고, 다른 회사를 탈락시켰다. 6. 누구를 떨어뜨렸어도 시끄러웠을 것 그럼에도 논란이 이렇게 커진 이유를 판정의 하자에서만 찾으면 다음 라운드에서 같은 일이 반복된다. 네 팀 중 하나를 떨어뜨려야 하는 구조에서, 다른 팀이 떨어졌다면 조용했을까? SK텔레콤이 떨어졌다면 가장 많은 사용자를 가진 서비스를 떨어뜨렸다는 비판이, LG가 떨어졌다면 사용자 평가 1위를 떨어뜨렸다는 비판이, 업스테이지가 떨어졌다면 가장 빠르게 성장하는 AI 기업을 꺾었다는 비판이 나왔을 것이다. 그리고 모티프가 남았다면, 벤치맥싱을 성토하던 바로 그 목소리가 벤치마크 점수로 뽑았다고 성토했을 것이다. 어떤 조합을 골라도 비판이 성립하는 구조였다. 비판이 반증 불가능하다면 그것은 판정에 대한 비판이 아니라, 위원회가 선별한다는 사실 자체에 대한 불신이다. 그 불신에는 두 개의 실재하는 뿌리가 있다. 하나는 사업의 성격 규정 실패다. 조달을 하면서 국가대표 선발전으로 브랜딩했다. 배점표 맨 앞에 글로벌 지수를 걸고 언론이 점수 경쟁으로 중계하게 두었다가 지수 1위를 떨어뜨리면, 대중의 눈에는 모순으로 보일 수밖에 없다. 결과 공개 방식도 이 실패를 키웠다. 낙인효과를 이유로 점수를 비공개했다가 논란이 커지자 이틀 만에 공개로 돌아섰는데, 공개된 것도 항목별 1위와 평균뿐이라 종합 순위는 여전히 재구성되지 않는다. 공개된 다섯 항목 중 1위가 하나도 없는 업스테이지의 통과는 논리적으로 얼마든지 가능한 결과이지만, 설명 자료를 다 읽고도 독자가 순위를 검증할 수 없다면 투명성의 목적은 달성되지 않은 것이다. 다른 하나가 더 근본적인데, 독파모 바깥에 있다. 미국이나 중국이라면 에이전트 벤치마크에서 그 성적을 낸 30명 팀은 정부 사업에서 떨어져도 투자 제안과 서빙 제안을 받는다. 한국에서는 프런티어급 컴퓨트와 자본에 접근하는 경로가 사실상 이 프로젝트 하나다. 탈락이 다음 라운드 진출 실패가 아니라 퇴출처럼 읽히는 이유, 여론이 언더독 서사에 이토록 반응한 이유가 여기에 있다. 시장이 해야 할 선별을 위원회가 1년에 몇 번 대신하는 구조에서는 어떤 판정도 시장의 판정보다 잔인하게 읽힌다. 임정환 모티프 대표가 탈락 직후 내놓은 입장은 이랬다. "결과에 상관없이 이번 독파모 프로젝트를 통해 기술력만으로 한국에서도 글로벌 프론티어 수준의 AI 모델 개발이 가능하다는 것을 증명했다는 점에서 매우 뜻깊었다." 임 대표는 "앞으로도 글로벌 프론티어 모델 개발에 전력을 다할 것"이라고 덧붙였다. 실제로 모티프는 결과 발표 당일 마감된 '모두의 AI' 사업자 공모에 KT 컨소시엄으로 참여했다. 탈락이 끝이 아니라는 것을 회사가 먼저 행동으로 보여준 셈이다. 마무리: 3차 평가가 물어야 할 것 3차를 앞두고 물어야 할 질문을 정부 몫과 시장 몫으로 나눈다. 정부 몫은 두 가지다. 첫째, 확산을 계속 배점할 거라면 절대량이 아니라 증가율과 생태계 기여도로 재야 한다. 절대량 배점은 다음 라운드에서도 채널 자산이 큰 팀의 승리를 예약해 두는 것이고, 그러면 평가는 측정이 아니라 확인이 된다. 둘째, 탈락팀의 성과가 소멸하지 않는 경로를 넓혀야 한다. 모두의 AI 공모는 독파모 탈락 기업에도 열려 있고 모티프는 실제로 그 문으로 들어갔다. 이 구조를 AI 테스트베드 같은 확산 인프라 전반으로 넓히는 것은 조달의 목적과도 어긋나지 않는다. 목표가 순위 경쟁이 아니라 생태계 육성이라는 공언의 증명은, 잔류팀 지원이 아니라 탈락팀의 다음 6개월에서 나온다. 시장 몫의 질문은 더 무겁다. 사용성 논쟁이 소모적으로 흐르지 않으려면 제3자가 재고 결과가 업무 완수로 나오는 지표를 봐야 한다. 참고할 지표는 이미 있다. 안돈랩스(Andon Labs)의 벤딩벤치 2는 AI에게 가상의 '자판기 사업'을 1년간 맡기고 최종 잔고로 채점한다. 아레나(Arena.ai)의 에이전트 리더보드는 실사용 세션 189만 건을 기반으로 도구 활용과 작업 완수를 잰다. 두 지표의 상위권은 미국 프론티어와 중국 오픈웨이트 모델들이 채우고 있다. 시험이 바뀌어도 점수가 유지되는 모델들이다. 이 대목에서 공정성 논쟁에 보태야 할 사실이 하나 있다. 오늘(20일) 기준 아레나의 에이전트 워크 리더보드에 오른 50개 모델 중 국산은 업스테이지의 '솔라 프로 4 하나'로 45위, 하위권이다. 업스테이지는 텍스트 아레나(393개 모델 중 171위)와 코드 아레나(117개 모델 중 77위)에도 모델을 올려 두고 있다. 순위만 보면 초라해 보일 수 있다. 그러나 나머지 국내 팀들은 이 무대에서 순위가 낮은 것이 아니라 무대에 없다. 국가대표 선발의 공정성을 따지는 논쟁은 뜨거웠지만, 세계가 보는 리더보드에 모델을 올려 검증받는 팀이 하나뿐이라는 사실은 거의 논의되지 않았다. 필자가 보기에 3차 평가가 배점해야 할 것은 자기 채널의 탑재 실적이 아니라, 이런 다양한 외부 무대에서 검증받은 기록이다. 가령, 금융 업무 완수를 재는 벤치마크에서 국내 최고점을 낸 모델이 나왔는데도 국내 금융사와 엔터프라이즈가 움직이지 않는다면, 문제는 모델 공급이 아니라 수요 쪽의 검증 역량이다. 지난 칼럼에서 확인했듯 다운로드 수는 채택의 증거가 아니다. 채택은 계약으로 확인되고, 그 계약은 정부가 아니라 시장에서 나온다. 끝으로 지난 칼럼의 마지막 문장을 정정한다. 무엇을 재느냐는 무엇을 만드느냐만 결정하는 것이 아니었다. 누가 남느냐까지 결정한다. 측정 설계는 기술의 문제가 아니라 산업 구조의 문제이고, 3차 평가의 배점표는 그 자체로 한국 AI 산업에 보내는 가장 강한 시그널이 될 것이다.
