[AI 리더스] 한국 온 조지 카메론 AA 창업자 "AAII 개편, 모티프 독파모 탈락과 무관"
"이번 개편은 특정 사건에 반응해 이뤄진 조치가 아닙니다. 우리는 일반적인 관점에서 인공지능(AI)을 가장 잘 측정할 수 있는 방법론을 만드는 데만 집중하고 있습니다."조지 카메론 아티피셜 애널리시스 공동창업자 겸 최고제품책임자(CPO)가 이달 초 진행된 '인텔리전스 인덱스(AAII) v4.2' 개편을 두고 한국의 독자 AI 파운데이션 모델 평가에서 불거진 모티프테크놀로지스 탈락 논란과는 무관하다고 선을 그었다. 모티프가 AAII에서는 참여팀 가운데 가장 높은 점수를 받고도 정부 종합평가에서 탈락하면서 벤치마크와 실제 성능 간 괴리를 둘러싼 논쟁이 커졌지만, 이번 개편은 특정 기업이나 사례에 대응한 조치가 아니라고 강조했다. 카메론 CPO는 14일 서울 강서구 마곡 LG사이언스파크에서 열린 'LG AI 토크 콘서트 2026'에 참석한 후 지디넷코리아와 만나 "인텔리전스 인덱스는 최신 AI 역량을 반영할 수 있도록 계속 업데이트해 왔다"며 "이번에는 터미널 벤치 최신 버전을 반영하고 비공개 테스트셋을 갖춘 'AA 브리프케이스'를 추가한 것이 주요 변화"라고 말했다. 앞서 아티피셜 애널리시스는 지난 4일 AAII를 v4.2로 개편한 바 있다. 이번 개편에선 비공개 테스트가 전체 평가에서 차지하는 비중을 기존 20%에서 40%로 확대하고 실제 업무 수행 능력을 측정하는 평가 항목도 강화했다. 이는 공개된 평가 문제와 정답을 활용해 점수를 끌어올리는 벤치마크 게이밍 우려가 커지면서 평가 신뢰도를 높이기 위한 조치로 해석된다. 벤치마크 게이밍은 국내에서 '벤치맥싱(Benchmaxxing)'으로도 불리는 방식으로, 미국 애프터쿼리처럼 특정 벤치마크 성능 향상을 위한 데이터와 학습 방법론을 제공하는 업체도 등장하면서 평가 점수가 실제 활용 성능을 얼마나 반영하는지를 둘러싼 논쟁이 커지고 있다. 다만 카메론 CPO는 비공개 테스트 비중 확대가 최근 특정 논란에 대응해 단기간에 결정한 것이 아니라고 강조했다. 그는 "비공개 테스트셋은 이전부터 벤치마크에 포함해 왔고 그 비중도 계속 늘려왔다"며 "이번 변화 역시 어떤 특정 사건에 반응해 결정한 것이 아니라 인텔리전스 인덱스를 지속적으로 개선해 온 과정의 하나"라고 말했다. 또 카메론 CPO는 아티피셜 애널리시스가 벤치마크 게이밍을 막기 위해 평가 구조도 분산하고 있다고 주장했다. 특정 시험 하나에 모델을 집중적으로 학습해 높은 점수를 얻더라도 전체 평가에선 우위를 확보하기 어렵도록 여러 평가를 함께 적용하는 방식을 택한 것이다. 카메론 CPO는 "게이밍을 방지하기 위해 여러 방법을 사용하고 있다"며 "특히 인텔리전스 인덱스 안에 10개의 서로 다른 평가를 두고 특정 벤치마크 하나에만 집중하기 어렵게 했다"고 설명했다. 그러면서 "비공개 테스트셋도 운영하고 있다"며 "새로운 벤치마크를 계속 반영해 인덱스를 최신 상태로 유지하고 있다"고 덧붙였다. 최근 AI 모델 경쟁의 중심이 단순한 문제풀이 성능에서 실제 업무 수행 능력으로 빠르게 옮겨가고 있는 점도 평가 방식 변화에 영향을 주고 있다. 웹을 탐색하고 외부 도구를 활용하며 여러 단계를 거쳐 장시간 업무를 수행하는 에이전트형 AI가 확산되면서 기존 정적 벤치마크만으로 모델 성능을 충분히 비교하기 어려워지고 있어서다. 실제로 최신 AI 모델은 코딩과 도구 활용, 컴퓨터 사용, 장기 업무 수행 등에서 빠르게 성능을 높이고 있다. 평가기관들도 이에 맞춰 단순 정답률보다 실제 업무에 가까운 환경에서 모델이 얼마나 안정적으로 과제를 수행하는지를 측정하는 방향으로 평가 범위를 넓히고 있다. 이에 아티피셜 애널리시스는 이번 개편에서 'AA 브리프케이스'도 새로 반영했다. 비공개 테스트셋을 활용해 실제 지식 노동에 가까운 업무 수행 능력을 평가하고, 공개 문제에 맞춘 과적합 가능성을 낮추기 위해서다. 카메론 CPO는 "AA 브리프케이스는 비공개 테스트셋을 갖춘 에이전틱 지식 업무 벤치마크"라며 "이를 인텔리전스 인덱스에 통합해 AI가 실제로 무엇을 할 수 있는지를 더 잘 반영하도록 했다"고 설명했다. 하지만 국내에선 벤치마크 점수와 실제 모델 역량을 어떻게 함께 평가할지를 두고 논쟁이 꾸준히 이어지고 있다. 특히 정부의 독자 AI 파운데이션 모델 프로젝트 2차 단계평가에서 모티프테크놀로지스가 AAII 평가에서 참여팀 가운데 가장 높은 점수를 기록했지만 전문가·사용자 평가에서 뒤지며 최종 탈락한 것이 화근이 됐다. 이후 업계에선 벤치마크 점수만으로 모델의 실제 활용성과 경쟁력을 판단하기 어렵다는 의견이 나왔다. 반면 실제 추론과 업무 수행, 에이전틱 역량을 객관적으로 비교하려면 벤치마크가 여전히 필요하고 이를 실제 성능에 가깝게 측정하도록 계속 고도화해야 한다는 주장도 제기됐다. 이를 두고 카메론 CPO는 모티프 사례와 같은 개별 평가 결과보다 모든 모델에 동일하게 적용할 수 있는 평가 방법론을 만드는 것이 중요하다고 주장했다. 특정 기업이나 국가의 평가 결과에 따라 기준을 달리하지 않고 동일한 조건에서 모델 성능을 비교해야 한다고 봐서다. 그는 "우리는 매우 표준화된 방법론을 유지하고 있다"며 "생태계 내 모든 모델에 동일한 벤치마크를 적용하고 특정 모델에 따라 평가 방식을 바꾸지 않는다"고 피력했다. 카메론 CPO는 한국 AI 기업들과의 교류가 AAII 평가 방식에 영향을 미치는지에 대한 질문에도 같은 원칙을 강조했다. 또 아티피셜 애널리시스는 AI 기업과 이용자들로부터 평가 방식에 관한 의견을 받고 있지만, 특정 기업이나 모델에 맞춰 벤치마크 구성을 바꾸지는 않고 있다고 주장했다. 그는 "모든 모델에 동일한 표준화된 방법론을 적용하고 있으며 모델에 따라 평가 방식을 다르게 운영하지 않는다"며 "AI 생태계에 있는 기업들과 아티피셜 애널리시스를 사용하는 수많은 이용자들로부터 폭넓게 피드백을 받고 있다"고 설명했다. 업계에선 AAII가 지속적으로 개편되면서 서로 다른 버전에서 나온 점수와 순위를 어떻게 비교해야 하는지도 관심사로 떠올랐다. 같은 모델이라도 새로운 벤치마크가 추가되거나 평가 비중이 바뀌면 이전 버전과 점수, 순위가 달라질 수 있어서다. 실제 아티피셜 애널리시스는 지난 3일 기존 지수에서 오픈AI의 'GPT-6 아스트라'를 61점으로 평가해 메타의 '뮤즈 스파크 1.3'보다 낮은 순위에 뒀지만, 하루 뒤 v4.2로 개편하면서 아스트라의 순위를 2위로 끌어올렸다. 새 지수에서는 앤트로픽의 '클로드 페이블 5.1'이 1위에 올랐다. 이에 대해 카메론 CPO는 평가판이 바뀌면 같은 모델의 점수와 순위도 달라질 수 있다고 설명했다. AI 모델이 할 수 있는 일이 계속 달라지는 만큼 이를 측정하는 기준도 함께 바뀌며 새 평가 항목과 비중이 적용되면 이전 버전과 결과가 달라질 수 있다는 것이다. 그는 "AI 모델이 할 수 있는 일이 계속 변하고 있기 때문에 인텔리전스 인덱스도 이를 최신 상태로 유지하기 위해 계속 바뀐다"며 "AI 지능에 대한 기대와 평가 방식이 발전하는 만큼 점수와 순위가 달라지는 것도 자연스러운 일"이라고 말했다.
