韓 AI 벤치마크 다시 쓴다…"이젠 변호사·의사 자격 시험이 기준"

한국어 거대언어모델(LLM)의 실무 능력을 측정하기 위한 새로운 벤치마크가 등장했다. 실제 국가전문자격시험 문제를 기반으로 구성돼 번역 기반 테스트가 놓치던 지역 특화 지식과 응용력의 격차를 그대로 드러낼 수 있게 됐다. 17일 업계에 따르면 LG AI연구원과 오픈소스 LLM 연구 커뮤니티 해례는 공동으로 새로운 한국어 고난도 벤치마크 '케이엠엠엘유-프로(KMMLU-Pro)'를 공개했다. 이 벤치마크는 최근 한 해 동안 시행된 변호사, 회계사, 의사 등 14개 국가 전문직 자격시험에서 출제된 실제 문제 2천822개로 구성됐으며 시험별 통과 기준까지 적용해 모델의 실무 적합성을 정량적으로 측정한다. 기존의 '케이엠엠엘유'는 고등학교 수준부터 전문가 시험까지 범위를 포괄했으나 문제의 중복·오염·정답 노출 등 품질 논란이 반복됐다. 연구진은 이를 보완하기 위해 문제를 전면 재구성한 리덕스 버전도 함께 공개했다. 해당 벤치마크는 산업기사 중심의 국가기술자격시험 100종에서 총 2천587개 문항을 추출해 구성됐다. 이번 벤치마크는 정답률만이 아니라 자격시험 합격 요건과 동일한 기준을 모델에 적용하는 방식으로 설계됐다. 평가 범주 또한 단답형이 아닌 실제 시험 포맷과 일치하도록 조정돼 인공지능(AI)의 단순 지식 암기보다 응용력과 분야별 편차를 명확히 드러낼 수 있도록 구성됐다. 결과적으로 앤트로픽의 '클로드 3.7 소넷'은 전체 14개 시험 중 12개를 통과하며 가장 고른 성능을 보였다. 오픈AI의 'o1' 모델은 평균 정확도 79.55%로 가장 높은 점수를 기록했지만 실제 시험 통과 기준에서는 10개 자격만 획득하는 데 그쳤다. 특히 한국 변호사시험을 통과한 모델은 '클로드 3.7'이 유일했다. 이 외에도 딥시크의 'R1', 메타의 '라마4 매버릭', xAI의 '그록' 등 다수의 글로벌 상용 모델들이 의료와 회계 등 영역에서는 상대적으로 높은 성과를 냈지만 법률·세무 영역에서는 기준점에 미달했다. 벤치마크는 허깅페이스를 통해 오픈소스로 배포됐으며 비상업적 사용과 재배포에 한해 이용할 수 있도록 했다. 연구진은 향후 매년 최신 시험 데이터를 반영해 버전을 주기적으로 갱신할 계획이다. 연구진은 "두 벤치마크의 결과를 종합적으로 분석한 결과 한국에 특화된 전문 지식을 기반으로 한 평가가 특히 중요하다는 점이 확인됐다"고 밝혔다.