하정우 AI수석도 '주목'…세일즈포스, AI 에이전트 평가 시스템 공개

인공지능(AI) 에이전트 성능을 자동 평가하는 프레임워크가 등장했다. AI 모델 자체만을 평가하던 벤치마크 한계를 넘어 에이전트의 실질적 성능 분석이 가능한 프레임워크다. 20일 IT 업계에 따르면 세일즈포스는 지난 17일 '모델 컨텍스트 프로토콜 기반 평가 프레임워크(MCPeval): MCP 기반의 자동 심층 에이전트 평가' 논문을 통해 에이전트 문제 해결 능력을 자동 검증할 수 있는 새 벤치마크 프레임워크를 오픈소스로 공개했다. MCPeval은 MCP 기반으로 에이전트 성능을 검증한다. 사용자가 가상 업무 환경을 제시하면, 에이전트가 MCP를 이용해 필요한 도구 정보를 받아, 주어진 작업을 직접 수행하는 식이다. 이 과정에서 MCPeval은 에이전트의 과제 해결하는 과정을 추적할 수 있다. 프로토콜 상 상호작용 데이터도 체계적으로 수집한다. 이를 통해 에이전트 성능을 평가하는 셈이다. 에이전트 성능 개선에 활용할 수 있는 고품질 데이터까지 확보 가능하다. 해당 프레임워크는 작업 생성과 성능 검증도 모두 자동화됐다. 이때 생성된 과제 해결 기록은 모델을 미세 조정하거나 개선하는 데 활용된다. 또 MCPeval의 평가 리포트를 통해 에이전트가 플랫폼과 어떻게 소통했는지 세밀하게 분석 가능하다. 세일즈포스 AI 리서치 관계자는 "기업들은 내부 업무에 맞게 MCPeval로 자체 평가 기준을 만들 수 있다"며 "에이전트를 도입하기 전 실제 활용 가능성을 미리 점검하는 데 도움 될 것"이라고 밝혔다. 같은 날 하정우 대통령비서실 AI미래기획수석비서관도 세일즈포스의 연구 결과를 개인 소셜미디어에 공유했다. 하 수석은 "그동안 다수 파운데이션 모델 능력 평가 벤치마크가 태스크를 해결하는 에이전트로서의 능력보다는 정해진 지식이나 논증적 추론 능력 중심으로 평가하는 형태가 대부분이었다"고 지적했다. 그러면서 "세일즈포스 프레임워크는 에이전트가 MCP 같은 프로토콜로 다양한 외부 리소스에 접근해 해결한 태스트 결과를 평가한다는 측면에서 훨씬 현실적"이라고 덧붙였다. MCPeval로 모델·에이전트 평가했더니 실제 연구팀은 각 회사 모델과 모델별로 구축된 에이전트 성능을 MCPeval로 평가한 결과를 공개했다. 실험에서는 오픈AI가 만든 GPT 계열 모델들이 전반적으로 좋은 성능을 보였다. GPT 계열로 구축된 에이전트는 도구 사용 능력 평가에서도 높은 점수를 받은 것으로 나타났다. 연구팀은 "GPT-4 계열은 일의 흐름을 잘 계획하고 차근차근 진행하는 데서 강점을 보였다"며 "o3 모델은 작업을 완성하는 최종 결과가 특히 뛰어났다"고 분석했다. 알리바바가 만든 큐원(Qwen3) 모델은 기존 벤치마크에선 성적이 좋았지만, 실제 상황처럼 과제를 만들고 해결하는 평가에서는 기대만큼 성능을 내지 못했다. 특히 큐원3-32B 모델은 도구를 정확히 사용하는 능력이나 과제를 완성하는 데서 다른 모델보다 낮은 점수를 받았다. 세일즈포스는 "같은 모델이라도 어떤 방식으로 평가하느냐에 따라 성능이 다르게 보일 수 있다는 사실을 보여준다"며 "AI 모델이 아닌 '모델로 구성된 에이전트'가 실제 상황에서 태스크를 얼마나 잘 생성하고, 도구를 활용해 해결할 수 있는지를 종합적으로 평가해야 하는 시대가 왔다"고 강조했다.