Arm, 에이전틱 AI 환경 최적화 CPU 벤치마크 방법론 공개

Arm이 15일 에이전틱 AI 환경에 최적화된 CPU 성능 평가 방법론과 함께 이에 따른 성능 검증 결과를 공개했다. Arm은 "에이전틱 AI는 단순 모델 응답 속도와 초당 토큰 생성 속도 뿐만 아니라 다양한 작업을 동시에 실행하며 이에 따라 성능 평가 기준도 다수의 에이전트가 동시에 실행되는 환경에서 실제 작업을 얼마나 효율적으로 완료하는지 고려해야 한다"고 밝혔다. 이에 따라 Arm은 ▲대표성 있는 에이전틱 워크로드 ▲반복 가능한 CPU 성능 측정 ▲엔드투엔드 결과 검증을 핵심 원칙으로 삼았다. 모델 추론이나 네트워킹 등 다른 요소의 영향을 분리해 CPU 성능을 측정하고, 이후 전체 시스템에서 해당 성능 개선이 실제 작업 완료 결과의 향상으로 이어지는지 확인하는 방식이다. Arm은 후지쯔, 메타, 오픈AI의 지원을 받아 실제 에이전틱 워크로드와 엔드투엔드 작업 완료 성능을 중심으로 평가 프레임워크를 개발했다. 또 이를 바탕으로 미국 텍사스 오스틴 소재 독립 분석기관 '시그널65'에 성능 분석을 의뢰했다. 시그널65는 해당 방법론에 부합하는 7개 워크로드를 활용해 Arm AGI CPU와 AMD 에픽 프로세서 성능을 비교했다. Arm은 "분석 결과 Arm AGI CPU는 AMD 에픽 9755 대비 7개 워크로드에서 랙당 평균 1.99배의 모델링 성능을 나타냈다"고 설명했다. Arm에 따르면 도구 실행 등 툴링 영역에서 평균 1.7배, 에이전틱 워크플로우 및 오케스트레이션에서 2배, 추론 및 계획 수립 영역에서 2.2배의 성능을 기록했다. 또한 AMD 에픽 9965와 비교한 샌드박스 생성 지연시간은 최대 45% 짧았다. Arm은 "AGI CPU는 높은 코어 밀도와 코어별 전용 메모리, 고대역폭 입출력(I/O)을 갖춰 다수의 에이전트가 지속적으로 작업을 수행하는 환경을 지원하도록 설계됐다"고 설명했다. 이어 "이번 방법론을 통해 실제 워크로드에 기반한 비교 기준을 마련하고, 에이전틱 AI 인프라의 성능 최적화를 지원할 예정"이라고 덧붙였다.