AI에 장애 대응 맡겼지만…기업 절반 "품질 측정·비용 통제 어렵다"

기업들이 인공지능(AI) 에이전트에 시스템 장애 진단과 복구 업무를 맡기고 있지만 AI의 판단 품질과 사용 비용을 관리하는 역량은 도입 속도를 따라가지 못하는 것으로 나타났다. 장애 대응 시간을 줄이는 효과와 함께 예측하기 어려운 행동과 비용 부담도 커지면서 기업 IT 운영의 관리 범위가 인프라 성능에서 AI의 의사결정 과정으로 넓어지고 있다. 21일 시스코가 공개한 스플렁크의 '2026 옵저버빌리티 현황 보고서'에 따르면 AI 모니터링을 중시하는 기업들의 인식과 이를 뒷받침할 측정 역량 사이에 격차가 나타났다. 응답자의 87%가 AI 모니터링을 조직의 우선 과제로 꼽은 데 비해 전체 응답자의 56%는 대규모언어모델(LLM)의 품질 등 AI 워크로드 지표를 측정하지 못한다고 답했다. 이번 조사는 옥스퍼드 이코노믹스가 올해 2~3월 미국·일본·독일 등 10개국 IT 운영·엔지니어링 전문가 2050명을 대상으로 진행했다. 보고서는 스스로 작업 경로를 선택하는 AI 에이전트가 확산하면서 응답 속도와 오류 발생 여부뿐 아니라 판단 과정과 결과의 적절성까지 살펴야 한다고 짚었다. 조사에서도 AI 환각을 파악하는 것이 중요하다는 응답은 85%였지만, 이를 효과적으로 감시하고 있다는 비율은 58%에 머물렀다. 기존 도구와 조직 체계도 제약으로 지목됐다. 응답자의 49%는 사용 중인 옵저버빌리티 도구에 AI를 감시할 기능이 부족하다고 답했고, 38%는 AI 모니터링의 담당 주체와 책임이 명확하지 않다고 밝혔다. AI 에이전트가 의도하지 않은 결과를 일으킬 수 있다는 우려는 83%에 달했다. AI가 IT 운영에 기여하는 효과도 확인됐다. 응답자의 62%는 장애의 근본 원인을 파악하는 데 AI 에이전트를 자주 또는 항상 활용한다고 답했다. 경보 설정 개선에는 58%, 장애 대응 절차서 작성에는 57%가 같은 빈도로 AI를 사용했다. 에이전틱 AI 도입으로 평균 장애 탐지 시간이 개선됐다는 응답은 86%, 평균 복구 시간이 개선됐다는 응답은 72%였다. 응답자의 84%는 AI 덕분에 유지보수보다 혁신 업무에 더 집중할 수 있게 됐다고 답했다. 반대로 14%는 평균 복구 시간이 악화됐다고 밝혀 도입 효과가 모든 조직에서 동일하게 나타나지는 않았다. 보고서는 AI가 제안한 조치를 재확인하고 기존 운영 기준에 맞추는 과정이 초기 대응을 늦출 수 있다고 설명했다. 원인 진단과 절차서 작성부터 AI를 활용한 뒤 검증된 범위에서 코드 되돌리기 등 실행 권한을 확대하는 방식을 제시했다. 비용 관리에서도 가시성 부족이 드러났다. 응답자의 55%는 조직이 AI 비용을 정확히 통제하지 못한다고 답했다. AI 모니터링을 통해 달성하려는 사업 성과가 명확하지 않다는 응답도 54%로 집계됐다. 여러 에이전트가 모델을 호출하고 작업을 반복하는 환경에서 토큰 사용량과 실제 성과를 연결해 관리하는 데 어려움을 겪고 있는 셈이다. 시스템 운영 데이터를 수집·저장하는 비용도 부담으로 작용했다. 응답자의 57%는 옵저버빌리티 비용이 감시 대상인 인프라·운영 비용을 넘어섰다고 답했고, 50%는 예상하지 못한 데이터 관련 비용을 경험했다. 옵저버빌리티의 가장 큰 비용 증가 요인으로는 불필요하게 많은 로그가 31%로 꼽혀 AI 인프라 자체를 지목한 비율인 6%를 웃돌았다. 비용 절감이 감시 범위를 축소하는 사례도 있었다. 응답자의 38%는 데이터 비용 상승으로 수집 범위나 보관 기간을 줄였고, 11%는 비용 절감 조치 때문에 서비스 중단 위험이 커졌다고 답했다. 보고서는 전체 응답자 중 에이전틱 AI를 활용한 문제 해결, 모델 품질 감시, 운영 데이터와 사업 가치 연결 역량 등을 갖춘 206명을 선도 그룹으로 분류했다. 이 그룹에서 AI 비용을 정확히 통제할 수 있다는 응답은 76%로, 나머지 응답자의 41%보다 높았다. 평균 복구 시간이 크게 개선됐다는 비율도 각각 63%, 40%로 차이를 보였다. AI 운영을 계기로 IT와 보안 조직 간 협업도 늘었다. 응답자의 81%는 AI 모니터링으로 보안팀과의 협업이 증가했다고 답했다. 성능 저하의 원인을 보안 위협까지 추적할 수 있다는 응답은 지난해 65%에서 올해 73%로 높아졌다. 보고서는 AI 품질을 기술 부서만의 관리 항목으로 두지 않고 보안·법무·컴플라이언스 부서가 함께 기준을 마련할 것을 제안했다. 운영 데이터 역시 모두 저장하기보다 사업 영향이 큰 정보를 우선 확보하고 AI의 행동·비용·성과를 연결해 평가해야 한다고 강조했다. 패트릭 린 스플렁크 옵저버빌리티 부문 수석부사장 겸 총괄은 "중요한 것은 AI 비용이 얼마인지뿐 아니라 그 비용이 가치 있는 결과를 만들어내는지 여부"라며 "에이전트의 행동과 전체 AI 시스템의 성능, 토큰 소비를 파악하지 못하면 지출을 성과와 연결할 수 없다"고 말했다.