RAG는 정말 '환각'을 잡았는가...생성형 AI 운영, 지표 없는 품질 관리의 한계

2023년 이후 생성형 AI 도입은 전 산업의 공통 의제가 됐다. 민원 상담, 내부 행정, 의료 문진, 금융 상담에 이르기까지 LLM 기반 서비스가 빠르게 자리를 잡았고, 그 중심에는 거의 예외 없이 RAG(검색증강생성)가 있었다. RAG는 LLM이 학습하지 못한 최신 정보와 조직 고유 데이터를 실시간으로 참조하도록 만들어, 환각(Hallucination) 현상을 줄이는 보완 기술로 자리 잡았다. 2026년 현재 RAG가 생성형 AI 서비스의 사실상 표준 아키텍처로 거론되는 것은 더 이상 새로운 흐름이 아니다. 다만 현장의 질문은 여전히 남아 있다. RAG를 도입했다는 것과, RAG가 제대로 작동하고 있다는 것은 같은 이야기가 아니다. '구축'에서 '운영'으로 무게중심이 이동하고 있다 가트너는 2025년까지 생성형 AI 프로젝트의 약 30%가 개념검증(PoC) 단계에서 멈출 것이라고 전망한 바 있다. 현장에서 체감하는 양상도 크게 다르지 않다. 출시 시점에는 무리 없이 동작하던 RAG 기반 챗봇이, 운영 수개월이 지나면서 답변 품질 저하 현상을 보고하는 사례가 늘고 있다. 출처가 어긋나거나, 동일 질의에 상이한 답이 반환되거나, 특정 업무 영역에서만 정확도가 떨어지는 식이다. 문제는 많은 조직이 이 같은 품질 변화를 정성적 판단에 의존해 인지한다는 점이다. 운영자의 경험이 사실상 유일한 성능 지표가 되는 경우가 적지 않다. 그 결과 원인 분석과 개선에 긴 시간이 소요되고, 무엇을 어떻게 바꿨을 때 얼마나 나아졌는지 정량적으로 설명하기 어려운 상황이 반복된다. RAG 운영의 세 가지 구조적 과제 실무 관점에서 RAG 운영을 지속 가능하게 만들려면 풀어야 할 과제가 세 가지 있다. 첫째, 성능 측정의 부재다. 문서는 계속 추가되고 구조도 변한다. 그러나 그 변화가 검색 성능과 응답 품질에 어떤 영향을 주는지 객관적으로 확인할 수단이 부족하다. 둘째, 최적화의 난해함이다. 청크 사이즈, Top-K, 임베딩 모델, 프롬프트, LLM 조합 등 조정 가능한 파라미터가 수십 가지에 이른다. 이 모든 조합을 수동으로 탐색하는 방식은 현실적이지 않다. 셋째, 변경 검증의 부재다. 특정 영역의 응답 품질을 끌어올렸더니 다른 영역에서 품질 저하가 발생하는, 이른바 풍선 효과가 RAG 운영에서는 드물지 않게 관찰된다. 변경 전후의 성능을 비교할 체계가 없다면 개선 시도 자체가 불확실성의 영역으로 남는다. 이 세 가지는 모델 성능 자체의 문제라기보다는 운영 방법론의 공백에 가깝다. 이 공백을 채우지 못한 채 공공·금융·의료처럼 신뢰성이 핵심인 영역에서 AI 서비스를 지속하기는 쉽지 않다. 지표 기반 품질 관리가 필요한 이유 오래전 피터 드러커는 "측정할 수 없다면 관리할 수 없다"고 말했다. RAG 운영에도 동일한 원칙이 적용된다. 이미 국제적으로 답변의 충실성(Faithfulness), 관련성(Relevancy), 문맥 정확도(Context Precision/Recall) 등 RAG 평가 지표군이 자리를 잡아가고 있다. 엔터프라이즈 환경에서는 여기에 더해 유해성(Harmfulness)과 편향성(Bias) 같은 윤리적 AI 지표가 필수적으로 고려돼야 한다. 특히 공공과 규제 산업은 한 건의 잘못된 응답이 제도 신뢰에 영향을 미칠 수 있는 영역이다. "AI가 생성한 답변이라 불가피했다"는 설명이 통용되지 않는다. 지표 기반 평가 체계는 선택의 문제가 아니라 책임성의 문제로 접근할 필요가 있다. 아울러 품질 평가는 출시 시점에 끝나는 일회성 활동이 아니라, 정기적 그리고 자동화된 평가 루틴으로 운영돼야 한다. 성능 저하가 감지됐을 때 그 원인이 검색 단계에서 발생했는지, 생성 단계에서 발생했는지를 구분할 수 있어야 개선 작업의 효율이 확보된다. RAG 라이프사이클: 기획·배포·운영·개선의 순환 지속 가능한 RAG 서비스를 운영하는 조직에는 공통점이 있다. 프로젝트를 '구축의 종착점'이 아니라 '운영의 출발점'으로 본다는 것이다. 기획 및 개발 단계에서는 여러 모델 조합을 실험해 기술 스택을 선정하고, 배포 직전에는 실제 운영 환경과 유사한 조건에서 외부 관찰자 관점의 검증을 거친다. 배포 이후에는 정기 성능 모니터링으로 이상 징후를 조기에 포착하고, 개선이 필요할 때는 실험 환경에서 변경안의 효과를 검증한 뒤 반영한다. 이 네 단계가 순환 구조로 작동해야 RAG 서비스가 장기간에 걸쳐 품질을 유지할 수 있다. 그렇지 않다면 '구축 직후가 품질이 가장 높은 서비스'라는 역설에서 벗어나기 어렵다. 공공 AI에서 관찰되는 '정량적 신뢰'의 중요성 공공 분야 생성형 AI 프로젝트를 수행해 온 경험에 비춰 보면, 지표 기반 품질 관리의 필요성은 해당 영역에서 특히 뚜렷하게 드러난다. 챗봇의 오답 한 건은 정책 전달의 신뢰에 영향을 미치고, 공무원이 내부 AI 결과에 기반해 작성한 문서의 부정확성은 행정 신뢰로 이어진다. 따라서 응답이 '그럴듯한 문장'에 그치는지, 아니면 출처에 근거해 검증 가능한 답변인지 구분할 수 있어야 한다. 어떤 영역에서 기준치를 밑도는지, 그 원인이 무엇인지에 대해 정량적 설명이 가능해야 이용자와 운영자 모두가 AI 결과를 납득할 수 있다. 변곡점에 선 생성형 AI 시장 생성형 AI 도입 3년차로 접어들면서 시장의 논의는 이동하고 있다. '일단 도입'의 단계에서 '지속 가능한 운영'의 단계로 옮겨가는 흐름이다. 향후 RAG 품질 관리 체계를 갖춘 조직과 그렇지 못한 조직 사이에는 단순한 기능의 격차를 넘어 서비스 신뢰도의 격차가 벌어질 가능성이 크다. 더 좋은 모델, 더 정교한 프롬프트, 더 큰 컨텍스트 창에 대한 논의는 앞으로도 활발히 이어질 것이다. 다만 그 모든 논의가 현장에서 의미 있는 결과로 이어지려면, 그 결과를 측정하고 설명할 수 있는 언어가 먼저 마련돼야 한다. '감(感)에서 지표(指標)로.' 생성형 AI가 실험의 단계를 지나 조직의 일상 인프라로 자리 잡기 위해 업계가 함께 마련해야 할 공통의 토대라고 본다.