AI 기반 의사결정, 독이 든 성배일까
이제 인공지능(AI)은 특정 영역을 벗어나 일상의 영역까지 스며들고 있다. 업무 분야도 마찬가지다. 보고서 초안 작성, 정보수집, 고객 응대, 코드 개발처럼 반복과 속도가 중요한 영역에서는 AI 활용이 자연스러운 선택이 됐다. 여러 산업 현장에서는 AI가 생산성을 높이고 숙련 격차를 줄이는데 기여할 수 있음을 보여주고 있다. 이렇듯 AI를 활용하는 조직과 그렇지 않은 조직 사이의 생산성 차이는 점차 벌어질 가능성이 있다. 물론 모든 산업에서 효용성이 완전히 입증됐다고 단정하기는 이르다. 현재는 모든 것을 대체하기보다도 업무 프로세스 변화와 보조 기능 강화로 보는 것이 현실적이다. 그럼에도 분명한 건 AI를 배제한 채 기존 방식만을 고수하기에는, 이미 많은 부분들이 달라지고 있다는 것이다. AI를 업무에 활용하는 조직은 분명한 장점을 체감한다. 대량의 데이터 속에서 유의미한 정보를 빠르게 발견하고, 반복된 업무 소요를 줄인다. 추론을 보조하고 일정 수준의 결과물을 제시한다는 점에서도 조직에게 매력적이다. 이런 점만 본다면 AI는 인간의 많은 부분을 대체할 수 있는 성배처럼 보인다. 그러나 검증 없이 의존성만 높아진다면 언제든 조직을 갉아 먹는 독이 될 수 있다. AI를 의심하지 않고 반복적으로 수용만 한다면 왜 그렇게 판단했는지 설명하기 어려워지고, 문제에 대한 책임 경계도 모호해진다. 핵심은 AI를 어디까지 활용할 것이며 어떻게 통제할 것인지 먼저 정하는 데 있다. 그 동안 사람이 직접 따져보던 과정이 AI가 내놓은 답을 확인하는 절차로 바뀌고 있다. 겉으로는 처리하는 일이 훨씬 빨라진다. 그러나 그 과정에 포함된 사람이 직접 문제를 정의하거나, 다른 의견과 교류하며 판단을 다듬는 시간들이 줄어든다. 시간은 절약되지만, 그만큼 스스로 따져보는 과정도 줄어들게 된다. 결국 AI에 의존하는 조직일수록, 사람이 스스로 수행하는 역량은 약해질 수 있다. 더 큰 문제는 AI의 답이 틀려도 그럴듯해 보인다는 점이다. AI는 늘 그럴듯한 답을 내놓지만, 그 안을 들여다보면 불명확하거나 존재하지 않는 내용까지 섞여 있는 경우가 있다. 이른바 환각(hallucination) 현상 때문이다. 문제가 생긴 뒤에는 왜 그런 결론이 나왔는지 설명하는 것부터 어려워진다. AI는 답을 줄 수 있어도 그 답이 왜 타당한지는 자동으로 검증해 주지 않는다. 결과적으로 결정은 빨라졌지만, 왜 그런 결론이 나왔는지는 설명하기 더 어려워졌다. 사람의 실수는 보통 개별 업무 단위에서 끝나는 경우가 많다. 반면 AI의 실수는 같은 기준에서 같은 오류를 반복하고, 더 빠르게 많은 결과물로 퍼뜨릴 위험이 있다. 한번 편향된 데이터나 검증되지 않은 모델이 운영 단계에 들어오면, 같은 오류가 연속해서 반영될 수 있다. 특히 인사, 보안, 금융, 법률 자문과 같이 판단 결과가 권리와 불이익으로 직결되는 분야에서는 작은 왜곡이라도 큰 피해로 이어질 수 있다. 예를 들어 인사평가에서는 지원자 분류 기준이 불투명해질 수 있고, 보안관제는 위협의 우선순위 판단이나 이상행위 탐지에 있어 오탐·미탐에 대한 책임소재가 복잡해질 수 있다. 법률 분야는 더 심각하다. 그럴듯한 문장과 판례가 실제 근거로 대신하는 순간, 정당성 자체가 흔들릴 수 있다. AI가 틀릴 수 있다는 사실은 공공연함에도, 그 틀린 결과가 충분한 검토 없이 승인되고 활용될 수 있다는 것이 문제다. 문제는 이론에 그치지 않고 비슷한 유형의 논란들이 반복된다는 점이다. 2025년 10월 국정감사 과정에서 경찰 문서 작성에 AI를 활용해 존재하지 않는 판례를 인용한 사실이 드러났다. 단순 오기가 아닌, 공권력의 판단 문서에 AI 환각이 스며든 사례라는 점에서 무겁게 볼 필요가 있다. 법률 영역 역시 예외는 아니었다. 2025년 9월 국내 형사재판에서도 변호인이 제출한 의견서에 존재하지 않는 판례가 인용된 사례가 보도됐다. 재판부 확인 과정에서 AI 활용 정황이 드러났고, 출처 확인 없이 허위 판례가 문서에 포함된 것이었다. 이는 AI 환각 현상이 법률 문서마저 물들일 수 있음을 보여줬다. 이런 문제들은 최근 공공 영역에서도 다시 확인됐다. 2026년 3월 공무원 국외훈련보고서에 확인되지 않은 허위 참고문헌이 포함됐다는 보도가 나왔다. 보도에 따르면 저자로 언급된 교수들조차 AI가 짜깁기한 가짜 연구물이라고 지적했다. 이 사례는 AI 환각이 단순한 문장 오류를 넘어, 공문서의 참고문헌과 근거 체계 자체를 흔들 수 있음을 보여준다. 최근까지도 AI 과의존에 따른 사건과 논란이 이어지고 있다는 점은 일시적 시행착오가 아닌 AI 통제가 시급한 문제임을 시사한다. 쟁점은 AI를 쓸지 말지가 아니다. 중요한 것은 어떻게 통제하고, 체계적으로 활용할 것인가이다. 기술적으로는 AI가 생성한 결과가 통제되도록 시스템 수준에서 제어해야 한다. 우선 입력 단계에서는 민감정보가 무분별하게 모델로 전달되지 않도록 데이터 분류, 개인정보 표시제한(Masking), AI 기반 데이터 손실 방지(AI-DLP, AI-Data Loss Prevention) 연계, 권한 기반 프롬프트 접근 통제들이 작동해야 한다. 추론 단계에서는 확인되지 않은 정보를 생성하지 않도록, 검색증강생성(RAG, Retrieval-Augmented Generation) 기반 참조 구조와 검증된 DB, AI 가드레일(Guardrail) 장치가 필요하다. 출력 단계도 중요하다. AI 결과가 의사결정에 바로 반영하지 않도록 신뢰도 점검, 인용 검증, 고위험 키워드 탐지와 같은 후처리 절차를 반영해야 한다. 마지막으로 운영 단계에서는 시스템 로그와 승인 여부를 기록하고, 모델 성능 모니터링 체계와 변화감지(Policy Drift)를 갖추어야 한다. 기술적으로 통제되지 않는 AI는 오류를 자동화하는 시스템이 될 수 있다. 기술을 구현하기 전 관리 측면에서 먼저 정해야 할 것들도 있다. AI에게 어떤 업무를 맡길지, 그리고 어떤 절차로 누가 검토할 것인지 정립해야 한다. 업무 중요도에 따라 AI에 입력 가능한 데이터, 참조 가능한 데이터 영역들을 구분해야 한다. AI가 관여된 문서라면 검토자와 승인자를 분리하는 것이 바람직하다. 누가 어떤 근거로 검토했는지, 왜 승인했는지 책임 체계를 갖추어야 한다. 특히 고위험 의사결정에서는 인간 참여형(HITL, Human-in-the-loop)의 형식만 갖춰서는 의미가 없다. 사람이 마지막 버튼만 누르는 구조가 아니라 실제 결론을 바꾸거나 보류할 수 있어야 한다. 실무자의 판단 역량도 따로 관리되어야 한다. AI가 없더라도 핵심 판단을 수행할 수 있도록 정기적인 검토 훈련과 사례 중심의 역량 제고 교육을 병행해야 한다. AI는 조직의 생산성을 높일 수 있으나 그 과정에서 사람의 판단 기능이 약해진다면, 효율과 비례해 취약성도 함께 커질 수 있다. 현시점에서 AI를 외면하자는 것은 현실과 거리가 멀다. 그러나 AI를 활용하자는 것과 AI에게 의존하는 것은 전혀 다른 문제다. 최근 사례들은 AI 과의존에 따른 문제가 단순한 이론이 아님을 보여준다. 검증 없는 신뢰와 책임 없는 활용이 합쳐지는 순간 AI는 독이 든 성배가 된다. AI가 초안 작성을 도울 수는 있어도 그 책임까지 가져가 주지 않는다. 앞으로의 경쟁력은 단순히 AI를 빨리 도입하는 것에 그치지 않을 것이다. 인간의 판단 역량과 조직의 검증 체계를 함께 유지하는 조직이 더 안정적으로 AI를 활용할 가능성이 크다. AI라는 혁신 속에서도 최종 결정과 책임은 끝끝내 사람의 몫이다.
