[AI 리더스] 로민 CTO "확신 없는 답엔 낮은 점수…문서 AI 신뢰 높인다"
"인공지능(AI)이 문서를 읽어줘도 직원이 처음부터 끝까지 다시 확인해야 한다면 일을 크게 줄일 수 없습니다. 우리는 AI가 읽은 내용이 얼마나 확실한지 점수로 알려주는 기술을 개발했습니다. 직원은 점수가 낮은 내용만 확인하면 돼 업무 시간을 줄일 수 있습니다." 임비 로민 최고기술책임자(CTO)는 최근 개발한 문서 AI 신뢰도 평가 기술 특장점을 지디넷코리아 인터뷰에서 이같이 밝혔다. 로민은 AI가 문서에서 읽은 값이 맞을 가능성을 '신뢰도 점수'로 보여주는 기술을 고도화하고 있다. 기업은 이 점수 기준으로 자동 처리할 결과와 직원이 확인할 결과를 나눌 수 있다. 예를 들어 AI가 영수증에서 결제 금액을 '3만원'으로 읽었다면, 시스템은 이 값이 얼마나 확실한지도 점수로 제시한다. 기업이 자동 처리 기준을 99점으로 정했다면 신뢰도 점수가 99점 이상인 결과는 그대로 입력하고, 낮은 결과는 직원이 원문과 비교하도록 설정할 수 있다. 임 CTO는 이 점수를 'AI의 자신감'에 빗댔다. 문서 인식 정확도가 AI의 답을 정답과 비교해 채점한 결과라면, 신뢰도는 채점 전에 각 답이 맞을 가능성을 예측한 값이라는 이유에서다. 그동안 시중에 있는 문서 인식 솔루션 기업들은 AI가 얼마나 정확하게 문서를 읽었는지만 주요 성능 지표로 내세웠다. 로민은 AI가 새 문서에서 읽은 정보마다 맞을 가능성까지 점수로 제시하는 데 주력한다. 기업은 이 점수 기준으로 자동 처리할 결과와 직원이 다시 확인할 결과를 구분해 검수 부담을 줄일 수 있다. 임 CTO는 AI가 틀린 답에도 높은 신뢰도 점수를 매길 수 있다는 점도 언급했다. 영수증에서 결제 금액 대신 할인 전 금액을 읽고도 높은 점수를 매기면 오류가 그대로 업무에 반영될 수 있어서다. 그는 "AI가 높은 신뢰도 점수를 줬더라도 실제 답이 틀릴 수 있다"며 "높은 점수를 받은 답이 맞는지 확인해야 한다"고 강조했다. 로민은 이를 위해 서로 다른 AI가 같은 문서를 읽은 결과를 비교하거나, 한 AI가 다른 AI의 답을 검토하는 방식을 플랫폼에 적용했다. 그는 "두 AI가 같은 실수를 반복하지 않도록 모델을 서로 다르게 학습시켜 독립적인 판단을 유도했다"고 설명했다. 해당 시스템은 AI가 읽은 내용이 맞는지 업무 규칙으로도 확인한다. 예를 들어 영수증에 적힌 물건값이 각각 1만원과 2만원인데, AI가 합계를 8만원으로 읽었다면 계산 결과와 다르므로 오류를 의심할 수 있다. 시스템은 AI가 높은 신뢰도 점수를 매겼더라도 이런 결과를 직원이 다시 확인하도록 설정할 수 있다. 임 CTO는 이같은 기술을 적용한 사례도 소개했다. 로민은 한 금융 고객 프로젝트의 내부 평가에서 인식하기 까다로운 문서를 대상으로 문서 인식 정확도 99.7%, 업무 자동화율 97.5%를 기록했다. 전체 문서 97.5%를 직원의 확인 없이 처리한 결과다. 로민은 제조업에도 문서 인식 기술을 공급하고 있다. 현대자동차와 한화에어로스페이스는 로민 솔루션을 활용해 도면에서 필요한 정보를 추출한다. 임 CTO는 이 기술로 기업의 업무 자동화율을 높이겠다고 밝혔다. 업무 자동화율은 전체 업무 중 직원의 확인 없이 AI가 처리하는 비율이다. 그는 "기업은 신뢰도 점수 기준으로 AI에 맡길 업무 범위를 정할 수 있다"며 "오류로 인한 피해가 큰 업무에는 더 높은 기준을 적용해 직원이 확인할 범위를 넓힐 수 있다"고 설명했다. "문서 AI, 업무 처리 오류까지 예측해야" 임 CTO는 향후 개발 과제로 AI가 자신의 불확실성을 더 정확하게 판단하는 능력을 꼽았다. 처음 보는 문서나 예상하지 못한 상황을 접하면 AI가 정보를 잘못 읽고도 높은 신뢰도 점수를 매길 수 있어서다. 그는 "틀릴 가능성이 큰 답에는 스스로 낮은 신뢰도를 부여하는 '겸손한 모델'을 만드는 것이 가장 큰 과제"라며 "내부 연구와 고객 현장에서 발견한 사례를 바탕으로 기술을 개선하고, 관련 연구 결과를 논문으로 정리할 계획"이라고 말했다. 임 CTO는 장기적으로 AI가 문서를 읽은 뒤 실제 업무를 처리하는 과정까지 확인할 방침이다. AI가 이름과 금액을 정확히 읽었더라도 서로 다른 사람의 서류를 한 건으로 묶으면 최종 업무를 잘못 처리할 수 있기 때문이다. 임 CTO는 "검증 범위를 개별 추출값에서 업무 전체로 넓혀야 한다"며 "필요한 정보가 빠지지 않았는지, 업무 실행에 필요한 승인과 권한을 갖췄는지, 같은 요청을 중복 처리하는지도 확인해야 한다"고 말했다. 그는 각 분야 담당자가 자신의 업무 규칙을 제품에 쉽게 적용하도록 사용 편의성도 높일 계획이다. 임 CTO는 "고객들이 반복 업무를 안전하게 자동화하고, 실제로 업무 부담과 시간을 줄일 수 있도록 돕고 싶다"고 재차 강조했다.
