[디엘지 law 인사이트] AI가 일하기 시작...책임은 누가 어떻게 지나
요즘 기업을 만나면 거의 빠지지 않고 등장하는 단어가 AX(AI Transformation), 즉 인공지능 전환이다. 기업들은 직원들에게 생성형 AI를 사용하게 하고, 사내 문서를 검색·요약하는 AI를 도입하며, 고객 상담과 상품 추천에도 AI를 활용하고 있다. 최근에는 여기서 한 단계 더 나아가고 있다. AI가 이메일을 작성하는 데 그치지 않고 일정을 잡고, 데이터베이스를 검색하며, 외부 서비스에 접속해 실제 업무까지 처리하는 AI 에이전트가 등장했다. 제조업에서는 AI가 로봇과 센서, 기계설비를 제어하는 Physical AI도 확산되고 있다. 기업들은 흔히 “어떤 AI 모델을 사용해야 하는가”, “업무를 얼마나 자동화할 수 있는가”를 먼저 묻는다. 그러나 법률적으로 더 먼저 물어야 할 질문은 따로 있다. AI에게 무슨 일을 맡길 것인지, 어떤 데이터와 시스템에 접근하게 할 것인지, 어디까지 스스로 행동할 권한을 줄 것인지다. AI가 틀린 답을 하는 것과 틀린 결정을 내리거나 행동하는 것은 전혀 다른 문제다. AI가 보고서의 숫자를 잘못 작성했지만 직원이 이를 확인해 수정했다면 큰 문제로 이어지지 않을 수 있다. 반면 AI가 대출을 거절하거나 채용 지원자를 탈락 대상으로 분류한다면 오류는 누군가의 권리와 기회에 직접 영향을 미친다. AI 에이전트가 승인되지 않은 송금을 하거나 고객에게 잘못된 환불을 처리한다면 문제는 더 커진다. 공장에서 AI가 로봇을 잘못 작동시켜 근로자를 다치게 할 수도 있다. 이 경우 “AI가 실수했다”는 설명만으로 책임을 피하기 어렵다. 누가 AI에 권한을 부여했는지, 사람이 통제할 수 있었는지, 기업이 사전에 위험을 예상하고 방지조치를 했는지가 함께 문제 된다. 우리나라에서는 인공지능기본법이 시행되고 있다. 이 법은 생성형 AI와 고영향 AI 등에 관해 투명성, 위험관리, 이용자 보호와 사람의 감독에 관한 기준을 두고 있다. 그러나 인공지능기본법이 모든 AI 문제를 해결하는 단일법은 아니다. AI가 개인정보를 이용하면 개인정보보호법을, 신용정보를 처리하면 신용정보법을 함께 검토해야 한다. 학습이나 출력 과정에서 기사, 이미지, 프로그램을 이용하면 저작권법과 부정경쟁방지법이 문제 될 수 있다. AI가 상품을 추천하거나 거래조건을 제시하면 전자상거래법과 표시광고법, 약관규제법 등이 적용될 수 있다. 채용, 금융, 의료, 교육, 제조 현장에서는 해당 산업의 규제가 추가로 적용된다. 결국 AI라는 새로운 사업이 등장했다기보다 기존 사업과 의사결정 과정에 AI라는 새로운 시스템이 들어왔다고 보는 편이 정확하다. 법률적으로 중요한 것은 어떤 모델을 사용하느냐보다 어디에, 어떻게 사용하느냐이다. 동일한 생성형 AI라도 회의록을 요약할 때와 지원자의 이력서를 평가할 때, 고객의 대출 승인 여부를 판단할 때의 위험은 다르다. 따라서 AX를 시작할 때에는 AI가 단순히 정보를 검색, 요약하는지, 사람을 추천하거나 평가하는지, 직접 거래나 통지까지 실행하는지를 구분해야 한다. 그 판단이 사람에게 미치는 영향도 살펴야 한다. 사람이 결과를 실질적으로 검토하고 수정하거나 거부할 수 있는지, AI가 개인정보와 영업비밀 또는 회사의 핵심 시스템에 어디까지 접근하는지도 확인해야 한다. 외부 AI를 이용한다고 해서 책임이 사라지는 것도 아니다. 직원이 외부 생성형 AI로 내부 문서를 작성하는 정도와 외부 AI를 고객서비스에 연결해 상담, 추천, 평가 기능을 제공하는 것은 다르다. 후자의 경우 회사가 기초모델을 직접 개발하지 않았더라도 인공지능이용사업자에 해당할 가능성을 검토해야 한다. “우리는 AI 회사가 아니다”라는 답보다 AI를 사업에 어떤 방식으로 연결했는지가 중요하다. 특히 사람의 생명이나 신체의 안전이나 기본권에 중대한 영향을 미칠 수 있는 고영향 AI는 더욱 주의해야 한다. 보건의료, 채용, 대출심사, 교통, 공공서비스와 학생평가 등에 사용되는 AI가 대표적이다. 다만 해당 업종에서 AI를 사용한다고 언제나 고영향 AI가 되는 것은 아니다. 병원에서 회의자료를 정리하는 AI와 환자의 진단을 지원하는 AI는 구분해야 한다. 고영향 AI에 해당한다면 위험관리와 설명 방안, 이용자 보호, 사람의 관리 및 감독 등에 대해서 고려해야 한다. 여기서 중요한 것은 형식적인 인간 개입이 아니다. AI가 하루에 수천 건의 심사 결과를 만들고 담당자 한 명이 몇 초씩 확인한 뒤 승인 버튼만 누른다면 사람이 실질적으로 판단했다고 보기 어렵다. 담당자가 판단 근거를 이해하고 추가 정보를 확인하며 AI의 결론을 번복할 권한과 시간을 가져야 진정한 의미의 사람의 감독이 된다. AI 에이전트 시대에는 데이터만큼 권한 관리가 중요하다. 이메일과 캘린더를 읽는 권한과 삭제하는 권한은 다르다. 고객의 환불 요청을 확인하는 권한과 무제한으로 송금하는 권한도 구분해야 한다. 사람에게 적용해 온 최소권한 원칙을 AI에도 적용해야 한다. 필요한 시스템과 데이터에만 접근하게 하고, 중요정보 삭제나 일정 금액 이상의 거래에는 사람의 추가 승인을 받도록 해야 한다. 이상행동이 발견되면 즉시 작동을 중단할 수 있는 기능과 사후에 판단 과정을 확인할 수 있는 로그도 필요하다. 외부 AI 공급업체와의 계약도 일반적인 소프트웨어 이용계약과 달라야 한다. 기업이 입력한 데이터를 공급업체가 저장하거나 모델 학습에 다시 사용하는지, 개인정보가 해외로 이전되는지, 모델 업데이트로 결과가 바뀌는 경우 사전에 통지하는지 확인해야 한다. 보안사고 통지, 서비스 중단 시 대응, 결과물의 지식재산권 침해, 계약 종료 후 데이터의 반환·삭제, 손해배상과 책임 제한도 구체적으로 정할 필요가 있다. 결국 AX의 법률 문제는 누가 AI를 통제하느냐의 문제다. 성공적인 AX는 AI를 가장 많이 도입하거나 가장 비싼 모델을 사용하는 것이 아니다. 위험이 낮은 업무와 높은 업무를 구분하고, AI에 부여할 데이터와 권한의 경계를 정하며, 중요한 판단에는 사람이 실질적으로 개입하게 만드는 것이 핵심이다. AI가 사람 대신 더 많은 일을 할수록 기업은 오히려 더 명확한 경계를 설계해야 한다. AI에게 무엇을 맡길지보다 무엇은 맡기지 않을지, 어디까지 행동하게 할지, 언제 반드시 사람이 개입할지, 사고가 발생하면 누가 어떻게 바로잡을지를 미리 정해야 한다. AX 과정에서의 법률 검토는 기술혁신에 브레이크를 거는 일이 아니라, 기업이 AI에게 더 많은 일을 안전하게 맡길 수 있도록 안전한 기준을 설정하는 일이다.
