[피지컬AI와 윤리] AI라는 새 피조물...기술 아닌 원칙 문제
1장. 시작하며: 아론의 변명과 AI의 블랙박스 구약성서 출애굽기 32장은 인류 역사상 가장 기만적인 결과론적 변명을 기록하고 있다. 모세가 시나이 산에서 신의 율법을 수여받는 동안 지도자의 부재에 불안을 느낀 이스라엘 백성은 대제사장 아론을 압박한다. '우리를 인도할 신을 만들라.' 아론은 백성의 금붙이를 모아 불에 녹여 '황금 송아지'를 주조했다. 무지(無知)와 공포가 결합해 형상화한 우상, 즉 사회적 무질서의 결정체였다. 산에서 내려와 참상을 목도한 모세는 분노하며 아론을 추궁한다. '이 백성이 당신에게 어떻게 하였기에 당신이 그들을 큰 죄에 빠지게 하였느냐(출 32:21, 개역개정).' 이때 아론은 인류 사법 역사상 가장 무책임한 답변을 내놓는다. '내가 그들에게 이르기를 금이 있는 자는 빼내라 한즉 그들이 그것을 내게로 가져왔기로 내가 불에 던졌더니 이 송아지가 나왔나이다(출 32:24, 개역개정).' '불에 던졌더니 저절로 나왔다'는 아론의 진술은 정교한 책임 회피의 논리를 담고 있다. 이 변명은 '어떻게 만들어졌는가'에 대한 설명이 아니라 '누가 책임지는가'를 지우기 위한 언어다. 아론은 금을 모아 녹이고 황금 송아지를 직접 주조했음에도 그 결과물이 마치 자신의 판단·행위와 무관하게 저절로 출현한 것처럼 말한다. 그러나 문제의 핵심은 결과물이 존재한다는 사실이 아니라 그 결과를 가능하게 한 행위의 연쇄와 그 연쇄 위에 놓인 책임의 구조다. 창조자가 피조물 뒤로 숨는 순간, 인과관계는 단절되고 책임 소재는 소리 없이 사라진다. 이 수천 년 전의 서사는 오늘날 '피지컬 AI'와 알고리즘의 오작동을 둘러싼 법적 공방에서 판박이처럼 재현된다. 자율주행 차량이 인명 사고를 일으키거나 AI 알고리즘이 특정 계층을 차별하는 결정을 내릴 때 개발자와 기업은 아론의 언어를 빌려 항변한다. '우리는 데이터를 학습시켰을 뿐입니다. 이 결과는 딥러닝이라는 블랙박스 안에서 저절로 발생했습니다. 기업의 안전 테스트에서는 전혀 문제가 발견되지 않았습니다.' 실리콘밸리의 거물들은 자신들이 설계한 알고리즘이 증폭시킨 사회적 무질서에 대해 '예측 불가능성'이라는 방패를 세우고 있다. 그러나 성경의 서사는 아론의 변명을 준엄하게 기각한다. 모세는 황금 송아지를 불사르고 가루로 만들어 물에 뿌린 뒤, 이를 만든 백성들에게 마시게 했다. 이는 창조자가 자신이 초래한 무질서와 그로 인한 오염된 결과로부터 결코 자유로울 수 없다는 엄중한 문책이지 않을까? 미국 법무부(DOJ)는 2024년 연설과 ECCP 개정을 통해 AI를 활용한 범죄에 기존 형사법을 적극 적용하고 기업의 AI 관련 위험 관리를 형사집행상 중요한 평가 요소로 보겠다는 입장을 분명히 했다. 한편 EU AI Act는 2024년 8월 1일 발효되어 고위험 AI 시스템의 제공자와 배포자에게 단계적 준수 의무를 부과하고 있다(European Commission, 2024). 현대 사법 체계는 이제 이 고대의 선언을 현대의 법리로 번역하고 있다. AI를 설계한 자, 배치한 자 그리고 관리 감독할 의무가 있는 자에게 그 '블랙박스'의 결과값에 대한 형사적 책임을 묻겠다는 의지다. 2장. 미국 법무부의 선전포고- AI, 형사 집행 최전선 서다 2.1 두 개의 연설, 하나의 전환점 2024년 2월 14일, 리사 모나코(Lisa O. Monaco) 당시 미국 법무부 부장관은 영국 옥스퍼드대학교 강연에서 다음을 언급했다. '모든 새로운 기술은 양날의 검이지만, AI는 그중에서도 가장 날카로운 칼날일지 모른다. AI가 범죄자·테러리스트·적대적 국가들의 위협을 식별·방해·억제하는 데 없어서는 안 될 도구가 될 잠재력을 지닌다. 그러나 동시에 AI가 공동 안보에 대한 위험도 가속화하고 있다. 구체적으로 AI가 기존의 편견과 차별적 관행을 증폭시킬 수 있고, 아동 성학대 자료를 포함한 유해 콘텐츠의 생성을 더 빠르게 만들 수 있으며, 국가들에 디지털 권위주의를 추구하는 도구를 제공하여 허위정보와 억압의 확산을 가속화할 수 있다. AI가 이미 범죄자들의 진입 장벽을 낮추고 적들을 더욱 대담하게 만들고 있음이 현실에서 목격되고 있다(U.S. Department of Justice, 2024a).' 같은해 3월 7일, 모나코는 미국변호사협회(ABA) 제39차 화이트칼라범죄 전국 심포지엄 기조연설에서 훨씬 더 선명한 선언을 했다. '인공지능(AI)이 우리의 삶을 개선할 큰 가능성을 지니고 있지만, 범죄자들이 이를 이용해 기업 범죄를 포함한 불법 활동을 더욱 강력하게 수행할 때에는 큰 위험이 된다. AI를 이용한 사기도 여전히 사기이며 AI가 화이트칼라 범죄의 범위나 규모를 확대하는 데 고의적으로 악용된 경우, 우리 검사들은 개인과 법인 피고인 모두에게 더 무거운 형량을 구할 것이다(U.S. Department of Justice, 2024b).' 두 연설이 갖는 의미는 한 개인의 의견 표명으로 이해되어서는 안 된다. 기존 AI 관련 규제 논의가 주로 연방거래위원회(FTC)나 증권거래위원회(SEC)의 민사·행정 집행 영역에서 전개되어 왔다면, 모나코의 발언은 법무부 형사국이 AI 오용을 기존 형사법의 틀 안에서 직접 다루겠다는 방향성을 공개적으로 천명한 사례로 평가된다. 특히 모나코는 형량가중의 기존 논리를 예로 들며, 총기나 다른 위험한 무기를 사용한 범죄에 가중처벌이 적용되듯 AI의 악의적 사용에도 범죄의 심각성을 높이는 요소로서 동일한 원칙이 적용될 수 있음을 분명히 했다(U.S. Department of Justice, 2024b). 이는 AI가 증폭시킨 피해의 무질서를 민사적 손해배상으로만 처리할 수 없다는 인식 그리고 'AI를 사용했다'는 사정이 형사 법정에서 책임 회피의 근거가 될 수 없다는 점을 연방 법무부의 공식 연설을 통해 확인한 것으로 볼 수 있다. 2.2 ECCP 개정: 형사 책임의 기준이 바뀌다 이 전환의 가장 구체적인 제도적 결정체는 2024년 9월 23일 미국 법무부 형사국이 공표한 '기업 컴플라이언스 프로그램 평가 지침(evaluation of Corporate Compliance Programs, ECCP)' 2024년 9월 개정판이다(U.S. Department of Justice, Criminal Division, 2024). 2017년에 처음 공표된 ECCP는 형사 집행 대상이 된 기업의 컴플라이언스 프로그램을 평가할 때 DOJ 형사국 검사들이 고려할 요소들을 제시하는 문서이다. 이 지침은 주로 검사들을 위한 것이지만, 기업들 역시 자사의 프로그램이 DOJ에 의해 어떻게 평가될지를 점검하는 데 유용한 자료로 활용할 수 있다. 효과적인 컴플라이언스 프로그램을 갖춘 기업은 집행 조치의 해결 과정에서 금전적 제재의 감경이나 보다 완화된 사후 준수 의무 등 보다 유리한 결과를 얻을 가능성이 높다(Skadden Arps, 2024). 2024년 9월 개정판은 ECCP에서 처음으로 인공지능(AI)과 기타 신기술의 사용과 관련된 위험 관리를 명시적으로 질문 항목에 반영하고 검사가 기업이 이러한 신기술 관련 위험을 식별·평가·완화하기 위해 어떤 조치를 취했는지를 검토하도록 함으로써 향후 기업 형사 집행에서 AI 리스크 관리의 중요성을 분명히 드러낸 것으로 평가된다(Morrison & Foerster, 2024). ECCP 2024년 9월 개정판은 인공지능(AI)과 기타 신기술의 사용과 관련하여 기업이 이러한 기술이 법 준수에 미칠 수 있는 위험을 사전에 평가하고 있는지, 관련 위험을 전사적 리스크 관리(ERM) 체계에 통합하고 있는지, 고의적 또는 무모한 오용 가능성을 완화하기 위한 통제장치를 두고 있는지, 해당 기술의 신뢰성 및 부정적·의도하지 않은 결과를 모니터링하고 있는지 나아가 그러한 기술 사용에 관한 거버넌스·책임성·직원 교육 체계를 갖추고 있는지를 검사가 고려하도록 한다 (U.S. Department of Justice, Criminal Division, 2024). 이 다섯 질문의 심층 구조를 면밀히 독해하면, 그것이 본질적으로 통제 투입의 충분성을 묻고 있음을 알 수 있다. 기업이 AI라는 복잡계에 대해 충분한 외부적 작업-거버넌스, 감독, 제도적 마찰-을 가하고 있는지를 검증하는 것이다. 달리 말해, 법무부는 AI를 자동화된 효율의 도구로만 보지 않고 기업이 통제 에너지를 지속적으로 투입하지 않으면 무질서하게 확산될 수 있는 즉, AI 자체를 도덕적 행위자로 취급하는 것이 아니라 통제가 부실할 경우 조직 내부·외부의 규범적 무질서가 빠르게 증폭되는 경로로 본다는 뜻이다. 이는 규제 철학의 전환을 함축하는데 기존의 컴플라이언스 평가가 주로 규칙 위반의 사후적 추적에 집중했다면 이제는 시스템 설계와 운영 구조의 사전적 건전성이 형사 책임 귀속의 독립 변수로 등장했다. 따라서 이러한 노력은 특정 기술의 복잡도나 자율성의 수준이 아닌 인간 감독의 실질적 약화 여부를 책임 귀속의 기준선으로 삼겠다는 규범적 선포로 읽힌다. 기술 수준이 낮더라도 인간의 판단을 우회하거나 대체한다면 책임의 외피를 벗을 수 없다는 논리는 AI 거버넌스 논의에서 오랫동안 요구되어 온 기술 중립적 접근의 규제적 구현이기도 하다. 3장. 범죄가 된 기계- 최근 판례와 형사 책임 최전선 3.1. AI 생성 아동 착취 콘텐츠: 물리적 피해 최전선 필자가 최근 가장 강조하는 영역인 아동‧청소년 보호와 관련해서도 눈에 띄는 지점이 발견된다. AI 관련 형사 기소 가운데 즉각적인 물리적 피해자가 존재하는 영역 중 하나는 AI 생성 아동 성 착취 콘텐츠다. 2024년 5월 DOJ는 위스콘신주 서부 지방법원에서 한 남성을 텍스트-이미지 생성 AI 모델로 수천 건의 아동 성 착취 이미지를 생성한 혐의로 연방 음란물법 위반 4건으로 기소했다(U.S. Department of Justice, 2024c). 같은 해 8월 알래스카주에서는 온라인 AI 챗봇을 사용해 자신이 아는 미성년자를 묘사한 현실적인 아동 성 착취물을 생성한 남성이 기소되었다(U.S. Department of Justice, 2024d). AI는 이 영역에서 피해의 엔트로피를 기하급수적으로 증폭시키는 장치로 기능한다. 생성의 용이성이 범죄의 규모를 결정하는 새로운 구조다. 3.2. 남겨진 공백과 피지컬 AI 형사 책임의 법리적 미완성 우려되는 지점은 현재까지의 미국 판례와 공개된 기소 사례들을 가로질러 보면 중요한 공백이 드러난다는 점이다. DOJ와 연방검찰이 실제로 기소한 AI 관련 사건들은 주로 AI 워싱, 딥페이크를 이용한 사기, AI 도구를 활용해 규모와 정교함이 증폭된 금융·화이트칼라 범죄에 집중되어 있다. 자율주행 차량의 사망 사고, 자율 드론의 오인 타격, 의료 AI의 진단 오류로 인한 사망처럼 피지컬 AI가 물리적 해악을 직접 야기한 사건에 대해 자율 시스템의 설계·배치·운영과 관련된 형사 책임 법리가 본격적으로 적용·정립된 연방 형사 판례는 아직 많지 않은 상황이다. 이 공백의 한 축에는 미국 모델 형법(Model Penal Code) §2.01이 자리한다. 이 조항은 '형사 책임은 자발적 행위를 포함하는 행위에 기반해야 한다'고 규정한다(American Law Institute [ALI], 1985, § 2.01). AI의 자율적 판단이 이 요건을 어떻게 충족하는지 그리고 AI 개발자·배치자·운영자 가운데 누구의 행위를 형법상 '행위자'의 행위로 볼 것인지에 대한 법원과 학계의 논의는 여전히 진행 중이다. 4장. 드워킨의 법정에 AI를 세우다-'원칙의 문제'가 가리키는 전환 드워킨의 기조를 바탕으로 논의를 확장하기에 앞서 성경의 또 다른 장면을 소환해 보자. 열왕기상 3장, 두 여인이 솔로몬 왕 앞에 섰다. 한 아이를 두고 서로 자기 아이라고 주장한다. 룰북에는 이 사건을 판결할 명시적 규정이 없다. 그럼에도 솔로몬은 서슴없이 명한다. '칼을 가져와 아이를 둘로 나누어 반씩 주라(왕상 3:24-25).' 그러자 진짜 어머니가 '아이를 살려 저 여인에게 주라'고 울부짖는다. 솔로몬은 그 울부짖음에서 진실을 읽고 아이를 그녀에게 돌려주었다. 필자는 이 장면에서 우리가 규칙의 적용이 아닌 원칙의 선포를 목도하게 된다고 생각한다. 아이의 생명권이 형식적 증명보다 우선한다는 원칙이 그것이다. 비유적으로 표현하자면, 솔로몬은 아이의 죽음이라는 회복 불가능한 파국을 막기 위해 규칙의 문언을 넘어 원칙에 호소하였다. 규칙이 침묵할 때 원칙만이 말할 수 있었다고 할 수 있다. 로널드 드워킨(Ronald Dworkin)이 '원칙의 문제(A Matter of Principle)'(1985)에서 전개한 원칙의 법정 개념은 바로 이 직관 위에 서 있다. 그는 모든 정당한 정부가 사람들을 동등한 존재로 대우해야 한다는 근본적 이상에 뿌리를 두고 있으며 정의가 궁극적으로는 개인의 권리에 관한 문제라고 보고 있다. 이를 위해 드워킨은 법적·정치적 결정을 정당화하는 논거를 두 가지로 명확히 구분한다. 하나는 정책 논거로 '특정 프로그램을 추구함으로써 공동체 전체가 더 나아질 것'을 보이려는 목표 기반 논거다. 다른 하나는 원칙 논거로 '공동체 전체가 어떤 의미에서 더 나빠지더라도 그 결과가 특정 개인들에게 미치는 영향 때문에 특정 결정이 내려지거나 거부되어야 한다'는 권리 기반 논거다. 판사는 난해한 사건에서 정책이 아니라 원칙에 기대어야 한다. 오늘날 AI 규제의 상당 부분은 '룰북' 관념에 기반하고 있다. EU AI Act, 미국의 AI 권리장전을 위한 청사진(Blueprint for an AI Bill of Rights), 대한민국의 AI 기본법 그리고 각국의 자율주행 안전 기준들은 모두 '어떤 조건에서 AI를 어떻게 운용해야 하는가'에 대한 규칙들이다. 대부분 이 규칙 준수가 곧 면책의 조건이 되는 구조다. 이는 법리적 공백의 구조적 원인이 될 수 있다. 다시 말해, 피해와 권리 침해가 현실화된 이후에도 규칙 준수라는 형식적 요건이 책임의 부정 또는 완화 사유로 기능함으로써 규칙 중심 규율은 오히려 법적 공백을 재생산할 위험이 있다. 그러나 권리 관념은 전혀 다른 질문을 제기한다. 규칙 준수는 법적 판단의 종결점이 아니라 출발점에 불과하다. 설령 행위가 현행 규칙과 절차를 모두 충족하였다 하더라도 그 결과 특정 개인의 권리가 침해되었다면 그 사건은 여전히 법적·도덕적 정당화의 심사를 필요로 한다. 예컨대 자율주행 차량이 규정된 안전 기준 내에서 작동하였음에도 보행자를 사망에 이르게 하였다면, 룰북 관념은 형식적 기준 준수에 주목하여 면책 가능성을 열어 둘 수 있다. 그러나 권리 관념이 묻는 것은 오히려 그 사고로 침해된 생명권의 지위와 의미이다. 더 높은 수준의 예방이 가능하였음에도 경제적 효율성이나 경쟁상의 이익을 이유로 그 위험이 방치되었다면 그러한 선택은 기술적 실패가 아니라 권리 침해를 수반한 규범적 결정으로 평가되어야 한다. 이때 문제는 더 이상 시스템이 기준에 '부합했는가'가 아니라 그 기준 자체가 '개인의 권리를 충분히 보호하도록 설계되어 있었는가' 그리고 그 '보호 의무를 소홀히 한 주체에게 어떠한 책임을 물어야 하는가'에 있다. 정책의 언어는 효율과 편익의 총량을 설명할 수는 있지만 침해된 권리가 왜 우선적으로 고려되어야 하는지 그리고 그 침해가 왜 정당화될 수 없는지에 대해서는 충분한 답을 제공하지 못할 수 있다. DOJ 문서들이 반복적으로 부각하는 것은 성능 수치나 효율 지표가 아니라 프라이버시, 시민권, 시민적 자유, 공정성, 편향, 안전 그리고 인간의 판단과 감독의 유지와 같은 규범적 요소들이다. 이러한 요소들은 기술의 활용 가치나 경제적 편익을 측정하기 위한 정책적 기준이라기보다 AI의 설계와 배치, 운영 과정이 특정 개인이나 집단의 권리를 어떠한 방식으로 침해할 수 있는지를 가늠하기 위한 원칙적 판단 기준으로 기능한다. 그런 점에서 DOJ가 AI를 다루는 방식은 기술이 얼마나 혁신적인가 또는 얼마나 유용한가를 묻는 수준에 머무르지 않고 그 기술의 사용이 누구의 권리를 어떤 방식으로 위태롭게 하며 그 위험이 현실화되었을 때 누가 그 결과에 대하여 책임을 져야 하는가를 묻는 방향으로 이동하고 있다고 볼 수 있다. 바로 이 점에서 최근 DOJ의 접근은 법적 판단의 중심을 정책적 효용이 아니라 권리와 원칙의 문제에 두어야 한다는 드워킨의 문제의식과 구조적으로 맞닿아 있다. 형사법의 고유한 기능은 이미 발생한 손해를 사후적으로 분배하거나 비용을 정산하는 데 있지 않다. 그것은 특정 행위가 공동체의 기본 원칙을 침해하였는지 그리고 그 침해에 대하여 누구에게 비난 가능성과 책임을 귀속시켜야 하는지를 공적으로 판단하는 데 있다. 이 점에서 피지컬 AI가 초래한 피해를 오직 민사적 손해배상의 문제로만 환원하는 접근은 해당 사건을 비용과 편익의 문제로 축소할 위험이 있다. 반면 형사 기소는 그 피해가 기술적 오류나 운영상 비효율의 산물이 아니라 경우에 따라서는 예견 가능하고 회피 가능했던 위험이 방치된 결과일 수 있음을 드러냄으로써 사안의 핵심이 단순 실패가 아니라 원칙 위반에 있음을 공적으로 확인한다. 따라서 '알고리즘이 스스로 작동한 결과'라는 설명은 책임을 배제하는 근거가 될 수 없으며 오히려 그 알고리즘의 설계, 배치, 운영, 감독의 구조 속에서 누가 통제 가능성과 중단 가능성을 보유하였는지를 더욱 엄격하게 심사하게 만든다. 결국 법이 물어야 할 것은 기술의 자율성 자체가 아니라 그 자율성이 인간의 책임을 소거하는 논리로 사용되고 있지는 않은지 그리고 현실의 피해가 발생하기까지의 과정에서 위험을 인식하고도 방치한 주체가 누구인지이다. 5장. 맺으며: 다섯 번째 감각 그리고 황금 송아지 이후, 원칙과 책임 재구성 동양 사상에서 오행(五行)은 목(木)·화(火)·토(土)·금(金)·수(水)의 다섯 범주가 상생과 상극의 관계를 통해 서로 영향을 주고받으며 변화와 조화를 설명하는 체계로 이해된다. 어느 하나가 지나치면 전체가 무너지고 하나가 약해지면 나머지가 보완한다. 피지컬 AI 거버넌스도 이와 같다. 감독, 책임, 형사 집행이라는 외부의 지속적 개입 없이 방치된 시스템은 필연적으로 통제 불가능한 피해를 향해 흘러갈 것이다. 법이 그 개입의 역할을 제대로 수행하려면 새로운 감각이 필요하다. 규칙을 읽는 감각, 위험을 평가하는 감각, 책임을 귀속하는 감각, 피해를 보상하는 감각에 더하여 '이것이 원칙의 문제인가'를 묻는 다섯 번째 감각이다. 필자는 이를 'AI 법 감수성' 혹은 'AI 법 민감성'이라 부르고자 한다. 중요한 것은 그것이 없으면 나머지 네 감각이 아무리 정교해도 규칙이 침묵하는 자리에서 발생하는 권리 침해에 응답할 수 없다는 점이다. 미국 법무부가 AI를 형사 책임의 문제로 보기 시작한 것은 법이 바로 그 다섯 번째 감각을 되찾으려는 시도로 읽힌다. 그 시도의 핵심은 다섯 개의 질문으로 압축된다. ①누가 설계했는가. ②누가 배치했는가. ③누가 감독했는가. ④누가 중단할 수 있었는가. 그리고 ⑤피해가 발생했을 때 그에 대한 책임은 누구에게 있는가. 모세가 아론에게 '이 백성이 네게 어떻게 하였기에 네가 그들을 이 큰 죄에 빠지게 하였느냐'고 물었던 것처럼, 솔로몬이 룰북 밖에서 아이의 생명권을 붙들었던 것처럼, 드워킨이 법학자들에게 정책과 원칙을 혼동하지 말라고 경고했던 것처럼, 우리가 반드시 짚고 물어야 할 질문들이 있다. 이 질문들은 AI 개발자와 기업 경영진, 검사와 판사, AI 정책을 입안하는 입법가 그리고 피지컬 AI의 곁을 걷는 우리 모두를 향하고 있다. 법은 언제나 새로운 기술 앞에서 뒤처져 왔다. 그러나 법이 뒤처지는 것과 법이 침묵하는 것은 다르다. 뒤처짐은 시간의 문제이지만 침묵은 의지의 문제다. 기술이 앞서 달려갈수록 법은 더 빠르게 원칙을 붙들어야 한다. 국소적으로나마 질서를 만들어온 것은 언제나 규칙이 아니라 원칙이었다. 규칙은 예견된 상황에 응답하지만, 원칙은 예견되지 않은 상황에서도 말할 수 있기 때문이다. AI라는 새로운 피조물 앞에서 우리가 직면한 것도 결국 같은 질문이다. 이것은 기술의 문제가 아니다. 가장 오래되고도 가장 새로운 질문-원칙의 문제다. 필자는 바로 이 질문을 현존하는 우리 모두에게 화두로 던진다.
