[박형빈 교수 AI와 윤리⑤-판단] 자율주행차의 도덕적 결정은 누가 만들어야 하나
1. 자율주행, 운전석은 비어도 책임의 자리는 남는다 샌프란시스코 베이 에어리어와 로스앤젤레스를 비롯한 일부 미국 도시의 도로에서는 정해진 운행 구역 내에서 운전석에 사람이 타지 않는 레벨 4 자율주행 로보택시가 실제로 운행 중이다. 알파벳 산하 웨이모(Waymo)는 피닉스·샌프란시스코 베이 에어리어·로스앤젤레스에서 자사 호출 서비스인 '웨이모 원(Waymo One)'을 통해 각 서비스 구역 내에서 원칙적으로 24시간 이용 가능한 자율주행 호출 서비스를 제공한다고 안내한다. 오스틴과 애틀랜타에서는 우버(Uber) 앱을 통해 웨이모의 완전자율주행 차량을 호출할 수 있도록 제휴 서비스가 2025년 초부터 단계적으로 운영되고 있으며, 우버는 이들 차량이 서비스 구역 내에서 이용 가능한 형태로 제공된다고 설명한다(CNBC, 2025). 서울도 예외가 아니다. 상암 일대에서는 시민이 전용 앱(TAP!)으로 호출해 탑승하는 자율주행 서비스가 운영돼 왔고, 청계천에서는 청계광장과 광장시장 사이 구간을 오가는 전통적인 운전대가 없는 자율주행 셔틀 '청계A01'이 시민 탑승 형태로 운행되고 있다. 여의도에서는 국회 일대 약 3.1km 구간을 순환하는 자율주행 순환버스가 도입돼 시민이 이용할 수 있도록 안내된 바 있다. 특히 심야에는 합정역과 동대문역 사이 중앙버스전용차로 9.8km 구간을 오가는 '심야 A21' 자율주행버스가 정기 운행에 들어갔는데, 서울시는 이를 '세계 최초의 정규 심야 자율주행 시내버스'로 소개한 바 있다. 운전석에는 비상 대응을 위한 안전요원이 탑승하되, 주행의 중심은 자율주행 시스템이 맡는 구조로 설계·운영되고 있다(Korea.net, 2023). '미래의 기술'로만 여겨졌던 자율주행이 출근과 귀가, 공항과 도심을 잇는 일상의 교통망 속으로 점차 편입되고 있는 셈이다. 그러나 이 장면은 편의만을 뜻하지 않는다. 운전대는 오랫동안 인간의 판단과 책임을 상징해 왔다. 그런데 운전석이 비어 있는 차량이 도로 위를 달리는 순간, 그 자리를 대신하는 것은 한 개인의 직관이 아니라 확률과 비용을 계산하는 시스템이다. 겉으로는 중립적인 기술처럼 보이지만, 그 내부에는 이미 '무엇을 우선하고 무엇을 포기할 것인가'라는 가치의 질서가 들어 있다. 그래서 자율주행이 던지는 윤리의 질문은 운행이 시작된 이후가 아니라, '설계의 순간'부터 시작된다. 인간 운전이 가장 예민해지는 순간은 언제나 '돌발 상황'이다. 우리는 빨간 불에 멈추고 초록 불에 가는 규칙을 배운다. 그러나 실제 도로는 규칙만으로 완결되지 않는다. 갑자기 뛰어드는 보행자, 예상치 못한 급정거, 비·안개·야간 시야처럼 변수로 가득한 상황에서 인간은 오랫동안 직관과 경험에 기대 즉각 반응해 왔다. 이 판단은 논증보다 빠르고, 계산보다 먼저 움직인다. 그러나 자율주행으로 전환되는 순간 문제의 구조가 달라진다. 돌발 상황에서의 반응은 더 이상 개인의 반사 신경이 아니라, 사전에 설계된 규칙과 가중치, 위험 임계값이 조합된 시스템의 선택이 된다. 다시 말해 '발생하면 반응'하던 인간의 방식이, '발생하기 전에 어떻게 처리할지'를 미리 정해 두는 방식으로 옮겨간다. 여기서 우리가 놓치기 쉬운 사실이 있다. 운전석은 비어 있어도 판단의 주체가 사라지는 것은 아니다. 다만 그 주체가 한 사람의 얼굴과 이름을 가진 존재에서, 설계·운영·규정·코드로 분산된 형태로 바뀔 뿐이다. 그렇기에 자율주행차는 단순한 교통수단이라기보다, 도로 위에서 생명과 위험을 배분하는 하나의 알고리즘적 판관처럼 보이기 시작한다. 사고의 순간 차량은 누구를 우선 보호할지, 어떤 위험을 감수할지, 피해를 어떻게 최소화할지를 선택해야 한다. 그러나 그 선택에는 표정도 목소리도 없다. 무엇보다 책임을 지는 단일한 주체가 드러나지 않는다. 결국 이 논의의 종착지는 기술이 아니라 윤리다. 자율주행이 확산될수록 핵심 쟁점은 '얼마나 더 편리한가'가 아니라 '누가, 어떤 기준으로, 어떤 책임을 지는가'로 이동할 것이다. 도로 위의 자율주행차는 지금 우리에게 묻고 있다. 기계가 주행을 맡는 시대에, 책임의 운전대는 과연 누구의 손에 쥐여 있어야 하는가. 2. 트롤리 딜레마의 공학적 번역: 윤리의 코드화 '트롤리 딜레마(Trolley Problem)'는 1967년 영국 철학자 필리파 풋(Philippa Foot)이 '낙태의 문제와 이중효과 원리(The Problem of Abortion and the Doctrine of Double Effect)'에서 제시한 사고실험에서 비롯됐다. 이 실험의 원형은 통제 불능의 전차 운전사가 다섯 명이 있는 선로로 향할 때, 방향을 틀어 다른 선로의 한 명을 희생시키는 선택이 도덕적으로 정당화될 수 있는지를 묻는다. 이 고전적 딜레마가 이제는 철학 교과서를 넘어 공학 연구소의 화이트보드로, 그리고 도로 위의 자율주행차 알고리즘 속으로 옮겨왔다. 예를 들어, 브레이크가 고장 난 자율주행차가 그대로 직진하면 횡단보도를 건너는 보행자 5명을 칠 위험이 있고, 급히 방향을 틀면 차량 안의 탑승자 1명이 치명적인 위험에 처하게 되는 식의 변형된 '트롤리 상황'으로 다시 등장하는 것이다. 실제로 MIT 연구진은 온라인 플랫폼인 '모럴 머신(Moral Machine)'을 통해 자율주행차가 이와 유사한 극단적 상황에서 누구를 구하고 누구를 희생시켜야 하는지에 대해 전 세계 수백만 명의 직관과 선택을 수집했다. 이 실험은 자율주행차의 윤리 알고리즘이 기술 문제만이 아니라, 문화와 가치관의 차이까지 반영해야 하는 집단적 도덕 판단의 문제임을 보여준다. 이제 시선을 개인의 판단으로 돌려 가상의 장면을 한 번 생각해 보자. 인간 운전자라면 충돌이 불가피한 상황에서 순간 공포에 질려 비명을 지르거나, 거의 반사적으로 핸들을 꺾어 버릴 것이다. 법 역시 이러한 긴급 피난 상황에서의 본능적 행위에 대해서는 도덕적 책임은 물을 수 있을지언정 법적 책임은 끝까지 묻지 않을지도 모른다. 그러나 AI는 다르다. AI에게는 '본능'이 없다. 물론 '본능'을 어떻게 정의할 것인가는 또 다른 논쟁의 장을 열 문제다. 이 논의를 잠시 옆에 두고, 다시 문제의 장면을 떠올려 보자. AI는 오직 입력된 목적 함수와 그것을 극대화·최소화하려는 최적화 과정만 존재한다. 따라서 AI 개발자는 이 잔인한 선택지를 결국 코드의 언어로 번역해 넣어야 한다. ￭ IF 보행자 사망 확률 > 탑승자 사망 확률 THEN 핸들 유지? ￭ IF 보행자가 노인이고 탑승자가 아이라면, THEN 가중치는 어떻게 부여할 것인가? 이렇게 'if-then'의 조건문으로 구현된 순간, 선택은 더 이상 즉흥적인 본능이 아니라, '사전에 설계된' 알고리즘적 판단이 된다. MIT 미디어랩의 '모럴 머신(Moral Machine)' 프로젝트는 전 세계 233개 국가 및 지역에서 수백만 명의 참여자로부터 약 4천만 건의 도덕적 선택 데이터를 수집했다. 이 연구는 자율주행차의 윤리적 판단에 대해 단일한 형태의 '보편 윤리'가 존재한다고 가정하기 어렵다는 점을 보여준다. 전 세계적으로는 '더 많은 생명을 살리는 선택'과 같은 강한 공통 경향이 관찰되었으나, 국가와 문화권에 따라 그 선호의 강도와 세부 패턴은 달랐다. 예컨대 미국과 유럽을 포함한 서구권에서는 다수를 살리는 선택이 상대적으로 강하게 나타난 반면, 한국·일본·중국 등 동아시아 국가들에서는 연령에 따른 선호가 상대적으로 약하고, 보행 규칙 준수 여부를 더 중시하는 경향이 관찰되기도 했다. 또한 경제적 불평등 수준이 높은 사회일수록 사회적 지위가 높은 인물을 보호하는 선택이 더 빈번하게 나타나는 상관관계도 보고됐다(박형빈, 2022). 이는 심각한 '윤리적 표준화(Ethical Standardization)'의 문제를 낳는다. 실리콘밸리 개발자가 설계한 윤리 알고리즘이 서울 도로와 뉴델리 도로에 동일한 규칙과 우선순위로 적용되어야 하는가? 혹은 애초에 그렇게 적용될 수 있는가? 교통 환경과 법규, 위험 분포, 그리고 '무엇을 먼저 보호할 것인가'라는 가치 서열이 서로 다름에 대해 우리는 어떤 태도를 가져야 하는가. 기술이 국경을 넘을 때, 그 기술에 내장된 윤리관이 편의와 효율의 외피를 두른 채 타자의 규범을 밀어내는 '문화 제국주의'로 작동할 위험은 없는지 깊이 고민해야 하지 않을까. 3. 리스크 할당(Risk Allocation): 이기적인 자동차를 원하십니까? 자율주행의 도덕적 결정은 전통적 트롤리 딜레마를 넘어, 도로 이용자들 사이에 '위험을 누구에게, 얼마나 배분할 것인가'라는 위험 분배의 문제로 구체화된다. 독일에서는 연방교통디지털인프라부(BMVI, 현재 BMDV로 변경)가 설치한 '자동화·연결주행 윤리위원회(Ethics Commission on Automated and Connected Driving)'가 2017년 6월 보고서 형태로 20개 윤리 규칙을 발표했고, 연방정부는 이를 토대로 관련 정책을 추진하겠다고 밝혔다. 이 보고서는 불가피한 위험 상황에서도 인명 피해 회피가 재산 피해 회피보다 항상 우선이며, 연령·성별·신체적/정신적 특성 등 개인적 속성에 따라 사람 생명을 차등 평가(가중치 부여)하는 것은 허용되지 않는다고 명시한다(Luetge, 2017). 지극히 칸트적인, 인간 존엄성을 최우선에 둔 원칙이다. 그러나 자본주의 시장 논리는 다르다. 여기서 우리는 '사회적 딜레마'에 봉착한다. 연구 결과에 따르면, 대다수의 사람들은 설문조사에서 "우리 사회에는 전체 희생을 최소화하는 공리주의적 자율주행차(Utilitarian Car)가 필요하다"고 답한다. 5명을 살리기 위해 1명을 희생하는 차가 옳다는 것이다. 그러나 질문을 "당신은 어떤 차를 사겠습니까?"로 바꾸면 태도는 돌변한다. 사람들은 '나와 내 가족을 최우선으로 보호하는 차(Egoistic Car)'를 선택하겠다고 답했다(박형빈, 2021). 내가 탄 차가 남을 살리기 위해 나를 희생시킨다면, 그 차를 돈 주고 살 소비자는 없다. 제조사는 이 모순된 욕망 사이에서 갈등한다. 소비자 안전을 최우선으로 코딩하면 도덕적으로 비난받고, 공익을 최우선으로 코딩하면 시장에서 외면받는다. 과연 이 '죽음의 수학'에 대한 합의는 가능한가? 4. 블랙박스 속의 책임 공백: 누가 죄인인가? 더 큰 문제는 현재의 AI 기술이 딥러닝(Deep Learning) 기반이라는 점이다. 딥러닝은 데이터 패턴을 스스로 학습한다. 수백만 킬로미터 주행 데이터를 학습한 AI가 왜 특정 상황에서 핸들을 왼쪽으로 꺾었는지, 개발자조차 명확히 설명하지 못하는 경우가 발생한다. 이를 '블랙박스(Black Box) 문제'라 한다. 만약 AI가 학습 데이터에 포함된 인간 운전자들의 미세한 편향 예를 들면, 자율주행 시스템이 특정 인종의 보행자에게 더 늦게 반응하는 패턴을 데이터에서 그대로 학습해 사고를 냈다면, 책임은 누구에게 있는가. 데이터를 충분히 정제·검증하지 않은 개발사인가, 편향된 운전 습관과 환경을 데이터로 축적해 온 사회인가, 관리·감독 의무를 다하지 않은 차주인가, 혹은 이러한 위험을 예견하고도 기준과 감독을 마련하지 못한 국가인가. 책임의 주체가 흐려지는 이른바 '책임의 공백(Responsibility Gap)'은 피해자는 있는데 가해자는 없는 기이한 법적 현실을 만들어낼 수 있다. "알고리즘이 그랬습니다"라는 말은 현대판 면죄부가 될 위험이 크다. 우리는 이미 알고리즘 뒤에 숨은 '자본의 논리'를 본능적으로 간파하고 있다. 생명의 존엄성조차 비용 계산의 대상이 될 수 있음을, 우리는 유튜브와 뉴스를 통해 이미 학습했다. 더 큰 문제는 '도덕적 아웃소싱(Moral Outsourcing)'의 징후다. 복잡하고 고통스러운 도덕적 판단을 기계나 운에 맡겨버림으로써, 심리적 부담에서 벗어나려는 경향이다. 교육학자로서 필자가 가장 우려하는 지점이 바로 여기다. 도덕적 판단은 뇌의 전두엽(prefrontal cortex, PFC)이 이성, 감정, 기억, 사회적 맥락을 치열하게 통합해 내리는 고도의 인지 활동이다. 우리는 이 과정을 '고뇌'라고 부른다. 그러나 판단을 기계에 위임하는 것에 익숙해지면, 인간의 '도덕적 근육(Moral Muscle)'은 퇴화한다. 갈등 상황을 회피하고, 결과에 대한 책임을 알고리즘 탓으로 돌리는 수동적 인간상이 고착화될 수 있다. 따라서 AI 윤리 교육은 코딩을 가르치는 것이 아니라, 역설적으로 '기계가 답을 줄 수 없는 문제' 앞에서 멈춰 서서 생각하는 힘을 기르는 것이어야 한다. 이것이 바로 아리스토텔레스가 말한 '실천적 지혜(Phronesis)'가 아닐까. 5. 나오며: 기술에게 도덕적 권한을 이양하지 말아야 자율주행 기술은 분명 인류에게 축복이 될 잠재력이 있다. 졸음운전, 음주운전, 보복운전 같은 인간의 불완전함으로 인한 수많은 비극을 획기적으로 줄여줄 것이다. 그러나 '사고율 0%'가 달성되지 않는 한, 누군가는 다치거나 죽어야 하는 비극적인 선택의 순간은 반드시 온다. 이제 이 칼럼의 제목이 던진 질문에 답해야 할 때다. '자율주행차의 도덕적 결정은 누가 만들어야 하는가?' 그 권한은 특정 테크 기업의 CEO나 소프트웨어 엔지니어에게 독점되어서는 안 된다. 그들은 코드를 짤 수는 있어도, 생명의 가치를 정의할 권리는 위임받지 않았다. 또한 기계에게 '알아서 최적화하라'고 떠넘겨서도 안 된다. 그 기준은 불완전하더라도 시민 사회의 치열한 숙의와 법적 논의, 그리고 끊임없는 윤리적 성찰을 통해 바로 '우리'가 만들어야 한다. 기술은 운전을 대신할 수 있지만, 책임을 대신할 수는 없다. 빈 운전석에 앉아야 하는 것은 투명인간이 된 알고리즘이 아니라, 보이지 않는 곳에서 그 알고리즘을 '감시'하고 '통제'하며 '판단'하고 '합의'해 나가는, 깨어있는 시민들의 '집단 지성'이어야 한다. 자율주행차가 도로를 누빌 때, 우리는 그 자동차가 지향해야 할 '가치의 지도'를 그려야 한다. 그것이 인간이 기계의 주인으로 남을 수 있는 유일한 길이자 도덕적 존재로서의 인간이 마땅히 해야 할 준엄한 책무다. ◆ 참고문헌 박형빈 (2022). 『인공지능윤리와 도덕교육』. 씨아이알. 박형빈 (2021). 자율 주행 차량 (AV) 의 트롤리 딜레마 문제와 AI 윤리교육의 과제. 한국초등교육, 32, 101-119. Luetge, C. (2017). The German ethics code for automated and connected driving. Philosophy & Technology, 30(4), 547-558. ◆ 박형빈 서울교대 교수는.... ▲약력 · 서울교육대학교 윤리교육과 교수 · 미국 UCLA 교육학과(Department of Education) 방문학자 · 서울교육대학교 교육전문대학원 에듀테크전공·AI인문융합전공 교수 · 서울교육대학교 신경윤리·가치AI융합교육연구소 소장 ▲주요 경력 및 사회공헌 · 현 신경윤리융합교육연구센터 센터장 · 현 가치윤리AI허브센터 센터장 · 현 경기도교육청 학교폭력예방자문위원 · 현 통일부 통일교육위원 · 현 민주평화통일자문회의 자문위원 ▲주요 수상 · 세종도서 학술부문 우수도서 3회 선정 ― 『어린이 도덕교육의 새로운 관점』(2019, 공역), 『뇌 신경과학과 도덕교육』(2020), 『양심: 도덕적 직관의 기원』(2024, 역서) ▲주요 저서 · 『도덕적 AI와 인간 정서』(2025) · 『BCI와 AI 윤리』(2025) · 『질문으로 답을 찾는 인공지능 윤리 수업』(2025) · 『AI 윤리와 뇌신경과학 그리고 교육』(2024) · 『양심: 도덕적 직관의 기원』(2024) · 『도덕지능 수업』(2023) · 『뇌 신경과학과 도덕교육』(2020) · 『통일교육학: 그 이론과 실제』(2020) ▲연구 및 전문 분야 · 도덕·윤리교육, 신경윤리 기반 도덕교육 · AI 윤리 교육, 디지털 시민성 교육
