[피지컬AI와 윤리] 킬러 로봇과 드론의 최종 통제권
1. 이야기를 시작하며: 이상의 '날개' 속 화자와 소외된 현대 인류 “날자. 날자. 날자. 한 번만 더 날자꾸나. 한 번만 더 날아보자꾸나./이상(李箱)/날개" 이상(李箱)의 단편소설 '날개(1936/2005)' 화자는 살아 있으되 스스로 결정하지 못하는 인간이다. 그는 생각하고, 감각하고, 때로 고통받는다. 그러나 행위하지 않는다. 아내가 방문을 잠그면 그는 그 안에서 잠을 자고, 아내가 돌아오면 다시 눈을 감는다. 그의 삶은 마치 자기 바깥에서 작동하는 것처럼 보인다. 소설의 말미, 그는 정오의 사이렌이 울리는 순간 이렇게 외쳐 보고 싶었다고 고백한다. '날자.' 이 외침은 잃어버린 주체성을 향한 처절하고도 아름다운 호출처럼 읽힌다. 소설은 그가 실제로 날아오르는 장면을 끝내 보여주지 않는다. 갈망과 현실 사이에 놓인 심연의 간극, 바로 그것이 이 작품의 비극일 것이다. 중학생 시절 처음 이 작품을 읽었던 필자에게도 이 마지막 장면은 오래도록 설명하기 어려운 먹먹함으로 남아 있었다. 오늘의 인류는 그 비극적 간극을 이제 전장의 한복판에서 다시 마주하고 있다. 자율살상무기체계(LAWS) 확산은 가장 무거운 생명 결정권을 인간이 아닌 알고리즘에 양도하려는 위험한 징후다. '날개'의 화자가 스스로를 박제한 채 책임을 유예했듯, 우리 역시 기술의 효율성 뒤에 숨은 채 가장 중대한 도덕적 결단을 기계에 위임하고 있는지도 모른다. 알고리즘이 표적을 식별하고 타격 여부를 계산하는 찰나, 인간은 시스템이 열어 놓은 절차를 통과할 뿐인 무력한 관찰자로 전락한다. 골방 속에서 주체성을 상실한 화자처럼, 현대의 인류 역시 기술이라는 거대한 체계 속에서 '최종 통제권'이라는 이름의 날개를 조금씩 잃어가고 있는 것은 아닐까? 그 결과 인간은 살상의 결정을 내리는 주체가 아니라, 결정이 끝난 뒤 그 결과를 목격하는 존재로 밀려난다. 그러나 더 근본적으로 위태로운 지점은 주체의 형식과 실질이 분리되는 것을 넘어 이제는 그 형식 자체마저 기계에 양도될 수 있다는 데 있다. 기계가 스스로 표적을 식별하고 인간의 개입이 계속 축소되는 전장 환경에서는 인간의 결정권이 구조적으로 약화될 위험에 직면한다. 이러한 환경에서 책임은 누구에게도 온전히 귀속되지 않는다. '기계에 살인을 위임해도 되는가?'라는 물음은 기술이 먼저 답할 수 있는 문제가 아니라, 윤리학적, 법철학적 원칙이 선행되어야 할 문제임을 확인하게 된다. 2. '킬러 로봇' 논의, 이미 전장 현실과 맞닿아 있어:가속화하는 '책임 공백' 최근 몇 년간 기술 발전과 군사비 지출 증가가 맞물리면서 자율살상무기체계(LAWS)의 개발이 급속도로 가속화되고 있다. 미국 의회조사국의 보고서 '국방 개요: 미국의 치명적 자율무기 시스템 정책(Defense Primer: U.S. Policy on Lethal Autonomous Weapon systems)'은 LAWS를 센서 체계와 컴퓨터 알고리즘을 활용하여 인간의 수동 조작 없이 목표를 독립적으로 식별하고, 탑재된 무기 시스템으로 이를 공격·파괴하는 특수한 무기체계로 기술한다. 다만 동 보고서는 LAWS 개념이 아직 국제적으로 통일된 법적 정의나 구속력 있는 규범으로 정립되지 않았으며 관련 논의가 진행 중임을 지적한다(Congressional Research Service [CRS], 2025). 2020년대 중반에 들어서면서 자율 기능을 갖춘 살상 무기와 AI 기반 표적 선정 시스템은 일부 전장에서 제한적 활용 사례가 보고되었는데 이러한 경향이 향후 확대될 수 있다는 전망이 제기되고 있다(Shah, 2026). 우크라이나-러시아 전쟁에서는 AI 유도 반자율 드론이 실전 배치됐으며(Bondar, 2025), 2026년 2월 개시된 미국·이스라엘의 대이란 군사작전에서도 AI 통합 타게팅 도구가 실전에 활용되었다는 보도가 제기되었다(Cooper, 2026). 현대 전쟁의 양상이 '원격 조정'을 넘어 '자율적 판단'의 단계로 이동함에 따라 살상의 주체성에 관한 인간 통제의 본질적 가치가 시험대에 오르고 있다. 2024년 12월 초, 제79차 유엔총회는 자율살상무기체계에 관한 결의를 채택했다. 이 결의는 자율무기체계가 국제 평화와 안보 그리고 국제인도법 준수에 중대한 도전을 제기할 수 있음을 인정하고, 관련 문제에 대한 국제적 논의를 지속할 필요성을 강조하였다. 또한 유엔 회원국들이 참여하는 후속 논의를 촉진할 것을 요청함으로써 자율무기 규범 형성을 위한 다자적 논의의 기반을 마련하였다(UN General Assembly, 2024). 2025년 11월 유엔총회 제1위원회는 자율무기 관련 결의안을 156개국 찬성으로 채택하며 논의를 이어갔다(Stop Killer Robots, 2025). 다만 이러한 결의들은 법적 구속력을 갖기보다는 국제적 규범 형성을 위한 정치적 합의와 방향성을 제시하는 성격을 지닌다. 한편, 유엔 사무총장과 국제적십자위원회(ICRC)는 2023년 10월 5일 공동 호소문을 통해 자율무기체계를 금지하거나 제한하기 위한 법적 구속력 있는 새로운 국제 규범의 필요성을 강조하고 2026년을 목표로 관련 협상을 진전시킬 것을 촉구했다(ICRC & UN Secretary-General, 2023). 그러나 현장에서 기술은 외교보다 빠르게 달려간다. 3. '기계'에 '살인'을 위임해도 되는가: 기술적 한계와 윤리적 반론 자율살상무기체계는 국제 논의에서 인간 개입 정도에 따라 세 단계로 일반적으로 설명된다. 첫째, 개별 공격마다 인간 승인이 필요한 '인간 개입형(human-in-the-loop)' 체계. 둘째, 시스템이 자율적으로 행동하되 인간이 실시간으로 감독하며 필요시 중단시킬 수 있는 '인간 감독형(human-on-the-loop)' 체계. 셋째, 인간의 직접 개입 없이 시스템 스스로 표적을 선택하고 무력을 행사하는 '인간 배제형(human-out-of-the-loop)' 완전 자율 체계다. 피터 아사로(Peter Asaro)는 이러한 자율화 자체가 표적 선정과 공격을 인간의 도덕적·법적 판단으로부터 분리시킨다는 점에서 본질적 인권·책임 문제를 제기한다(Asaro, 2012). 이 물음에 대해 학계 논의는 대체로 두 흐름으로 나뉜다. 하나는 기술적·규범적 불가능성을 강조하는 금지론이고, 다른 하나는 윤리 통제 구조의 설계 가능성을 주장하는 조건부 허용론이다. 금지론의 대표적 논거는 영국 셰필드대학교 컴퓨터과학과 인공지능·로봇공학 명예교수 노엘 샤키(Noel Sharkey)가 제시한다. 샤키는 자동 표적 인식(ATR) 기술을 평가한 결과, 전투원과 비전투원을 식별하는 구별의 원칙과 군사적 이득 대비 부수적 민간인 피해를 저울질하는 비례성의 원칙은 예측 가능한 미래 범위 내에서 신뢰할 수 있는 수준으로 구현하기 어렵다고 보았다(Sharkey, 2010; Sharkey, 2014). 기계는 상황의 맥락을 이해하는 것이 아니라 데이터의 패턴을 계산할 뿐이다. 항복하려는 병사의 몸짓, 부상당한 민간인이 무기처럼 보이는 물체를 들고 있는 상황 등과 같은 맥락적 판단은 픽셀과 열화상 데이터의 패턴 매칭으로 완전히 대체될 수 있는가에 대한 의문을 배제하기 어렵다. 반면 조지아 공과대학교 인터랙티브컴퓨팅학부 교수 로널드 아킨(Ronald C. Arkin)은 다른 입장을 취한다. 그의 저서 '자율 로봇의 치명적 행위 통제(Governing Lethal behavior in Autonomous Robots)'는 자율무기체계에 윤리 통제 구조를 설계할 수 있다는 논거를 제안한 연구 가운데 체계적인 기술·윤리 모델로 널리 인용된다. 아킨의 연구 가설은 지능형 로봇이 전장의 인간보다 더 윤리적으로 행동할 수 있다는 것이다(Arkin, 2009). 그 근거는 인간 전투원의 심리적 취약성에 있다. 분노·두려움·복수심·피로·PTSD 등은 인간으로 하여금 전쟁법과 교전수칙을 일관되게 준수하지 못하게 만들며 결과적으로 전쟁범죄와 민간인 피해로 이어질 수 있다. 이러한 문제는 마이라이 학살과 아부그라이브 사건과 같은 사례에서 드러난 바 있다. 이를 위해 아킨은 네 가지 모듈로 구성된 아키텍처를 제안한다. 로봇이 선택한 행동을 실행 전 검토해 전쟁법·교전수칙에 어긋나면 억제하거나 변형하는 윤리적 거버너, 선택 가능한 행동 레퍼토리를 사전에 윤리적 범위로 제한하는 윤리적 행동 통제, 사후에 비윤리적 행동을 검토해 제약 조건을 갱신하는 윤리적 어댑터, 비윤리적 행동 발생 시 어느 인간 행위자에게 책임이 귀속되는지를 추적·조언하는 책임 고문이다(Arkin, 2009). 그러나 전쟁의 도덕성은 규칙의 기계적 적용이 아니라 맥락적 해석을 통해 결정되며, 이는 알고리즘으로 환원할 수 없는 인간 고유의 판단 영역이다. 자율무기가 국제인도법(International Humanitarian Law, IHL)을 준수할 수 있는지는 여전히 미해결 과제로 남아 있다. 4. 로널드 드워킨 원칙으로 본 LAWS 거버넌스: 정책 아닌 원칙 문제 자동화 시스템이 발전할수록 인간은 이를 비판적으로 검토하기보다 신뢰하는 경향을 보이는데 이는 일종의 자동화 편향이다. 빠른 의사결정 압박, 정보 과부하, 알고리즘의 외형적 권위라는 세 요소가 결합되면 인간은 사실상 '승인 버튼을 누르는 존재'로 축소된다. 인간이 형식적으로 루프 안에 남아 있더라도 실제 윤리적 판단이 도덕적 주체인 인간이 아니라 기계 구조에 내재해 있다면 그것은 실질적 통제가 아니라 통제의 외양에 불과하지 않을까? 그렇기에 자동화 편향은 인간 개입형 체계조차 실질적 인간 통제가 보장된 시스템으로 보기 어렵게 만든다. 아울러 책임은 개발자, 제조사, 군 지휘관, 정치 지도자, 알고리즘 설계 과정 등으로 분해되어 누구도 완전한 책임을 지지 않는 구조가 초래된다. 법철학자 로널드 드워킨(Ronald Dworkin)의 '원칙의 문제(A Matter of Principle)'는 이 구조적 문제를 법철학적 언어를 통해 깊이 분석하고 검토하도록 돕는다. 드워킨은 법적·정치적 결정이 두 가지 논거 방식에 의존한다고 구분한다. 하나는 공동체 전체의 집합적 목표를 증진함으로써 결정을 정당화하는 정책 논거이고, 다른 하나는 특정 프로그램이 개인에게 미치는 영향 다시 말해, 개인의 권리를 근거로 결정을 정당화하는 원칙 논거다. 앞에서 살펴본 아킨의 찬성론은 전형적인 정책 논거라 할 수 있다. 자율무기가 민간인 피해를 줄이고 군사 효율을 높인다면 공동체의 집합적 이익을 증진한다는 공리주의적 계산이 그것이다. 그러나 드워킨은 원칙을 정책으로 타협시키거나 편의에 따라 그 색을 입히는 행위는 원칙이 가진 본연의 권위를 형해화한다고 경고한다(Dworkin, 1985/박형빈 역, 2026 출간 예정). 간과해서는 안 되는 지점은 기계는 규칙을 따를 수 있지만, 원칙의 도덕적 해석인 '도덕적 독해'는 수행할 수 없다는 부분이다. 드워킨은 개인의 권리를 정책적 목표에 맞서는 '으뜸패'로 규정한다(Dworkin, 1985/박형빈 역, 2026 출간 예정). 그는 카드 게임에서 다른 어떤 패보다 우선하는 으뜸패에 권리를 비유했다. 이는 사회의 전체적인 이익(공익)이나 정책적 목표가 아무리 정당해 보이더라도, 그것이 개인의 기본적 권리와 충돌할 때는 권리가 우선시되어야 한다는 뜻이다. 다시 말해 집합적인 목표를 달성하기 위해 개인의 권리를 희생시키는 것은 으뜸패를 무시하는 행위가 된다. 이를 자율살상무기체계(LAWS)에 적용하면, 모든 개인은 자신의 생사가 결정되는 과정에서 도덕적 책임 능력을 가진 인간 판단자의 존재를 요구할 권리를 갖는다. '자율 시스템이 더 정확하다'거나 '더 빠르다'는 정책 논거는 이 권리를 무력화할 수 없다. 이 관점에 서면, 자율살상무기체계의 허용 여부를 결정하는 국제적 장은 안보 정책 포럼이 아니라 원칙의 법정이어야 한다. 그리고 그 핵심 쟁점은 자율무기가 '군사적으로 효과적'인가가 아니라 자율무기가 '개인의 권리를 존중'하는가여야 한다. 드워킨의 원칙 체계에서 LAWS 거버넌스의 방향은 세 가지로 제시될 수 있다. 첫째, 완전 자율 살상무기의 금지는 정책이 아닌 원칙의 문제다. 개인이 인간의 판단 없이 기계에 의해 살상되어서는 안 될 권리가 존재하며, 이는 협상의 대상이 아닌 원칙적 금지선이다. 둘째, 의미 있는 인간 판단의 기준은 원칙적 엄격성으로 설정되어야 한다. 자동화 편향에 굴복한 인간은 형식적으로 루프 안에 있더라도 실질적 도덕적 통제권을 행사하지 못한다. 셋째, 살상 결정의 책임은 개발자(설계 책임)·군(사용 책임)·국가(정책 책임)로 명확히 귀속되어야 한다. 이것이 '책임의 공백'을 줄이는 핵심 전략이다. 5. 결론: 실효성과 국가 안보는 또 다른 '으뜸패'? 그럼에도 이 쟁점에 관해 우리는 원칙의 언어만으로 결론을 닫을 수 없다. 전장에서의 효율성, 병력 손실의 최소화, 적대 세력의 자율무기 도입에 대응해야 한다는 안보적 압박은 그 자체로 강력한 논거를 갖는다. 실효성 없는 규범은 공허한 선언에 그치고, 국가는 생존과 책임이라는 무거운 과제를 동시에 짊어진다. 그렇다면 우리는 묻지 않을 수 없다. 실효성과 국가 안보라는 이름 아래, 인간 통제의 원칙은 어디까지 유연해질 수 있는가? 그리고 그 유연성은 어디에서 반드시 멈춰야 하는가? 이 질문을 더 어렵게 만드는 것은, 국가 안보가 정책적 목표로만 읽히지 않는다는 사실이다. 국가 안보가 위협받아 개인의 생명 자체가 존속하기 어려워진다면, 그 생명의 존엄함을 지키는 일 역시 불가능해진다. 다시 말해 안보는 존엄성의 전제 조건이 될 수 있으며, 정책적 목표를 넘어 공동체의 생존을 전제로 한다는 점에서 일정 부분 원칙적 성격을 지닐 수 있다. 국가 간의 긴장과 경쟁을 완전히 무시할 수 없는 현실에서 이 딜레마는 원칙 대 정책의 충돌이 아니라 원칙 대 원칙의 충돌로 심화된다. 바로 이 지점에서 문제는 한층 더 복잡해진다. 이상의 '날개'에서 주인공은 옥상에서 날아오르기를 소망하지만, 소설은 그의 비상을 끝내 유보한다. 오늘날 AI 윤리가 마주한 풍경도 이와 닮아 있다. 우리는 '인간의 의미 있는 통제'를 원칙으로 천명하며 도덕적 비상을 꿈꾸지만, 기술 패권과 안보 경쟁이라는 중력은 그 원칙을 실현 불가능한 공백으로 남겨두라고 위협한다. 현실을 외면한 원칙은 공허한 메아리가 될 위험이 있기에 이 긴장은 정직하게 인정되어야 한다. 그러나 이 지점에서 드워킨의 교훈은 단호하다. 으뜸패는 모든 패를 소진한 뒤에야 꺼내 드는 최후의 수단이 아니다. 그것은 효율성과 편익의 계산이 원칙 자체를 잠식하려 할 때, 그 계산을 처음부터 중단시키는 근본적 제동 장치다. 설령 국가 안보가 원칙의 외양을 띠더라도, 그것이 살상의 판단을 인간으로부터 완전히 분리하는 것을 정당화할 수는 없다. 생명의 존엄을 지키기 위한 안보라면, 그 안보는 생명의 존엄을 침해하는 방식으로 수행될 수 없기 때문이다. 안보라는 원칙은 인간 존엄이라는 원칙을 지탱하는 이유가 될 수 있지만, 그것을 허무는 근거가 될 수는 없다. 그러므로 인간이 최종 통제권을 유지한다는 것은 기계의 작동 버튼을 누르는 절차적 개입만을 의미하지 않는다. 그것은 살상의 무게를 온몸으로 느끼고, 판단하고, 그 결과에 대해 끝까지 책임지는 도덕적 주체의 자리를 포기하지 않는 것이다. 실효성과 안보의 논리가 거세게 몰아칠수록, 우리는 더욱 엄격하게 되물어야 한다. 인간의 판단이 배제된 살상이 허용되는 순간, 우리가 지키고자 하는 안보는 과연 무엇을 위한 것인가? 그리고 이 물음에 대한 답이야말로 우리가 결코 넘어서는 안 될 레드라인이 될 것이다. 따라서 자율살상무기체계에 관한 국제 규범 논의는 기술적 세부 기준을 넘어, 살상의 판단에서 인간의 도덕적 주체성을 어떤 형식으로 어떻게 보장할 것인가라는 질문을 중심축으로 삼아야 한다. 비행의 최종 결단은 기계의 연산에 맡겨질 수 없다. 그것은 살상의 무게를 감당하려는 도덕적 인간의 고뇌 어린 의지 위에서만 비로소 정당성을 얻을 수 있기 때문이다. ◆ 필자 박형빈 서울교대 교수는.... ▲약력 · 서울교육대학교 윤리교육과 교수 · 미국 UCLA 교육학과(Department of Education) 방문학자 · 서울교육대학교 교육전문대학원 에듀테크전공·어린이철학교육전공 교수 · 서울교육대학교 신경윤리·가치AI융합교육연구소 소장 ▲주요 경력 및 사회공헌 · 현 신경윤리융합교육연구센터 센터장 · 현 가치윤리AI허브센터 센터장 · 현 경기도교육청 학교폭력예방자문위원 · 현 통일부 정책자문위원 · 현 민주평화통일자문회의 자문위원 ▲주요 수상 · 세종도서 학술부문 우수도서 3회 선정 ― 『어린이 도덕교육의 새로운 관점』(2019, 공역), 『뇌 신경과학과 도덕교육』(2020), 『양심: 도덕적 직관의 기원』(2024, 역서) ▲주요 저서 · 『도덕적 AI와 인간 정서』(2025) · 『BCI와 AI 윤리』(2025) · 『질문으로 답을 찾는 인공지능 윤리 수업』(2025) · 『AI 윤리와 뇌신경과학 그리고 교육』(2024) · 『양심: 도덕적 직관의 기원』(2024) · 『도덕지능 수업』(2023) · 『뇌 신경과학과 도덕교육』(2020) · 『통일교육학: 그 이론과 실제』(2020)
