[박형빈 교수 AI와 윤리⑥-창작] 뇌는 고뇌하고, AI는 계산...'만듦'의 윤리는?
우리는 바야흐로 무엇인가를 '만드는' 시대라기보다 '눌러서 얻는' 시대에 살고 있다. 복잡한 제작 과정 대신 간단한 입력과 몇 번의 클릭만으로 결과물을 얻는다. 단 한 줄의 텍스트 프롬프트만으로 미드저니(Midjourney)는 광고 시안, 콘셉트 아트, NFT 이미지 등을 다양하게 생성해 주며, 사용자는 그중 하나를 골라 업스케일하거나 변형하는 식으로 작업을 마무리한다. 음악 생성기 수노(Suno) 역시 스타일과 분위기를 자연어로 적어 넣기만 하면 가사와 멜로디, 편곡이 포함된 완성형 음원을 만들어 준다. ChatGPT, Claude, Gemini와 같은 언어 모델 또한 에세이 초안, 수업 자료, 심지어 생활기록부 문구까지 생성하며 교육 현장의 풍경을 바꾸고 있다. 생성형 AI의 결과물은 형식상 매끄럽고 활용도가 높다. 그러나 이것이 전통적 의미의 '창작'에 해당하는지에 대해서는 여전히 격렬한 논쟁이 이어진다. 새로운 표현 양식이라는 찬사와, 기존 작가의 스타일을 대량 모방한 저작권 침해물이라는 비판이 공존한다. 더구나 우리는 그 결과물 앞에서 묘한 이질감을 느끼며 질문할 수밖에 없다. “지금 눈앞에 놓인 이 결과물은, 과연 우리가 정의해 온 '창작'의 범주에 부합하는가?” 이 질문은 최소한 세 층위의 논점을 동시에 가진다. (1) 기술적으로 무엇이 일어나고 있는가(모델의 작동 원리), (2) 인간의 창작 경험은 무엇으로 구성되는가(뇌·몸·정서·의도의 결합), (3) 교육 현장에서 학생들에게 무엇을 가르쳐야 하는가(사고·책임·검증 능력). 1. 기술적 사실: 생성형 AI는 '의미'를 느끼지 않고, '형식'을 최적화 현재 널리 쓰이는 생성형 AI(텍스트·이미지·음악 등)는 학습 데이터에서 관찰된 패턴을 바탕으로, 주어진 입력(프롬프트)에 따라 출력 요소의 확률 분포를 추정하고 샘플링해 결과를 구성한다. 텍스트 생성의 경우 다음 토큰 예측이 자주 사용되며, 이미지 생성에서는 확산(diffusion) 모델처럼 노이즈를 단계적으로 제거하는 방식이 주류다. 음악 생성 역시 시간축 상 패턴을 확률적으로 모델링하나, 자회귀·확산 등 다양한 기법이 공존한다. 핵심은 이 과정에 의미를 '체험하는 주체'의 '내적 경험'이 부재하다는 사실이다. 모델이 '슬픔'을 산출할 때, 그것은 슬픔을 느끼는 것이 아니라 학습된 자료 안에서 '슬픔'이라는 맥락과 강하게 연결된 표현·구조·전개를 통계적으로 재구성하는 과정에 불과하다. 이 때문에 생성형 AI는 산출물의 의미론적 진위를 스스로 보증하지 못하며, 소위 '환각(hallucination)'-그럴듯하지만 사실이 아닌 진술-이 구조적으로 발생할 수밖에 없다. 이는 거짓말을 하려는 의도가 아니라, '확률적 적합성'을 목표함수로 삼는 산출 방식의 필연적 결과다. 이 지점에서 존 설(John Searle)의 '중국어 방 논증(Chinese Room Argument)'은 시사하는 바가 크다. 설은 인간이나 동물의 '의도성'을 뇌의 생물학적 인과 작용의 산물로 보았다. 따라서 그는 컴퓨터 프로그램을 구현하는 것만으로는 의도성을 갖추기에 충분하지 않다고 강조한다(Searle, 1980). 중국어 방 안의 사람이 언어를 전혀 이해하지 못한 채 규칙(프로그램)에 따라 기호를 조작해 완벽한 답변을 내놓는 것처럼, AI 역시 '다음 토큰 예측'이나 '확산 노이즈 제거'와 같은 구문 처리로 의미를 생성할 뿐이다. 설의 관점에서 볼 때, 이러한 조작이 '관찰자 상대적' 의미만 만들어낼 뿐, 주관적 체험이나 본질적 이해는 결여되어 있다. 환각 현상은 바로 이 구조적 한계에서 비롯된다. 나아가 '주관적 경험(qualia)'의 부재 또한 상기할 필요가 있다. 토머스 네이글(Thomas Nagel)은 '박쥐가 되는 것은 어떤 느낌인가?(What Is It Like to Be a Bat?)'에서 이 문제를 정면으로 다룬다. 그는 인간이 박쥐의 반향 정위(echolocation) 시스템과 신경 구조를 완벽히 파악한다 해도, '박쥐가 박쥐로서 느끼는 그 느낌', 즉 주체적 관점은 결코 알 수 없다고 설명한다(Nagel, 1974/2024). 이는 AI가 인간의 감정 표현을 완벽하게 모방한다 해도, 그 내면에는 아무런 '느낌'이 존재하지 않음을 시사한다. 또한 AI가 '슬픔' 패턴을 확률적으로 재현하나 슬픔을 느끼지 않는다는 것과 연결된다. 과학적 객관화가 주관성을 생략한다는 그의 비판은 생성 AI의 통계 모델링이 체험 없는 산출로 한정됨을 드러낸다. 데이비드 차머스(David Chalmers)의 '의식의 어려운 문제(hard problem of consciousness)' 또한 간과해서는 안 된다. 차머스는 인지나 행동과 같은 기능적 메커니즘을 설명하는 '쉬운 문제'와, 그 과정에서 피어나는 주관적 경험을 설명하는 '어려운 문제'를 엄격히 분리했다(Chalmers, 1995). 비록 AI가 다음 토큰 예측을 통해 인간의 창작 행위를 기능적으로 흉내 낼지라도, 이는 여전히 '쉬운 문제'의 영역에 머물 뿐이다. 차머스의 지적처럼 기계적 연산이 왜, 어떻게 내적 경험을 수반하는지는 여전히 미지수이기 때문이다. 결국 AI 산출물은 의미 체험 없는 확률 최적화의 결과물이며, 환각 현상 역시 이러한 구조적 공백에서 비롯된 것으로 해석할 수 있다. 한편, 현대 생성형 AI의 또 하나의 기술적 핵심은 잠재표현, 잠재공간이다. 많은 생성 모델은 관측 데이터(텍스트·이미지·오디오)를 직접 다루기보다, 학습을 통해 얻은 압축된 고차원 표현 공간(잠재공간)에서 데이터의 구조를 모델링하고 그 공간에서의 변환을 통해 출력을 생성한다. 이 공간은 사람이 정의한 '개념'이 그대로 저장된 지도가 아니라, 데이터 분포를 재현하기에 유용한 특징들의 좌표계가 학습된 결과이며, 우리는 그 일부 방향이나 영역을 사후적으로 '스타일', '주제', '구도' 같은 개념으로 해석한다(Bengio, Courville, & Vincent, 2013). 그 결과, '반 고흐 풍'과 '서울 야경'처럼 서로 다른 특성은 모델 내부 표현에서 조건, 특징 결합, 또는 표현 조작(보간·가중 결합·크로스어텐션을 통한 결합) 형태로 함께 반영될 수 있고, 이에 따라 두 특성이 결합된 새로운 변형이 생성될 수 있다(Radford, Metz, & Chintala, 2015). 다만, 이러한 결과는 '영감'이나 '주체적 체험'의 산물이라기보다, 학습된 표현 체계 안에서의 계산 가능한 조합과 샘플링에 가깝다. 기술적으로는 놀랍지만, 그 놀라움은 '경험하는 주체'의 존재에서 오기보다 표현이 수학적으로 모델링되고 조작 가능해졌다는 점에서 비롯된다. 2. 신경윤리학적 진단: 인간 창작은 신체성과 정서 포함 '경험 기반 행위' '창작'을 결과물만으로 정의하면, AI도 창작자로 부를 수 있다. 그러나 인간이 통상 창작이라 부를 때에는 결과물뿐 아니라 과정의 성격-의도, 선택, 갈등, 수정, 책임-까지 포함한다. 이 지점에서 인간과 AI 사이의 차이가 선명해진다. 첫째, 신체성(Embodiment)과 정서(Emotion)의 역할이다. 인간의 인지는 뇌만의 작동이 아니라, 감각·운동·자율신경계 반응 등 몸 전체와 얽혀 있다. 창작 과정에서 우리는 실제 경험의 흔적(기억), 감각의 편향(어떤 소리·색·리듬에 더 민감한지), 그리고 정서적 평가(좋다/싫다, 맞다/틀리다, 불편하다/아름답다)를 동원한다. 이때 정서는 부수적 장식이 아니라 주의를 배분하고, 목표를 설정하고, 선택을 강화/억제하는 조절 기제로 기능한다. 신경과학적으로도 정서와 의사결정은 분리되기 어렵다. 예컨대 편도체는 위협·정서적 중요도와 관련된 처리에 관여하고, 전전두엽 영역들은 계획, 억제, 가치 평가, 사회적 판단 등과 관련된 기능을 수행하는 것으로 널리 알려져 있다. 물론 '특정 뇌 부위 = 단일 기능'처럼 단순화하면 과학적으로 부정확해질 수 있다. 뇌 기능은 네트워크로 작동하며 개인차도 크다. 그럼에도 최소한 인간의 창작이 신경계의 정서·가치 평가 체계와 긴밀히 연결되어 있다는 점은 부정하기 어렵다. 둘째, '고통 없는 창작'이 갖는 본질적 함의다. 이를 단순히 감성적 비유로 치부해서는 안 된다. 엄격히 정의하자면, 이는 AI에게 통증이나 쾌감, 불안과 같은 주관적 경험(qualia)이 근원적으로 결여되어 있음을 뜻한다. 따라서 AI의 산출물에는 대상을 향한 '체험적 지평'이나 '절실함'이 담길 수 없다. 반면, 인간의 창작은 다르다. 대다수 우리는 실패의 가능성, 타인의 시선, 윤리적 책임이라는 정서적 압박을 실시간으로 감각하며 창작에 임한다. 그 경험들이 켜켜이 쌓여 표현을 다듬고 논지를 결정한다. 필자 역시 이 짧은 문장 하나를 완성하기 위해 무수한 고민과 망설임, 적절한 단어를 찾기 위한 침묵의 시간을 감내해야 했다. 필자에게 삶의 깊이를 성찰하는 법을 일깨워준 시인, 윤동주의 고백이 겹쳐지는 지점이다. '인생은 살기 어렵다는데 / 시가 이렇게 쉽게 씌어지는 것은 / 부끄러운 일이다.' 우리는 바로 그 '쉽게 쓰지 못하는 부끄러움'과 '생략할 수 없는 고통'을 통해서만 비로소 기계와 구별되는 '인간적인' 의미에 도달한다. 이와 달리, AI는 그러한 부끄러움을 '경험'하지 않으며, 오직 목적함수(확률 최대화)에 따라 가장 효율적인 경로를 계산할 뿐이다. 즉, 차이는 '아름다움을 만들 수 있느냐'가 아니라, 그 아름다움이 어떤 '내적 고통'과 '책임의 무게'를 통과해 나왔는가에 있다. 이 지점이 바로 신경윤리학적 질문과 맞닿는다. 고뇌와 책임이 소거된 산출물에, 과연 인간의 창작과 동등한 '권위'를 부여할 수 있는가? 이것이 핵심 쟁점이다 3. 교육적 과제: 인지적 위임(Cognitive Offloading) 범위와 한계 AI가 교육에 들어오는 순간, 가장 현실적인 위험은 '부정행위' 그 자체보다도 '사고 과정의 외주화'다. 인간은 본래 계산기, 검색엔진, 내비게이션처럼 외부 도구에 인지를 위임해 왔다. 문제는 위임이 나쁘다는 데 있다기보다 '무엇을 위임'하고 '무엇을 유지'할지에 대한 메타인지적 설계가 부재할 때 발생한다. AI가 글의 개요를 잡아주고 요약해 주면 학생은 빠르게 결과를 얻지만, 동시에 구조화 능력 즉, 정보를 묶고 위계를 만드는 능력을 덜 훈련할 수 있다. AI가 근거를 '그럴듯하게' 만들어 주면, 학생은 출처를 점검하지 않은 채 사실성 검증의 습관을 잃을 수 있다. AI가 문장을 매끈하게 다듬어 주면, 표현은 좋아지지만 왜 그렇게 주장하는지와 같은 사유의 흔적이 약해질 수 있다. 따라서 교육은 'AI 사용 금지/허용'의 단순 규범을 넘어, 인지적 위임의 '경계'를 학습 목표로 삼아야 한다. 예를 들어 '초안 생성은 허용하되, 근거 자료의 출처 확인과 반례 제시는 내가 한다' 같은 식의 역할 분담이 필요하다. 그러므로 교육은 '답하는 능력'에서 나아가 '질문하고 검증하는 능력'을 지향해야 한다. AI는 기본적으로 응답 시스템이다. 그래서 인간의 차별점은 '답'이 아니라 '질문'에서 드러날 가능성이 커진다. 여기서 말하는 질문 능력은 단순히 프롬프트를 길게 쓰는 기술이 아니다. 학술적으로는 무엇을 알고 싶은지, 어떤 전제 위에서 논지를 전개하는지, 무엇을 근거로 참/거짓 혹은 타당/부당을 판정할지, 자신의 결론을 흔들 수 있는 사례를 의도적으로 찾는 능력 등이 요구된다. 따라서 미래 교육의 핵심은 '정답 맞히기'가 아니라, AI가 낸 답을 평가·교정·재구성하는 능력이 된다. '이 문장이 그럴듯한가?'를 넘어 '이 주장에 필요한 근거는 무엇이며, 어떤 반례가 가능한가?'를 끊임없이 되묻는 훈련이 중심이 되어야 한다. 4. 윤리와 책임: 표절 논쟁을 넘어 '행위자성'과 '가치'로 저작권과 표절은 실무적으로 매우 중요하지만, 더 근본적인 문제는 책임의 귀속이다. AI는 법적·도덕적 의미에서 일반적으로 행위자(agent)로 간주되지 않는다. 즉, AI 출력이 사회적 피해를 만들었을 때(허위정보 확산, 차별 강화, 명예훼손 등) 'AI가 그랬다'는 말은 설명이 될 수 있어도 책임의 종결점이 될 수는 없다. 책임은 모델을 설계·배포한 주체, 사용한 주체, 검증·감독의 의무를 가진 제도 쪽으로 돌아온다. 또한 생성형 AI는 학습 데이터의 분포를 반영하기 때문에, 데이터에 존재하는 편향(bias)-성별·인종·지역·계층·문화에 대한 불균형한 재현-을 재생산할 위험이 있다. 이는 기술적 문제이면서 동시에 가치의 문제다. 어떤 출력이 '통계적으로 흔한 표현'이라 해도, 그것이 곧바로 '윤리적으로 정당한 표현'이 되지는 않는다. 이 간극을 메우는 것은 결국 인간의 규범 판단이며, 교육은 학생들에게 그 판단을 회피하지 않도록 가르쳐야 한다. 5. 결론: AI는 생성하고, 인간은 의미를 부여하며 책임져 처음의 질문으로 돌아가자. “지금 눈앞에 놓인 이 결과물은, 과연 우리가 정의해 온 '창작'의 범주에 부합하는가?” 기술적으로는 AI가 분명히 새로운 결과물을 '생성'한다. 그러나 학술적·윤리적 의미에서의 창작은 결과물만이 아니라 의도, 경험, 가치 판단, 검증, 책임을 포함하는 과정이다. 이 기준을 적용하면, 현재의 생성형 AI는 창작의 일부 기능(형식적 산출, 변형, 결합)을 매우 잘 수행하지만, 의미 부여와 책임의 층위를 스스로 수행한다고 보기는 어렵다. 따라서 우리가 다음 세대에게 가르쳐야 할 것은 '버튼을 누르는 법'이 아니라, '버튼이 내놓은 결과를 사실과 가치의 기준으로 검증'하고, '자신의 관점과 책임을 결합해 재구성'하는 법이다. AI는 계산을 고도화하고, 인간은 그 계산의 산출물에 대해 '사유'하고 '판단'한다. 이 역할 분담을 명료하게 할 때, 기술은 인간의 창작을 대체하는 위협이 아니라, 인간의 창작을 확장하는 도구가 될 수 있다. 결론적으로 우리는 다시 물어야 한다. '창작인가, 변형인가?'를 넘어, '누가 책임지는가?'를. 오늘의 질문에 단답을 내려보자. 기술적으로 생성형 AI는 확률적 모델로서 학습 데이터의 패턴을 재구성한다. 형식적으로 결과물은 새로울 수 있다. 윤리적으로 창작은 결과물이 아니라 '의미를 만들고 책임지는 행위'에 가깝다. 따라서 더 정확한 질문은 이것이다. 'AI가 창작하는가?'가 아니라, 'AI의 산출물을 창작으로 인정할 때, 누가 어떤 책임을 지는가?' 우리는 기술을 '숭배'하거나 '혐오'할 필요가 없다. 다만 기술이 만들어낸 결과물 위에서 권리와 책임의 배치를 정교하게 설계해야 한다. ◆참고문헌 Bengio, Y., Courville, A., & Vincent, P. (2013). Representation learning: A review and new perspectives. IEEE transactions on pattern analysis and machine intelligence, 35(8), 1798-1828. Chalmers, D. J. (1995). Facing up to the problem of consciousness. Journal of consciousness studies, 2(3), 200-219. Nagel, T. (1974/2024). What is it like to be a bat?. Oxford University Press. Radford, A., Metz, L., & Chintala, S. (2015). Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434. Searle, J. R. (1980). Minds, brains, and programs. behavioral and brain sciences, 3(3), 417-424. ◆ 박형빈 서울교대 교수는.... ▲약력 · 서울교육대학교 윤리교육과 교수 · 미국 UCLA 교육학과(Department of Education) 방문학자 · 서울교육대학교 교육전문대학원 에듀테크전공·AI인문융합전공 교수 · 서울교육대학교 신경윤리·가치AI융합교육연구소 소장 ▲주요 경력 및 사회공헌 · 현 신경윤리융합교육연구센터 센터장 · 현 가치윤리AI허브센터 센터장 · 현 경기도교육청 학교폭력예방자문위원 · 현 통일부 통일교육위원 · 현 민주평화통일자문회의 자문위원 ▲주요 수상 · 세종도서 학술부문 우수도서 3회 선정 ― 『어린이 도덕교육의 새로운 관점』(2019, 공역), 『뇌 신경과학과 도덕교육』(2020), 『양심: 도덕적 직관의 기원』(2024, 역서) ▲주요 저서 · 『도덕적 AI와 인간 정서』(2025) · 『BCI와 AI 윤리』(2025) · 『질문으로 답을 찾는 인공지능 윤리 수업』(2025) · 『AI 윤리와 뇌신경과학 그리고 교육』(2024) · 『양심: 도덕적 직관의 기원』(2024) · 『도덕지능 수업』(2023) · 『뇌 신경과학과 도덕교육』(2020) · 『통일교육학: 그 이론과 실제』(2020) ▲연구 및 전문 분야 · 도덕·윤리교육, 신경윤리 기반 도덕교육 · AI 윤리 교육, 디지털 시민성 교육
