생성형 AI의 어두운 그림자…극우세력 선동도구로 악용
생성형 AI를 이용한 극우세력의 선전선동 실태 범죄 및 형사 사법 분야 전문 컨설팅 회사 크레스트 어드바이저리(Crest Advisory)의 루이스 딘(Louis Dean) 연구원이 발표한 최신 보고서에 따르면, 백인 우월주의자들이 생성형 AI를 선전선동의 도구로 적극 활용하고 있는 것으로 나타났다. 이 연구는 2018년 1월부터 2024년 4월까지의 텔레그램 게시물을 분석한 결과를 담고 있다. 텔레그램(Telegram)의 백인 우월주의 채널 38개를 분석한 결과, 850개의 게시물에서 1,077건의 생성형 AI 활용 사례가 발견되었다. 연구진은 이를 다섯 가지 주요 주제로 분류했다. 전술적 활용(Tactical Use)이 447건으로 전체의 42%를 차지했으며, 나머지는 AI 관련 지식 공유(Knowledge Sharing), AI에 대한 비관론(GAI Pessimism), AI에 대한 낙관론(GAI Optimism), AI 관련 뉴스(GAI News) 순으로 나타났다. 이 중 전술적 활용은 선전선동, 허위정보 생성, 폭력 조장, 실험적 시도 등 네 가지 하위 범주로 세분화되었다. 이미지, 음성, 영상 생성 AI로 제작되는 혐오 콘텐츠의 실태 전술적 활용 사례 중 가장 큰 비중을 차지한 것은 선전선동용 이미지 제작으로, 222건이 확인되었다. 이는 전체 전술적 활용의 50%에 해당한다. 극우세력은 'The Happy Merchant'와 'Pepe the Frog' 등의 혐오성 밈을 AI로 재생산했으며, 나치 SS 군인이나 신화 속 아리안 전사를 미화하는 이미지를 대량으로 제작했다. 연구진은 AI 이미지 생성 도구가 이전보다 더 효과적이고 매력적인 선전선동물을 빠르게 제작할 수 있게 만들었다고 분석했다. 2024년에는 AI 오디오와 비디오 기술을 이용한 선전선동이 새롭게 등장했다. 44건이 확인된 이 수법은 전체 전술적 활용의 10%를 차지했다. 히틀러의 1939년 제국의회 연설을 복원하고 번역하는 것부터, AI로 만든 히틀러의 목소리로 마틴 로빈스의 'Big Iron'과 같은 대중가요를 부르게 하는 등 다양한 시도가 있었다. 특히 이러한 AI 음성 기술은 영국의 여름 폭동 당시 선동 도구로 활용된 것으로 나타났다. AI의 취약점을 악용한 교묘한 선동 전략: 허위정보 생성과 폭력 조장 백인 우월주의자들은 'tricking'과 'baiting'이라는 새로운 전략으로 AI를 조작했다. 68건이 확인된 이 전략은 전체 전술적 활용의 15%를 차지했다. 대표적인 사례로, 빙(Bing) AI에 "전통적인 바이킹 가족"을 생성하도록 요청해 흑인 바이킹 가족 이미지를 만들어낸 뒤, 이를 'The Great Replacement Theory'를 뒷받침하는 증거로 악용했다. 이들은 성공적인 AI 조작 방법을 커뮤니티 내에서 공유하며 전파력을 높이고 있다. AI를 이용한 허위정보 생성은 34건으로 전체 전술적 활용의 8%를 차지했다. 2024년 4월에는 엠마 왓슨(Emma Watson)을 나치로 묘사한 가짜 이미지가 제작되는 등 2023년 1월 이후 이미지 조작 기술이 급격히 발전했다. 연구진은 현재 대부분의 AI 생성 이미지가 손의 형태 등 세부적인 부분에서 오류를 보이고 있어 식별이 가능하지만, 기술이 발전하면서 이러한 허위정보 탐지가 더욱 어려워질 것으로 예측했다. AI 악용 방지를 위한 시급한 대책 마련 필요 연구진은 미드저니(Midjourney)나 스테이블 디퓨전(Stable Diffusion) 같은 AI 이미지 생성 기업들이 극단주의 선전물 제작 방지를 위한 투자를 확대해야 한다고 지적했다. 특히 오픈소스 AI 이미지 생성 도구를 제공하는 기업들은 극단주의 선전물 제작을 방지하기 위한 강력한 감사 메커니즘을 구축해야 한다고 강조했다. 또한 수노AI(SunoAI) 등 새로운 AI 기업들도 극단주의와 폭력 관련 콘텐츠에 대한 더욱 명확한 서비스 약관을 마련해야 한다고 제안했다. 영국의 온라인 안전법도 현재와 미래의 테러 위협에 대응할 수 있도록 지속적인 개정이 필요하다는 의견도 제시했다. ■ 이 기사는 AI 전문 매체 'AI 매터스'와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT-4o를 활용해 작성되었습니다. (☞ 논문 바로가기)
