숭실대 AI안전성연구센터, 립싱크 딥페이크 차단 '뮤트' 세계 첫 개발
숭실대학교 AI안전성연구센터(센터장 최대선 교수) 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로 개인의 목소리를 도용해 실제로 말하는 것처럼 꾸민 가짜영상, 이른바 '립싱크 딥페이크' 제작을 막는 기술 'MUTE(뮤트)'를 개발했다. 23일 센터 연구팀에 따르면, 음성 보호 처리만으로 가짜 영상의 입모양과 소리의 일치를 무너뜨린 기술은 이번이 처음이다. 이번 연구는 얼굴, 음성 등 개인정보 악용을 막기 위한 기술로 세계 최고 권위 '뉴립스(NeurIPS) 2026'학회에 채택됐다. 논문 제목은 'MUTE: Multi-Level Alignment Uncoupling Against Talking-Head Exploitation for Voice Protection'이다. 'NeurIPS 2026'은 오는 12월 호주 시드니 등에서 열린다 최근 AI 기술 발전으로 사진 한 장과 짧은 음성만으로도 실제 사람이 말하는 듯한 정교한 가짜 영상을 만들 수 있게 됐다. 온라인에 공개된 인터뷰나 강연 속 얼굴과 목소리가 무단으로 수집, 본인이 한 말을 전혀 다른 자리에서 한 것처럼 꾸민 가짜 광고나 가짜 뉴스에 악용될 수 있다. 얼굴과 목소리는 개인을 식별할 수 있는 개인정보지만, 한번 공개되면 정보주체가 그 이용을 통제하기 어렵다. 가짜 영상을 찾아내 삭제하는 대응은 피해가 발생한 뒤에야 이뤄지는 만큼, 개인정보가 악용되기 전에 보호하는 기술의 중요성이 높아졌다. 'MUTE'는 영상이나 녹음 파일을 온라인에 올리기 전, 음성에 사람이 거의 느끼지 못하는 미세한 보호 신호를 더하는 기술이다. 원래 목소리의 자연스러움은 유지하면서도, AI가 해당 음성을 이용해 가짜 영상의 립싱크를 만들어내는 과정을 방해한다. 'MUTE'로 보호한 음성으로 만든 가짜 영상은 소리와 입술 움직임이 크게 어긋나 립싱크가 눈에 띄게 무너진다. 이 때문에 시청자도 영상에서 어색함을 쉽게 느낄 수 있어, 실제 촬영 영상이 아니라 조작된 가짜 영상일 가능성을 알아차리기 쉬워진다. 연구팀은 5종의 AI 영상 생성 모델에서 립싱크 정확도가 평균 47.5% 낮아지는 것을 확인했으며, 이러한 보호 효과는 음성의 잡음을 제거하는 등의 정제 과정을 거친 뒤에도 유지됐다고 밝혔다. 연구를 이끈 최대선 교수는 “AI 기술이 발전하면서 딥페이크 악용도 사진이나 목소리의 위조를 넘어, 음성을 바탕으로 실제 인물이 말하는 듯한 정교한 가짜 영상을 만드는 수준으로 진화하고 있다”며 “이에 대응하려면 얼굴과 목소리 같은 개인정보를 공개 전에 보호하는 기술이 필요하다"고 밝혔다. 이어 "이번 성과는 개인정보 보호 기술이 갈수록 정교해지는 딥페이크 위협에 맞설 수 있음을 보여준다는 점에서 의미가 크다”고 덧붙였다. 연구에 참여한 김동현 박사과정은 “이번 연구로 음성 보호만으로도 립싱크 딥페이크를 막을 수 있음을 확인했다”며 “여기에 이미지 보호를 더하면 가짜 영상의 립싱크를 더욱 강하게 훼손해 악용을 어렵게 만들 수 있다. 과제의 다음 단계로 두 가지를 함께 보호하는 기술을 개발해 개인의 얼굴과 목소리를 노리는 딥페이크 위협에 대응하겠다”고 밝혔다. 한편 이번 연구는 개인정보위·KISA를 통해 선정된 R&D 과제로, 올해부터 수행 중인 '딥페이크 억제 기술 개발' 과제 일환으로 진행했다. 숭실대 연구팀은 올해부터 2028년까지 해당 과제를 수행하며, 이번 음성 보호 기술에 이어 이미지와 영상 보호기술을 차례로 개발해 개인의 얼굴과 목소리가 딥페이크 제작에 악용되는 것을 사전에 차단할 계획이다. 이번 공동연구에는 숭실대 최대선 교수와 김동현 박사과정, 김승민 석사과정, 김다인 학사과정, 중앙대 권준석 교수와 홍진 중앙대 박사과정이 참여했다.
