장한용 NC AI 피지컬AI랩장 "AI 립싱크 기술 완성, 음성만으로 표정 연출 제작"
"게임 그래픽과 바디 애니메이션 기술이 상향 평준화되면서 이제 이용자들은 캐릭터의 세밀한 '얼굴 표정'을 바라보고 있습니다." 장한용 NC AI 피지컬AI랩장은 17일 '2026 넥슨 개발자 컨퍼런스(NDC 26)'에서 이같이 말하며, 음성만으로 표정 애니메이션을 자동 생성하는 기술과 실무 적용 노하우를 공개했다. 기존 AI 솔루션의 한계…현장은 '안정성'과 '공정 자동화' 원했다 장 랩장에 따르면, 학계와 업계에서는 이미 디퓨전(Diffusion)과 트랜스포머(Transformer) 모델을 기반으로 오디오 기반 립싱크 기술 연구를 지속해 왔다. 엔비디아나 에픽게임즈 등 글로벌 기업들도 관련 기술을 대중에 공개한 바 있다. 그러나 장 랩장은 이 기술들을 실제 상용 게임 개발 파이프라인에 곧바로 투입하기에는 치명적인 단점들이 존재했다고 짚었다. 문제는 게임 캐릭터 음성의 다양성에서 비롯된다. 게임에서는 인간이 아닌 다른 종족을 흔히 볼 수 있다. 장 랩장은 "일반적인 사람의 음성은 다루기 쉽지만, 웅장하고 낮게 진동하는 음성의 경우에는 입술이 파르르 떨리는 오류가 발생하기도 한다"고 말했다. 이어 그는 "이를 해결하기 위해 음성을 조절하면 발음이 뭉개져 결국 후처리에 다시 인력이 투입되는 딜레마가 발생한다"라고 덧붙였다. 현장 실무진을 대상으로 한 조사 결과도 공유했다. 장 랩장은 "현장에서는 품질보다 오류가 없는 안정성과 후처리에 인력을 추가로 투입하지 않는 것을 중요시한다"라며 "NC AI는 이러한 니즈에 맞춰 품질 편차를 줄이고 안정적인 품질을 제공할 수 있는 기술을 개발했다"고 밝혔다. 한국어 '양순음'부터 '리깅 섞임'까지…NC AI가 찾은 해법 NC AI는 상용 게임 프로덕션 수준의 완성도를 확보하기 위해 개발 과정에서 마주한 기술적 난제들을 하나씩 풀어나갔다. 먼저 한국어에 많이 쓰이는 'ㅁ, ㅂ, ㅍ' 등의 양순음 발음은 입술을 완전히 닫았다가 열어야 자연스럽다. 기존 공개 데이터로는 입술 닫힘 표현이 부정확한 한계가 있었으나, NC AI는 고정밀 얼굴 모션 캡처 장비를 자체 개발해 고품질의 학습 데이터를 대량 확보함으로써 이 문제를 해결했다. 사람이 같은 발음을 하더라도 목소리의 크기나 피치에 따라 컴퓨터가 받아들이는 정보는 천차만별이다. 이로 인해 AI가 데이터를 평균값으로 수렴시켜 캐릭터가 웅얼거리게 만드는 문제가 발생한다. NC AI는 최신 디퓨전 트랜스포머 기술을 통해 원본 데이터 시퀀스가 가진 선명한 움직임을 최대한 복원해 내도록 모델을 개선한 이유였다. 이 외에도 입술 떨림 현상, 화자 섞임 현상, 감정 표현의 부정교함 등 여러 난제를 극복하는 데 집중해 왔다고 장 랩장은 설명했다. 후처리·QA '제로' 달성…글로벌 로컬라이제이션 비용 획기적 절감 자체 개발한 기술이 적용된 솔루션은 실전 프로덕션 환경에서 증명됐다. 음성 데이터만으로도 게임 엔진에서 사용할 수 있는 자동 애니메이션 시퀀스 에셋 출력 시스템을 구축해서다. 장 랩장은 "이제는 개발 단계에서 성우의 실제 녹음본이 없어도, 음성변환기술(TTS)로 음성을 자동 생성해 애니메이션을 찍어내는 것도 가능하다"고 말했다. NC AI 기술력의 가장 큰 장점에 대해서는 "품질검증(QA)이 필요 없을 만큼 완성도가 높은 결과물을 생산해 낸다는 점"을 꼽았다. 장 랩장은 특히 해외 수출 시 국가별 언어에 맞춰 음성이 바뀔 때도 별도의 추가 공정 없이 얼굴 애니메이션의 자동 생성이 가능해, 글로벌 로컬라이제이션 비용 부담을 획기적으로 줄일 수 있다며 자신감도 보였다. NC AI가 바라보는 얼굴 애니메이션 AI 기술의 차세대 확장 방향도 제시됐다. 장 랩장은 "궁극적으로 음성 하나만으로 입술, 표정, 제스처가 서로 조화를 이루며 원스톱으로 동시에 자동 생성되는 통합 멀티모달 기술 개발을 향해 나아갈 것"이라며 발표를 마쳤다.
