[데뷰23] 누구나 웹툰 주인공 된다고?...네이버 '웹툰미' 개발기

“웹툰미(WebtoonMe). 이름 그대로 웹툰 속 주인공이 돼, 작품 속으로 들어간다는 개념의 기술이다. 1년이라는 비교적 짧은 기간 프로젝트를 진행했다. 개발자는 총 3명이다. 빠르게 변하는 생성 모델 트렌드를 읽고, 인공지능(AI) 제품으로 적용한 결과다. 얼굴뿐 아니라 전신까지 웹툰 캐릭터로 전환할 수 있다.” 백지혜 네이버웹툰 AI 연구원은 28일 서울 코엑스에서 열린 개발자 컨퍼런스 '데뷰(DEVIEW) 2023'에서 이렇게 말했다. 백 연구원은 이날 네이버웹툰이 자체 개발한 웹툰미를 공개하며 그간 제작 과정을 소개했다. 웹툰미는 사진과 영상을 실시간 웹툰 화풍으로 바꿀 수 있는 기술이다. 재작년 프로젝트에 착수한 웹툰미는 딥러닝 기술을 이용해 실사 이미지를 웹툰 캐릭터와 배경으로 변환할 수 있어, 이용 수요가 꾸준히 늘어날 것으로 점쳐지고 있다. 지난해엔 네이버 쇼핑라이브에 웹툰미 기술을 접목해 진행자 얼굴을 웹툰 캐릭터로 변환하며 시청자들로부터 호응을 얻었다. 같은해 비전 AI 분야 대표적인 학회인 '컴퓨터 비전, 패턴 인식 컨퍼런스 학술대회(CVPR)에 웹툰미 관련 논문이 채택되기도 했다. 독자적인 데이터 생성 절차를 구축하고, 생성 모델 추세에 발 빠르게 대응한 점이 웹툰미 출시를 앞당겼다. 백지혜 연구원은 “고성능 AI 모델을 활용해 고품질 데이터를 만들어, 가볍고 학습하기 쉬운 네트워크를 마련하는 게 중요하다”면서 “파라미터(매개변수)가 많고 학습이 어렵거나 무거운 모델을 쓸 필요가 없다”고 했다. 모델 설계 이후 아키텍처를 수정하는 건 어려운 데 반해, 데이터를 수정하는 일은 비교적 간단해 문제 해결이 용이하다고 백 연구원은 설명했다. 백 연구원은 “유넷 기반 간단한 모델로도, 제품화까지 속도를 낼 수 있었다”고 덧붙였다. 최신(State-of-the-art, SoTA) 모델을 활용, 개량한 점도 왜곡이 심한 캐릭터 얼굴 변환과 피부 색깔을 변경할 때 용이하게 작동됐다. 특히, 데이터셋을 고도화하는 과정에서 '스테이블 디퓨전' 기술을 적용해 캐릭터 구현에 정교함을 더했다. 백 연구원은 “머릿결 표현에 있어 한계를 나타낸 동시에, 전경과 배경 스타일이 차이를 나타낸 점이 웹툰미 문제점으로 꼽혔다”면서 “스테이블 디퓨전을 도입해 전경과 배경을 하나의 스타일로 생성하는 게 가능해졌다”고 강조했다. 향후 과제는 웹툰미에 스테이블 디퓨전 도입 본격화. 김승권 네이버웹툰 AI 연구원은 “들끓고 있는 스테이블 디퓨전 기술을 더한 연구를 진행하고 있다”면서 “높은 개인화와 실시간 변환, 그리고 다양한 웹툰 캐릭터를 지원할 수 있도록 할 것”이라고 말했다. 네이버웹툰은 이번 데뷰 현장에 별도 부스를 마련, 웹툰미를 적용해 '여신강림', '팔이피플', '이말년 씨리즈', '복학왕', '호랑이형님' 등 인기 작품 속 캐릭터로 변신해 네 컷 사진을 찍을 수 있는 체험을 선보이고 있다. 김대식 네이버웹툰 AI 리드는 ”앞으로 웹툰미를 활용해 다양한 실험을 진행할 예정”이라며 “이용자와 창작자 모두에게 도움이 되는 혁신적이면서 재미있는 기술을 연구해 우리만의 AI 기술력을 강화해 나가겠다”고 밝혔다.