제이유, 경콘진 지원 선정 '치유 미디어아트' 공개

관객의 연주에 따라 실시간으로 영상이 달라지는 인공지능(AI) 기반 미디어아트가 개발된다. 경기콘텐츠진흥원은 문화예술 사회적기업 제이유가 2026 문화기술 콘텐츠 제작지원 사업에 선정돼 반응형 사운드 미디어아트 플랫폼 아프리카의 숨결 개발과 실증에 착수한다고 28일 밝혔다. 아프리카의 숨결은 서아프리카 전통 타악기와 AI 음향 분석 기술을 결합한 관객 참여형 콘텐츠다. 미리 제작된 영상을 재생하는 방식에서 벗어나 관객이 직접 연주하는 소리에 따라 3차원(3D) 그래픽을 실시간으로 생성하는 것이 특징이다. 젬베와 둔둔, 셰케레 등 전통 타악기에 마이크를 설치해 연주 소리를 수집하고, AI가 주파수와 음높이, 리듬 등을 분석한다. 분석 결과는 3D 그래픽 제작 도구인 '언리얼 엔진 5.4'와 연동돼 시각 효과로 구현된다. 예를 들어 둔둔의 낮은 북소리는 붉은 사막의 바람과 대지의 파동으로, 젬베의 높은 소리는 아프리카 전통 기하학 문양과 빛의 입자로 표현된다. 잔잔한 연주에는 석양이 물드는 사바나 풍경이 펼쳐지는 방식이다. 제이유는 이를 통해 관객이 단순히 영상을 감상하는 데 그치지 않고 직접 연주하며 작품의 변화를 이끄는 몰입형 체험을 제공한다는 계획이다. 이번 사업은 경기도와 경기콘텐츠진흥원이 추진하는 문화기술 콘텐츠 제작지원 사업 가운데 기술 인프라 이용 지원 분야에 선정돼 진행된다. 제이유는 개발한 플랫폼을 지방자치단체 문화축제와 기업의 사회공헌·환경·사회·지배구조(ESG) 프로그램, 융합교육(STEAM), 테마파크 등으로 확대할 방침이다. 제이유는 이달 지역 복합문화공간에서 지방자치단체와 기업, 교육 관계자 등을 대상으로 시연회를 열었다. 향후 국내외 협력 기관과 기업을 모집할 예정이다. 전은영 제이유 대표는 "아프리카의 숨결은 관객이 직접 악기를 두드리며 공간 전체를 예술작품으로 변화시키는 체험"이라며 "기술과 예술의 경계를 허물고 다양한 산업과 협력해 새로운 문화기술 생태계를 만들어가겠다"고 말했다.