일레븐랩스, 영상 맞춤 음악·효과음 AI로 만든다

일레븐랩스가 영상을 분석해 장면에 맞는 배경음악과 효과음을 만들고 필요한 시점에 배치하는 인공지능(AI) 기능을 선보였다. 일레븐랩스는 영상에 어울리는 음악과 효과음을 한 번에 생성하는 '인스턴트 사운드트랙'을 출시했다고 26일 밝혔다. 지난 15일부터 일레븐크리에이티브와 일레븐뮤직, 개발자용 응용프로그램 인터페이스(API)를 통해 서비스를 제공하고 있다. 기존 영상 제작에서는 화면에 어울리는 배경음악을 찾고 장면마다 효과음을 넣는 작업을 별도로 진행하는 경우가 많았다. 특히 광고나 짧은 영상은 화면 전환에 맞춰 음악과 효과음을 조정해야 해 편집 과정에 많은 손길이 필요하다. 인스턴트 사운드트랙은 이러한 작업에 AI를 활용한다. 이용자가 영상을 올리면 AI가 내용을 분석해 배경음악을 만들고 효과음이 필요한 장면도 찾아낸다. 이후 영상 재생 시간에 맞춰 소리를 배치한다. 가령 광고 마지막에 기업 로고가 등장하면 AI가 해당 장면에 어울리는 효과음을 생성해 로고가 나타나는 시점에 삽입한다. 영상 제작자가 일일이 효과음을 찾거나 재생 시점을 맞추는 작업을 줄일 수 있다. 장면 분위기에 따라 음악을 바꾸는 기능도 제공한다. 빠른 화면 전환이 이어지는 장면에서는 전자댄스음악(EDM)이나 리듬앤드블루스(R&B)를 활용하고 차분한 장면으로 바뀌면 어쿠스틱 기타 중심의 음악으로 전환하는 방식이다. 짧은 영상인 숏폼 콘텐츠에 맞춰 음악 재생 시점도 개선했다. 화면이 전환되거나 특정 동작이 나타나는 순간에 맞춰 음악과 효과음이 자연스럽게 이어지도록 지원한다. 영상에 이미 포함된 소리도 참고한다. AI는 기존 음악의 장르와 빠르기, 악기 구성 등을 분석해 비슷한 분위기의 새로운 음악을 만든다. 영상 분위기를 유지하면서 배경음악을 교체하는 방식이다. AI가 만든 음악과 효과음은 직접 수정할 수도 있다. 일레븐크리에이티브의 뮤직 비디오 편집기는 배경음악과 효과음을 별도 편집 영역에 표시한다. 이용자는 효과음이 나오는 시점을 조정하거나 음악을 교체하고 필요한 소리를 추가한다. 편집을 마친 영상은 바로 내보낸다. 개발자용 API도 제공한다. 개발자는 음악과 효과음을 별도 파일로 내려받아 추가 편집에 활용한다. 한 번의 요청으로 최대 10개 영상을 처리하는 기능도 지원한다. 일레븐랩스는 기존 음성 합성과 AI 음성 에이전트에 이어 영상 콘텐츠 제작으로 사업 영역을 넓혔다. 광고나 숏폼 제작에 필요한 배경음악 생성과 효과음 배치, 세부 편집 기능을 하나의 서비스로 제공한다. 일레븐랩스는 "효과음을 추가하거나 타이밍을 조정하고 음악을 교체할 때 처음부터 작업을 다시 시작할 필요 없이 개별 장면을 다듬을 수 있다"고 설명했다.