뉴스 앵커 바뀔 때마다 구간 분할…트웰브랩스, 영상 추론 AI 출시

트웰브랩스가 영상 속 맥락을 스스로 이해하고 구조화된 데이터를 생성하는 영상 추론 인공지능(AI) 모델을 통해 기업 영상 자산의 데이터화 시장 공략에 나선다. 트웰브랩스는 업계 최초로 시간 기반 메타데이터 추출 방식을 도입한 '페가수스(Pegasus) 1.5'를 21일 공개했다. 이 방식은 AI가 영상을 시청하는 수준을 넘어 사용자가 정의한 기준에 따라 영상을 구간 분할하고 각 구간 시작과 종료 시점, 상세 내용을 구조화된 데이터로 추출하는 것이 특징이다. 기존 영상 편집 및 아카이빙 작업은 숙련된 인력이 수천 시간 영상을 일일이 확인하며 구간을 나누는 수작업에 의존해 왔다. 페가수스 1.5는 이 과정을 언어 하나로 자동화한다. 개발자가 복잡한 코드를 짤 필요 없이 "뉴스 앵커가 바뀔 때마다 구간을 나눠줘" 혹은 "특정 출연자가 등장하는 서사 위주로 챕터를 구성해줘"와 같은 자연어 명령만으로 영상 구조를 설계할 수 있다. 예를 들어 엔터테인먼트 분야에선 특정 인물 두 명의 이미지를 입력하면 수십 회차에 달하는 영상 속에서 두 사람이 함께 등장하는 구간만을 선별해 하나의 서사로 재구성할 수 있다. 미디어 및 뉴스 환경에선 "날씨 코너만 분리해줘"와 같은 간단한 요청만으로 전체 뉴스 영상이 자동으로 챕터화된다. 이를 즉시 숏폼 콘텐츠로 재가공하거나 아카이브에 등록할 수 있다. 스포츠 분야에서도 콘텐츠 제작 워크플로우를 크게 단축할 수 있다. 경기 영상을 플레이 단위로 분할하고 득점 상황이나 특정 선수의 활약 장면을 자동으로 추출해 하이라이트 클립으로 구성하는 식이다. 특히 농구나 미식축구처럼 공격·수비 전환이 빠르고 플레이 단위가 명확하게 구분되는 종목도 구간을 인식하고 구조화해 복잡한 경기 흐름을 분석할 수 있다고 회사 측은 강조했다. 페가수스 1.5는 텍스트 변환을 넘어 시각·청각·맥락 신호를 동시에 읽어내는 멀티모달 기술 정점을 구현했다. 화면 전환이나 오디오 변화는 물론, 주제가 바뀌는 미세한 흐름까지 감지해 구간 경계를 찾아낸다. 특히 '멀티모달 쿼리' 기능 강화로 사용자 편의성이 극대화됐다. 글로 설명하기 복잡한 대상도 이미지 한 장만 입력하면 영상 속에서 즉시 찾아낼 수 있다. 최대 2시간 분량 긴 영상도 한 번의 응용 프로그램 인터페이스(API) 호출로 구조화할 수 있다. 인덱싱이나 전처리 작업 없이 원본 영상 파일만으로 바로 결과를 도출할 수 있는 것도 장점이다. 회사에 따르면 페가수스 1.5는 구간 분할 정확도 평가에서 구글 '제미나이 3.1 프로' 대비 13.1% 높은 성능을 보였다. 구간 시간 경계 정확도는 약 350밀리초 이내로 유지됐다. 뉴스 프로그래밍과 같은 복잡한 콘텐츠에서 JSON 형식의 구조화된 출력 안정성도 일반 모델 대비 우수한 것으로 나타났다. 이재성 트웰브랩스 대표는 "영상 안에 무엇이 있는지를 아는 것과 그것이 정확히 어디에 있는지를 찾아내는 것은 전혀 다른 차원의 문제"라며 "페가수스 1.5는 이 두 번째 질문을 본격적으로 해결한 모델"이라고 말했다. 이어 "사용자가 무엇을 원하는지 기준만 정의하면 AI가 영상 구조를 자동 설계하고 필요한 장면을 추출하는 방식이 보편화될 것"이라며 "영상 콘텐츠는 더 이상 소비 대상이 아니라 기업이 자유롭게 가공·활용하는 데이터 자산으로 확장될 것"이라고 덧붙였다.