일레븐랩스, 음성 AI 개발 간소화…'일레븐 리얼타임' 공개

일레븐랩스가 사람과 자연스럽게 대화하는 음성 인공지능(AI) 에이전트 구축 과정을 간소화해 개발 부담을 줄였다. 일레븐랩스는 음성 에이전트용 음성 대 음성 모델(STS) '일레븐 리얼타임'을 공개했다고 3일 밝혔다. 이 모델은 빠르고 자연스러운 대화에 최적화한 'v1 미니'와 복잡한 작업을 위한 'v1 맥스'로 구성되며 '일레븐에이전트'와 '리얼타임 API'를 통해 제공된다. 기존에는 음성 에이전트를 만들 때 음성 인식과 발화 구간 감지부터 대화 차례 전환과 거대언어모델(LLM), 음성 합성까지 각각 선택하고 조합해야 했다. 일레븐 리얼타임은 이러한 구성 요소를 개별적으로 설정하는 대신 모델을 선택해 음성 에이전트를 구축하도록 지원한다. v1 미니는 AI 비서와 교육용 튜터·게임 속 대화형 캐릭터 등에 적합하다. v1 맥스는 정해진 절차에 따라 정보를 조회하는 고객 지원이나 여러 도구를 호출해 작업을 수행하는 단계 업무에 초점 맞췄다. 두 모델은 한국어와 일본어를 포함한 90개 이상 언어를 지원한다. 이용자는 1만 7000개 이상 음성 중 원하는 목소리를 선택할 수 있다. 대화 차례 전환과 사용자의 끼어들기에 대한 대응·도구 호출도 지원하며 모델 선택을 바꿔 두 모델을 전환할 수 있다. 일레븐랩스가 제시한 아티피셜 애널리시스 10월 평가 결과에 따르면 v1 맥스는 음성 기반 추론 능력을 측정하는 '빅 벤치 오디오'에서 정답률 98.8%를 기록했다. 질문이 끝난 뒤 답변을 시작하기까지 걸린 시간은 0.57초였다. 대화 중 침묵과 차례 전환 및 끼어들기·맞장구에 대한 대응을 측정하는 '풀 듀플렉스 벤치'에서는 v1 미니가 95.8%를 기록했다. v1 맥스의 점수는 94.1%였다. 일레븐에이전트 이용자는 새 에이전트나 기존 에이전트의 모델 선택 메뉴에서 일레븐 리얼타임을 선택해 사용할 수 있다. 전화와 웹사이트·컨택센터 등에 배포할 수 있으며 기존 플랫폼 업무 흐름과 지식베이스, 안전장치·테스트·모니터링 기능도 활용할 수 있다. 리얼타임 API는 오픈AI 리얼타임 API와 호환되며 웹소켓으로 연결된다. 기존 오픈AI 리얼타임 API 이용 개발자는 코드의 연결 대상과 모델 이름을 변경해 사용할 수 있다. 다만 출시 시점에는 웹RTC를 지원하지 않는다. 일레븐랩스는 "일레븐 리얼타임을 통해 한국 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 구축할 수 있도록 지원할 것"이라고 밝혔다.