• ZDNet USA
  • ZDNet China
  • ZDNet Japan
  • English
  • 지디넷 웨비나
뉴스
  • 최신뉴스
  • 방송/통신
  • 컴퓨팅
  • 홈&모바일
  • 인터넷
  • 반도체/디스플레이
  • 카테크
  • 헬스케어
  • 게임
  • 중기&스타트업
  • 유통
  • 금융
  • 과학
  • 디지털경제
  • 취업/HR/교육
  • 생활/문화
  • 인사•부음
  • 글로벌뉴스
  • AI의 눈
ZDPick
지스타2026
반도체
IT'sight
칼럼•연재
포토•영상

ZDNet 검색 페이지

'입모양'통합검색 결과 입니다. (1건)

  • 태그
    • 제목
    • 제목 + 내용
    • 작성자
    • 태그
  • 기간
    • 3개월
    • 1년
    • 1년 이전

KAIST, 입모양만으로 대화하는 AI 오류율 25% 개선

입모양만으로도 말을 정확히 파악하는 AI가 개발됐다. 청각장애인이나 난청인 대화에 도움을 줄 전망이다. KAIST는 노용만 전기및전자공학부 교수 연구팀이 입술 움직임을 보고 말을 문자로 바꾸는 시각적 음성 인식(VSR) 기술의 정확도를 높이는 긱술을 개발했다고 16일 밝혔다. 문장 빈칸을 반복해서 채워나가는 '확산 대형 언어 모델(DLLM)'을 활용해, 입모양이 모호한 부분을 앞뒤 문맥으로 해독하도록 했다. 연구팀은 '처음부터 순서대로 읽기'를 '확실한 부분부터 읽기'로 바꿨다. 입술 움직임이 분명한 단어를 먼저 알아낸 뒤, 그 단어들을 단서로 남은 부분을 해독하는 방식이다. 퍼즐에서 모양이 분명한 조각부터 맞추고 주변 조각을 채우듯, 문장의 앞뒤 정보를 함께 살피며 모호한 부분을 점차 풀어낸다. 학습 방식도 개선했다. 먼저 영상 속 입술 움직임과 글자 내용을 연결하도록 가르친 뒤, 문장 길이를 학습하도록 두 단계를 나눴다. 또한 실제 말을 해독할 때는 영상 길이를 바탕으로 가능한 문장 길이를 여러 개 추정하고, 각 결과를 비교해 더 신뢰할 만한 문장을 선택하도록 했다. 연구팀은 433시간 분량의 입모양 영상 데이터셋 'LRS3'를 정답이 제공되는 학습 데이터로 활용해 단어 오류율 19.4%를 기록했다. LRS3만 정답이 붙은 학습 데이터로 사용한 기존 방법들 가운데 가장 낮은 오류율이다. 기존 모델 오류율은 25.8%였다. 24.8% 오류율을 개선했다. 또 데이터 학습시간도 433시간에 불과했다. 기존 입모양만 인식하는 AVSR은 오류율이 19.1%다. 하지만 이는 학습시간이 3448시간에 이른다. 연구팀은 향후 AI 모델의 크기와 연산량을 줄여 다양한 기기에 적용하는 연구를 이어갈 계획이다. 노용만 교수는 “실제 생활과 산업 현장의 다양한 기기에서 신뢰하고 사용할 수 있는 물리적 인공지능(Physical AI)의 기반을 마련할 것”이라고 말했다. 연구결과는 자연어 처리 분야 국제학술대회 'EMNLP 2026'에서 우수논문상으로 선정됐다.

2026.11.16 09:46박희범 기자

  Prev 1 Next  

지금 뜨는 기사

이시각 헤드라인

[르포] 양산 검증 장벽 허문다…SK하이닉스가 용인에 품은 '상생의 팹'

BLG, 젠지 꺾고 창단 첫 롤드컵 우승…LPL 5년 만에 정상 탈환

[글로벌 줍줍] GTA6 하라고 모두 쉬라는 회사 어디?

AI 시험 부정 막는다...정부, 수능 범정부 긴급대응팀 구성

ZDNet Power Center

Connect with us

ZDNET Korea is operated by Money Today Group under license from Ziff Davis. Global family site >>    CNET.com | ZDNet.com
  • 회사소개
  • 광고문의
  • DB마케팅문의
  • 제휴문의
  • 개인정보취급방침
  • 이용약관
  • 청소년 보호정책
  • 회사명 : (주)메가뉴스
  • 제호 : 지디넷코리아
  • 등록번호 : 서울아00665
  • 등록연월일 : 2008년 9월 23일
  • 사업자 등록번호 : 220-8-44355
  • 주호 : 서울시 마포구 양화로111 지은빌딩 3층
  • 대표전화 : (02)330-0100
  • 발행인 : 김경묵
  • 편집인 : 김태진
  • 개인정보관리 책임자·청소년보호책입자 : 김익현
  • COPYRIGHT © ZDNETKOREA ALL RIGHTS RESERVED.