"피지컬 AI 실시간 영상AI 상용화 앞당겨"...서울대서 기술개발
서울대학교 전기정보공학부 이경한 교수 연구팀이 엣지 디바이스(Edge Device)에서 비전 트랜스포머(Vision Transformer) 기반 비디오 분석을 기존 대비 2.61배 빠르게 수행하는 인공지능 시스템 '우로보로스(Ouroboros)'를 개발했다. 이 시스템은 연속된 영상 프레임에서 반복적으로 나타나는 시각 정보를 다시 계산하지 않고 재사용하는 방식이다. 비전 트랜스포머의 중복 연산을 줄인 혁신적 기술이라고 대학은 밝혔다. 특히 영상 속 물체와 배경이 움직이더라도 이를 추적해 동일한 시각 정보를 찾아내고, 실제로 변화가 큰 부분만 선택적으로 계산한다. 연구팀은 고성능 영상AI 모델의 정확도를 유지하면서도 연산량, 지연 시간, 에너지 소모를 크게 줄일 수 있는 기술을 제시했다. '우로보로스'는 전력과 연산 자원이 제한된 환경에서 주로 동작하는 피지컬 AI(Physical AI)와 증강현실(AR) 분야에서 실시간 영상 AI의 상용화를 앞당기는 데 기여할 전망이다. 이번 연구성과는 지난 6월 22일부터 사흘간 영국 캐임브리지에서 열린 모바일 시스템 분야 최고 권위 국제 학술대회 'ACM 모비시스(ACM MobiSys) 2026'에서 23일 구두 발표됐다. ■ 연구 배경 최근 비전 트랜스포머는 객체 탐지, 영상 분할, 자율주행 인식 등 다양한 시각 인공지능 분야에서 높은 성능을 보이고 있다. 그러나 입력된 영상을 여러 패치로 나누고 모든 패치 간 관계를 계산하는 구조적 특성 때문에 연산량과 메모리 사용량이 크다. 때문에 스마트폰•로봇•드론과 같이 연산 자원과 전력이 제한된 엣지 디바이스에서 실시간으로 활용하기 어렵다는 한계가 있었다. '비전 트랜스포머'는 이미지를 여러 개의 작은 조각으로 나눈 뒤, 각 조각 사이의 관계를 분석해 사물과 장면을 인식하는 영상 AI 모델이다. 또 '엣지 디바이스'는 AI 모델을 서버가 아닌 기기 자체에서 실행하는 장치다. 한편, 비디오는 연속된 프레임으로 구성되며, 인접한 프레임끼리는 서로 매우 비슷한 특징을 갖는다. 도로 위 차량이나 보행자처럼 이전 프레임에 있던 대상이 다음 프레임에서 조금 이동해 나타나는 경우가 많기 때문이다. 따라서 이전 프레임에서 계산한 정보를 재사용할 수 있다면 불필요한 반복 연산을 크게 줄일 수 있다. 이에 기존에는 프레임 간 중복 정보를 재사용하는 다양한 비디오 AI 경량화 기법이 개발돼 왔다. 그러나 이러한 기법은 주로 같은 위치의 픽셀이나 프레임 간 차이를 기준으로 중복성을 판단했기 때문에, 카메라가 흔들리거나 물체가 움직이면 실제로는 같은 내용인 영역도 새롭게 계산해야 하는 한계가 있었다. ■ 연구 성과 이 문제 해결에 나선 이경한 교수팀은 영상 속 물체와 배경의 움직임을 반영해 중복 계산을 줄이는 새로운 비디오 AI 기술 'Ouroboros'를 제안했다. 'Ouroboros'는 하드웨어 비디오 인코더가 제공하는 움직임 정보(Motion Vector)를 활용해 연속된 프레임이 공유하는 같은 시각 정보를 찾아낸다. 이를 통해 같은 물체나 배경이 화면 안에서 위치를 옮기더라도 동일한 대상으로 인식하고, 이전 프레임에서 계산한 결과를 다시 활용할 수 있도록 했다. 또한 프레임이 이동하면서 일부 영상 정보가 입력 영역 밖으로 벗어나는 문제를 해결하기 위해, 화면의 좌우•상하 경계를 이어 붙인 순환형 입력 공간을 도입했다. 여기에 위치 인코딩 재배치 기술을 결합해, 경계를 넘어 이동한 물체도 하나의 연속된 대상으로 인식할 수 있도록 했다. 또한 물체가 화면 가장자리를 넘어 이동할 때 정보가 끊어지는 문제를 해결하기 위해 화면의 좌우와 상하가 이어진 것처럼 처리하는 순환형 입력 공간을 도입했다. 여기에 물체의 위치 정보를 새 위치에 맞게 재배치하는 기술을 결합, 화면 경계를 넘어 이동한 물체도 하나의 연속된 대상으로 정확히 인식할 수 있게 했다. 아울러 연구팀은 화면의 모든 영역을 매번 다시 계산하는 대신, 변화가 큰 부분만 새롭게 계산하고 나머지는 이전 프레임의 계산 결과를 재사용하는 방식을 적용했다. 또한 메모리 접근 비용을 최소화하는 계산 구조를 함께 설계, 연산량 감소가 실제 처리 속도 향상과 에너지 절감으로 이어지게 했다. 실험 결과, Ouroboros는 엔비디아 젯슨 오린(NVIDIA Jetson Orin) 계열 엣지 디바이스에서 최대 87.0%의 연산량 절감, 2.61배의 추론 속도 향상, 64.5%의 에너지 절감을 달성했다. 또한 객체 탐지와 인스턴스 분할(Instance Segmentation) 작업에서는 정확도 저하를 1% 미만으로 유지했으며, 영상 데이터를 서버로 전송해 처리하는 환경에서도 기존 기술보다 더 적은 네트워크 대역폭으로 높은 정확도를 유지했다. '인스턴스 분할'은 물체 존재와 위치만 찾는 객체 탐지보다 한 단계 더 나아가, 각각의 물체가 차지하는 영역과 경계를 픽셀 단위로 구분하는 AI영상 분석 기술이다. ■ 기대 효과 이번에 개발한 Ouroboros는 비전 트랜스포머 모델 자체를 새롭게 설계한 게 아니라, 연속된 영상의 처리 과정에서 중복 계산을 줄이는 시스템 기술이다. 따라서 기존의 다양한 비전 트랜스포머 기반 영상 AI 모델에 쉽게 적용할 수 있다. 나아가, 향후 더욱 큰 규모의 영상 AI 모델이나 엣지 디바이스와 서버가 함께 연산을 수행하는 AI 시스템으로도 적용 범위를 확장할 수 있다. 특히 전력과 연산 자원이 제한된 엣지 디바이스에서도 고성능 영상 AI를 빠르게 실행할 수 있는 기반 기술로 활용할 것으로 기대된다. 이에 따라 자율주행, 지능형 CCTV, 드론, 로봇, 모바일 증강현실(AR), 스마트팩토리 등 실시간 영상 분석이 필요한 다양한 분야에서 폭넓게 활용될 전망이다. 또한 영상 전체를 서버로 전송하는 대신, AI 추론에 필요한 정보만 선별해 처리할 수 있어 네트워크 사용량을 크게 줄일 수 있다. 따라서 영상을 서버로 전송해 분석하는 환경에서도 제한된 네트워크 대역폭에서 안정적이고 정확한 영상 분석 서비스를 제공하는 데 기여할 것으로 기대된다. 연구를 지도한 이경한 교수는 “이번 연구는 휴머노이드와 같은 피지컬 AI를 구현하는 데 걸림돌이었던 연산 병목과 네트워크 병목의 문제를 동시에 해결할 수 있는 원천 기술을 확보했다는 점에서 의미가 크다”며 “앞으로 피지컬 AI 및 AI 반도체 기업들과 협력해 Ouroboros 기술의 상용화와 사업화를 적극 추진할 계획”이라고 밝혔다. 이 교수 연구팀은 해당 성과를 바탕으로 비디오 뿐 아니라 단일 이미지의 입력에 대해서도 엣지-클라우드 협업 추론을 가속하는 후속 연구를 진행할 예정이다. 이번 논문의 주저자인 박찬정 연구원은 현재 서울대학교 전기정보공학부 박사과정에 재학 중이다. 엣지 디바이스와 클라우드가 협력해 고성능 인공지능 추론을 효율적으로 수행하는 시스템에 관한 연구를 이어가고 있다. 향후 학위 취득 후에는 박사후연구원으로 관련 연구를 지속적으로 수행하며, 제한된 연산•통신 자원 환경에서도 대규모 인공지능 모델을 실시간으로 활용할 수 있는 시스템 기술을 발전시켜 나갈 계획이다. 한편, 이번 연구는 서울대학교와 미국 카네기멜론대학교(Carnegie Mellon University)의 공동 연구로 수행됐다. 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)과 한국연구재단(NRF)의 지원을 받아 이뤄졌다. 서울대학교 공학연구원 및 뉴미디어통신공동연구소의 지원도 함께 받았다.
