"딱 필요한 기억만 조회"…ETRI, AI 에이전트 새 모델 개발

기존 AI에이전트의 작업 성공률을 최대 24%p 개선할 수 있는 새 모델이 개발됐다. 한국전자통신연구원(ETRI)은 최재우 소셜로뵉스연구실 선임연구원이 광주과학기술원(GIST)과 공동으로 환경을 직접 관측하는 과정과 저장된 기억을 능동적으로 조회하는 과정을 결합한 AI 에이전트 기술 '씬쿼리 플래너(SceneQueryPlanner)'를 개발했다고 밝혔다. '씬쿼리플래너'는 AI 에이전트가 환경을 직접 관측하고, 3차원 장면 그래프 형태의 기억에서 현재 작업에 필요한 정보만을 능동적으로 조회하며 행동을 계획하는 기술이다. 예를 들어, 로봇에 “깨지지 않도록 책상 위 나무로 된 물건을 상자에 넣고, 그 상자를 침대 위에 올려 줘”라는 명령을 내리면 기존에는 재질 정보 없이 “나무로 된 것은 그릇일 것”이라고 추측해 도자기 그릇을 집어 임무에 실패한다. 그러나 '씬쿼리플래너'는 책상에서 그릇·화분·연필·머그컵을 관측한 뒤 각 물체의 재질을 기억에서 하나씩 찾아 연필이 나무임을 확인하고 집은 뒤, 상자와 침대 위치를 조회해 작업을 완료한다. 최재우 선임연구원은 "로봇이 관측한 환경정보를 체계적으로 기억하고, 필요한 순간에 스스로 찾아 활용하도록 한 것이 핵심”이라고 설명했다. 이 기술은 로봇이 실내를 관측할 경우 관측한 방과 가구, 물체의 위치와 속성 등을 '3차원 장면 그래프'형태로 저장한다. 주변 환경을 입체 지도처럼 기억하는 방식이다. 물체의 재질과 열림·닫힘, 켜짐·꺼짐 등의 상태를 서로의 관계와 함께 정리하는 것이 특징이다. 씬쿼리플래너는 저장된 기억을 꺼내는 방식이 색다르다. 로봇이 직접 움직이고 살펴보며 주변을 확인하는 '환경 그라운딩'과, 저장해 둔 기억에서 지금 필요한 정보만 골라 찾아보는 '메모리 그라운딩'을 함께 사용한다. 모든 기억을 한꺼번에 읽는 대신 현재 작업에 필요한 물체의 속성이나 위치관계 등을 선택적으로 조회한다. 이를 통해 '무엇을 할지'뿐 아니라 '무엇을 더 확인할지'도 스스로 계획한다. 최재우 선임은 "기존 AI 에이전트는 관측한 환경정보를 긴 문장으로 한꺼번에 입력받거나, 외부 메모리에 저장된 정보를 수동적으로 전달받는 리액트(ReAct) 방식으로 작업한다"며 "그러나 이 방식은 정보가 많아지면 필요한 내용이 묻히고, 정보가 부족하면 언어모델의 사전 지식에 기대어 잘못 추측한다. “지금 무엇을 더 확인해야 하는지”를 스스로 판단하지 못한다는 근본적 한계가 있다"고 설명했다. 기존 AI 에이전트는 관측한 환경정보를 긴 문장으로 한꺼번에 입력받거나, 외부 메모리에 저장된 정보를 수동적으로 전달받는 리액트(ReAct) 방식으로 작업한다. 그러나 이 방식은 정보가 많아지면 필요한 내용이 묻히고, 정보가 부족하면 언어모델의 사전 지식에 기대어 잘못 추측한다. “지금 무엇을 더 확인해야 하는지”를 스스로 판단하지 못한다는 근본적 한계가 있다. 연구팀은 씬쿼리플래너는 오픈소스와 상용 모델 모두에서 기존 리액트 방식보다 높은 임무 성공률을 보였다고 설명했다. 메타의 라마(LLaMA 3.1)와 알리바바의 큐원(Qwen 2.5) 등 공개 모델에서는 성공률이 각각 46.8%에서 69.6%로, 44.0%에서 68.0%로 높아졌다. 오픈AI의 상용 모델(GPT-4o)에서도 모든 평가환경에서 기존 방식을 앞섰으며, 속성 기반 복합작업의 성공률은 17.2%p 향상됐다. 김도형 소셜로보틱스연구실장은 "향후 카메라와 센서에서 들어오는 불완전한 환경정보로부터 장면 그래프 메모리를 실시간 구축·갱신하고, 실제 로봇이 복잡한 생활환경에서 장시간 작업을 수행할 수 있도록 기술 개발을 확장할 계획"이라고 말했다. 한편 연구결과는 지난 25일 자연어처리 분야 국제학술대회'EMNLP 2026 Findings'에서 발표됐다.