로봇은 어디서 일을 배울까…피지컬 AI 훈련장 '버추얼 트윈'

올해로 인공지능(AI)이 세상에 등장한 지 70년이 됐습니다. 디지털 세상에서 인류의 지식과 정보를 언어로 학습한 생성형 AI가 이제 물리 세상을 체험하기 위해 나올 채비를 마쳤습니다. 이름하여 피지컬(Physical) AI. 휴머노이드 로봇, 자율주행차, 다크팩토리, 헬스케어 등이 대표적입니다. 챗GPT에 이은 피지컬 AI는 첨단제조 강국인 한국 경제를 더 혁신적이고 지속 가능한 성장엔진으로 바꿔 놓을 무한한 잠재력까지 갖고 있습니다. 산업화를 넘어 미래 지능형 플랫폼 사회로 나아가는 관문도 피지컬 AI에 달려 있다고 해도 과언이 아닙니다. 예측불허의 AI 시대, 우리는 무엇을 준비해야 할까요. 창간 26주년을 맞은 지디넷코리아가 연중기획 '피지컬AI가 미래다'를 통해 당면 과제와 이슈를 고민합니다. 많은 관심과 조언 부탁드립니다. [편집자주] 자동차 충돌을 시험하고 맞춤형 신발 밑창을 설계하던 디지털 트윈 기술이 피지컬 AI 훈련장으로 쓰이고 있다. 로봇은 공장에 투입되기 전 이곳에서 물건을 집고 옮기는 작업을 배운다. 물건을 떨어뜨리거나 설비와 부딪혀도 실제 피해 없이 다시 시험할 수 있다. 프랑스 산업용 소프트웨어 기업 다쏘시스템이 공급하는 '버추얼 트윈'은 피지컬 AI 훈련에 쓰이는 가상 환경을 구현하는 대표 디지털 트윈 기술이다. 제품과 공간을 가상으로 옮기고 재료 특성과 물리 법칙을 반영한다. 물건을 누르면 얼마나 변형되는지, 로봇이 잡았을 때 미끄러지는지 계산해 실제 작업에서 발생할 문제를 미리 확인한다. 피지컬 AI 개발에서는 학습 데이터 확보가 걸림돌로 꼽힌다. 로봇이 물건을 집고 옮기며 얻는 작업 데이터는 인터넷 문서처럼 대량으로 구하기 어렵다. 실제 장비를 움직여 데이터를 모아야 하고, 실패를 반복하는 과정에서 시간과 비용이 든다. 버추얼 트윈은 로봇이 경험할 상황을 가상에서 만들어 이 같은 부담을 줄인다. 개발자는 물건과 주변 환경을 바꿔가며 학습 데이터를 확보하고 로봇 동작을 시험한다. 실제 현장에서 확인한 문제는 다음 가상 훈련에도 반영한다. 다쏘시스템은 올해 4월 독일 로봇 기업 뉴라로보틱스와 가상 훈련과 현장 작업을 연결하는 협력을 발표했다. 실제 로봇 훈련장과 고객 작업 환경을 가상으로 재현하고 두 환경에서 얻은 데이터를 함께 활용한다는 계획이다. 자동차 충돌 계산하던 기술, 로봇 학습에도 필요한 이유 로봇이 종이 상자와 금속 부품을 집을 때 필요한 힘은 다르다. 상자는 세게 잡으면 찌그러지고 무거운 금속 부품은 약하게 잡으면 떨어진다. 가상훈련에서도 이러한 차이를 반영해야 로봇이 실제 작업에 맞는 동작을 배울 수 있다. 제조기업은 실제 제품 개발 과정에서 재료와 구조에 따른 반응을 버추얼 트윈에서 계산해 왔다. 자동차 충돌시험이 대표 사례다. 차량 제조업체는 가상 차량을 충돌시켜 차체가 어느 부위부터 변형되고 충격이 어디로 전달되는지 확인하고 있다. 개발자는 취약 부위에 다른 소재를 쓰거나 두께를 바꿔 설계를 수정한다. 아식스는 맞춤형 신발 밑창 설계에 버추얼 트윈을 활용했다. 발을 스캔한 뒤 가상에서 밑창 구조와 쿠션 성능을 검토하고 3D 프린터로 제작했다. 정해진 규격에 발을 맞추는 대신 사용자마다 다른 발 모양을 설계에 반영했다. 항공기 개발에서는 버추얼 트윈에서 무게와 강도를 함께 검토하고 있다. 부품을 가볍게 만들면 연료 소비를 줄이는 데 도움이 되지만, 비행 중 받는 힘을 견뎌야 한다. 개발자는 소재와 구조를 바꿔가며 무게를 줄이면서도 필요한 강도를 유지하는 설계를 찾는다. 다쏘시스템에 따르면 전 세계 비행기 제조사 100%가 버추얼 트윈을 사용하고 있다. 버추얼 트윈은 제품 형태뿐 아니라 힘을 받았을 때 어떻게 변하는지도 계산한다. 차체가 찌그러지고 밑창이 눌리며 날개가 휘어지는 정도가 설계를 고치거나 점검하는 근거가 된다. 정운성 다쏘시스템코리아 대표는 "사실적으로 구현한 3D 자동차 모델은 마케팅용으로 가치가 있지만 제조업이 진짜로 원하는 건 충돌 시뮬레이션, 취약 부위 분석, 공기역학 기반 연비 개선까지 포함된 데이터"라고 말했다. 조명 바꾸고 장애물 놓고…현장에서 모으기 어려운 데이터 확보 로봇은 어두운 곳이나 물건이 겹쳐 놓인 상황에서도 작업 대상을 알아봐야 한다. 같은 물건도 조명과 방향에 따라 카메라에 다르게 보인다. 일부가 가려지면 위치와 형태를 판단하기 더 어렵다. 개발자는 가상 환경에서 조명 밝기와 카메라 각도, 물건 배치를 바꿔 다양한 장면을 만든다. 가상 카메라와 센서가 수집한 정보를 학습에 활용하면 실제 현장에서 모든 조건을 마련해야 하는 부담이 줄어든다. 다쏘시스템은 올해 '하노버메세' 행사에서 지게차와 협동로봇이 함께 일하는 가상 물류 현장을 선보였다. 로봇 움직임과 주변을 인식하는 센서를 재현해 작업을 연습하고 시험하도록 했다. 가상 훈련에서는 돌발 상황도 만들 수 있다. 통로에 장애물을 놓고 로봇이 멈추거나 피해 가는지 시험한다. 실제 설비를 파손할 위험 없이 대응 능력을 검증한다. 여러 로봇이 함께 일하면 검증 범위도 넓어진다. 개별 로봇이 작업을 잘하더라도 이동 경로가 겹치면 서로 기다리거나 충돌할 수 있다. 개발자는 작업 순서와 이동 경로를 함께 시험해 생산 흐름이 막히는 지점을 찾는다. 학습 상황을 구성할 때는 현장 데이터가 필요하다. 설비 배치와 작업 순서, 운용 조건을 잘못 반영하면 가상 훈련과 실제 작업이 어긋난다. 제조기업이 보유한 설계 도면과 작업 기록, 센서 데이터를 연결해야 하는 이유다. 배재인 다쏘시스템코리아 CRE 본부장은 "단순히 데이터를 많이 쌓는 것이 아니라, 데이터가 제대로 분류되고 공유되며 활용될 수 있는 환경이 중요하다"고 말했다. 가상에서 잘 잡던 물건, 현실에선 놓친다면 가상 훈련에서 성공한 로봇도 실제 공장에서는 물건을 놓칠 수 있다. 물체 표면이 예상보다 미끄럽거나 센서 정보가 늦게 전달되면 같은 동작도 다른 결과값을 낸다. 가상에서 익힌 능력을 현실에 적용하는 '심투리얼(Sim-to-Real)' 과정에서 해결해야 할 문제다. 현장 검증은 이런 차이를 찾아내는 과정이다. 로봇이 물건을 놓쳤다면 무게와 표면 특성, 잡는 힘 등을 확인하고 가상 모델을 수정한다. 바뀐 조건에서 다시 학습한 뒤 실제 로봇으로 시험한다. 현장에서 드러난 실패가 다음 훈련을 보완하는 데이터가 된다. 다쏘시스템과 뉴라로보틱스는 실제 훈련장 '뉴라 짐'과 고객 작업 환경을 가상으로 재현할 계획이다. 첫 단계로 휴머노이드 '4NE1'을 다쏘시스템 플랫폼에 통합해 가상 훈련과 실제 작업을 연결하고, 현장에서 얻은 데이터를 다음 학습에 반영하기로 했다. 가상 훈련 목적은 실제 로봇이 현장에서 사람을 대신하거나 보조해 업무(일)을 하도록 만드는 데 있다. 버추얼 트윈에서 다양한 상황을 연습한 뒤 실제 로봇으로 결과를 검증한다. 가상과 현실에서 동작이 달라지면 원인을 확인해 다음 훈련에 반영한다. 배 본부장은 "로봇 시장은 끊임없이 '트라이 앤 에러'를 반복해야 하는 영역인데, 현실에서 이를 구현하기엔 비용과 시간, 안전 문제가 따른다"며 "버추얼 트윈 안에서 데이터를 생성하고 AI를 학습시키는 방법이 해법이 될 수 있다"고 말했다.