광학식 모션캡쳐 전문기업 제로모션(XEROmotion)이 휴머노이드 로봇 학습 데이터 통합 플랫폼 ‘XERO Humanoid’를 10월 초 출시한다고 밝혔다.
XERO Humanoid는 사람의 움직임을 모션캡쳐로 기록한 뒤 이를 로봇 관절 구조에 맞게 변환하고, AI 학습과 시뮬레이션 검증을 거쳐 실제 로봇에 적용하는 과정을 단일 툴에서 연결한 소프트웨어 플랫폼이다. 데이터 수집 과정과 리타겟팅, 학습, 검증, 배포 단계별로 분리돼 있던 작업을 하나의 파이프라인으로 구성한 것이 특징이다.
플랫폼에서는 목적에 따라 ▲모캡+비디오(MoCap+Video) ▲브이알(VR) ▲텔레오퍼레이션(Teleoperation) 등 세 가지 데이터 수집 방식을 하나의 플랫폼에서 지원한다.
모캡+비디오 방식은 광학식 모션캡쳐와 1인칭 시점 비디오를 1ms 이내로 동기화해 전신 3D 관절 궤적과 영상을 함께 기록한다. 이를 통해 엔비디아 그루트-미믹(NVIDIA GR00T-Mimic, 휴머노이드 로봇 학습용 파운데이션 모델) 학습 데이터를 직접 생성할 수 있으며, 조작 작업 정책 학습 등에 적용할 수 있다.
VR 방식은 VIVE 얼티밋 트래커(VIVE Ultimate Tracker)와 HMD로 수집한 동작을 엔비디아의 로봇 시뮬레이션 환경인 아이작 심(NVIDIA Isaac Sim)에 실시간으로 구동한다. 포토리얼리스틱 환경에서 로봇 정책을 시연할 수 있으며, 조명과 질감, 물리 조건 등을 자동으로 변화시키는 도메인 랜덤화(DR)를 통해 실물 환경을 구축하지 않고도 대규모 합성 데이터를 생성할 수 있다. 위험 작업이나 합성 데이터 확보에 활용할 수 있다.
텔레오퍼레이션 방식은 모션캡쳐 퓨전 출력을 엔비디아 텔레옵 API(NVIDIA Teleop API)를 통해 로봇 관절 명령으로 변환한다. 실제 로봇을 원격으로 제어하며 오퍼레이터의 동작과 로봇 실행 궤적을 함께 기록하는 방식으로, 정밀 조작 및 실환경 보정을 위한 데이터 확보에 활용된다.
서로 다른 트래킹 장비를 함께 활용할 수 있는 멀티 하드웨어 센서 퓨전 기능도 적용했다. XEROmotion 광학 모션캡쳐를 비롯해 Xsens MVN, VIVE Ultimate Tracker 등에서 수집한 데이터를 하나로 융합해 정밀도를 높였으며, 광학·IMU·하이브리드 방식의 입력을 실시간으로 받아 로봇 골격에 동작을 옮기는 리타겟팅 엔진을 탑재했다. 또한 로봇 관절 구조를 표준 형식인 URDF로 기술한 모델을 기반으로 리타겟팅을 지원한다.
수집된 데이터는 HDF5를 마스터 포맷으로 저장하고 RGB 영상은 MP4, 메타데이터와 캘리브레이션 정보는 JSON/YAML 형식으로 제공한다. 이와 함께 아이작 심(Isaac Sim)용 USD와 물리 시뮬레이션 엔진 무조코(MuJoCo)용 MJCF/XML 익스포트를 지원해 주요 시뮬레이션 및 학습 환경과 연동할 수 있도록 했다.
엔비디아 생태계와의 연계도 지원한다. XERO Humanoid는 엔비디아 아이작 심(NVIDIA Isaac Sim), 아이작 랩(Isaac Lab), 그루트-미믹(GR00T-Mimic), 엔비디아 텔레옵 API(NVIDIA Teleop API)를 네이티브로 지원한다.
아울러 로봇 학습 데이터에 활용되는 로보미믹(robomimic) 표준 HDF5와 그루트-미믹(GR00T-Mimic)이 요구하는 시드 데이터 필드와 호환되는 자체 브릿지 모듈(moa_isaac_bridge.py)을 구현했다. 이에 따라 플랫폼에서 확보한 데이터를 별도의 변환 과정 없이 주요 학습 프레임워크에 활용할 수 있도록 했다.
이 과정을 거쳐 수집·변환된 데이터는 아이작 랩(Isaac Lab), 무조코(MuJoCo) 등의 환경에서 시뮬레이션 검증을 진행한 뒤 실제 로봇에 배포된다. 제로모션은 휴머노이드 로봇 개발 및 연구 조직이 학습 데이터 확보에 투입하는 시간과 리소스를 줄이는 것을 XERO Humanoid의 개발 목표로 삼고 있다.
제로모션 대표는 "XERO Humanoid는 데이터 수집부터 로봇 배포까지 흩어져 있던 과정을 하나의 파이프라인으로 통합해, 개발 조직이 학습 데이터 확보에 들이는 시간을 크게 줄여줄 것"이라며 "NVIDIA 생태계와의 네이티브 연동을 통해 별도의 변환 작업 없이 바로 학습에 활용할 수 있다는 점이 가장 큰 차별점"이라고 말했다.