TeleVision

https://github.com/OpenTeleVision/TeleVision

Abstract

✅ 연구 목적

• 원격 조작(teleoperation)을 통해 로봇 학습을 위한 고품질 데이터를 직관적이고 효율적으로 수집하는 방법 제안.
• 이를 위해 몰입형 원격 조작 시스템(Open-TeleVision)을 개발하여 조작자의 인지성과 조작 감각을 향상시킴.

✅ 제안한 방법

1. 입체적(stereoscopic) 원격 조작 시스템 제공
   • 조작자가 로봇의 주변 환경을 직관적으로 인식할 수 있도록 설계
2. 조작자의 팔과 손 움직임을 로봇에 실시간으로 반영
   • 마치 조작자의 의식이 로봇에 전이된 듯한 몰입감 제공

✅ 실험 및 평가

• 2종의 휴머노이드 로봇을 대상으로 4가지 장기적(long-horizon) 및 정밀한 작업 수행
  • 캔 분류(Can Sorting)
  • 캔 삽입(Can Insertion)
  • 접기(Folding)
  • 하역(Unloading)
• 수집한 데이터로 모방 학습(imitation learning) 정책을 학습하고 실세계에서 검증

✅ 주요 기여: 능동적 시각 피드백(Active Visual Feedback) 활용

본 연구의 가장 중요한 기여는 능동적 시각 피드백을 활용한 정밀 조작 기술이다.

• 로봇 머리에 장착된 능동형 스테레오 RGB 카메라 활용
  • 2~3 자유도(DoF)로 작동하는 카메라를 사용하여 사람의 머리 움직임을 모방
  • 로봇이 넓은 작업 공간을 관찰할 수 있도록 설계
• 조작자의 머리 움직임에 따라 카메라가 동기화되어 이동
  • VR 기기로 실시간 3D 1인칭 시점(ego-centric) 스트리밍 제공
  • 조작자는 로봇이 보는 그대로를 관찰하며 원격 조작 가능

✅ 능동적 시각 피드백의 이점