ReKep | Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

Abstract

**로봇 조작 작업을 환경 내 3D 키포인트를 기반으로 한 제약 조건으로 표현하는 Relational Keypoint Constraints (ReKep)**을 제안

이를 통해 다양한 작업에 적용 가능하며, 수동 라벨링 없이 기성 최적화 솔버를 활용하여 실시간으로 로봇 동작을 생성할 수 있다.

ReKep의 정의 및 특징

• 표현 방식: ReKep은 환경 내 3D 키포인트 집합을 입력받아 numerical cost로 변환하는 Python 함수로 정의된다.
• 최적화 적용: 조작 작업을 ReKep의 시퀀스로 표현하고, 계층적 최적화 절차를 사용하여 SE(3) 내에서의 end-effector 자세 시퀀스를 계산한다.
• 실시간 동작: 인식-동작 루프(perception-action loop)를 통해 실시간으로 로봇 행동을 생성

자동화된 ReKep 생성

• 과제: 각 작업마다 ReKep을 수동으로 정의하는 번거로움을 해결하기 위해 자동 생성 방법을 개발.
• 방법: 대형 비전 모델(large vision models)과 비전-언어 모델(vision-language models)을 활용하여, 자유 형식의 언어 지시 및 RGB-D 관찰을 기반으로 ReKep을 자동 생성.

실험 및 시스템 구현

• 플랫폼: 단일 팔 이동형 로봇 및 고정형 이중 팔 로봇에서 시스템을 구현.
• 실험 결과: 작업별 데이터나 환경 모델 없이도
  • 다단계 작업,
  • 자연환경에서의 작업,
  • 양손(bimanual) 조작,
  • 반응형 행동 등 다양한 조작 작업을 성공적으로 수행함을 입증.

Overview of ReKep