Expressive Humanoid

https://github.com/chengxuxin/expressive-humanoid

개요

• 휴머노이드 로봇이 현실에서 다양한 표현력 있는 동작을 생성하도록 전신 제어 정책(whole-body control policy) 을 학습하는 방법을 제안
• 이를 위해 대규모 인간 모션 캡처 데이터 를 활용한 강화 학습 을 적용하지만, 로봇과 인간의 자유도 및 물리적 차이로 인해 단순 모방 학습은 어려움이 있음. 이를 해결하기 위해 ExBody (Expressive Whole-Body Control) 기법을 도입하여, 상체는 모션을 최대한 모방 하고 하체는 주어진 속도를 따르는 방식 으로 학습
• 시뮬레이션 학습과 Sim2Real 전이 를 통해, 로봇이 다양한 스타일로 걷고, 인간과 악수하며, 함께 춤을 추는 동작 등을 수행할 수 있음을 실험을 통해 검증.

Reward

D. 보상(Rewards)

환경에서 주어지는 보상은 다음 항목들로 구성됨:

1. 표현 목표 (Expression goal) $G^e$
   • 원하는 동작이나 자세를 얼마나 정확히 따라 했는지를 평가
2. 루트 움직임 목표 추적 (Root movement goal tracking) : $G^m$
   • 몸의 루트(기준점)가 목표로 한 움직임을 얼마나 잘 따라갔는지 평가
3. 정규화 항목 (Regularization terms) ([47]에서 도입된 항목)
   • 동작의 자연스러움과 안정성을 유지하기 위한 항목

Appendix