휴머노이드로봇을 이용한 새도우모션, 인간모방학습 Unitree H1, Humanoid Shadowing and Imitation from Humans, Stanford HumanPlus Robot 인간모방학습연구
프로젝트 홈페이지: humanoid-ai.github.io
Team at Stanford University: Zipeng Fu*, Qingqing Zhao*, Qi Wu*, Gordon Wetzstein, Chelsea Finn 의 자료를 인용했습니다.
#휴머노이드로봇 #휴머노이드 #aloha #DexterousHands #autonomousmobilerobots #인간모방학습로봇 #imitationlearning
인간과 유사한 폼 팩터를 가진 로봇을 구축하기 위한 핵심 주장 중 하나는 방대한 인간 데이터를 훈련에 활용할 수 있다는 것입니다. 그러나 휴머노이드 인식 및 제어의 복잡성, 형태 및 작동 측면에서 휴머노이드와 인간 간의 물리적 격차가 여전하고 휴머노이드가 자기 중심적 시각에서 자율 기술을 학습할 수 있는 데이터 파이프라인이 부족하기 때문에 실제로 그렇게 하는 것은 여전히 어려운 일입니다. 본 논문에서는 휴머노이드가 인간 데이터에서 동작 및 자율 기술을 학습하기 위한 풀 스택 시스템을 소개합니다. 먼저 기존 40시간 인간 동작 데이터 세트를 사용하여 강화 학습을 통해 시뮬레이션에서 낮은 수준의 정책을 훈련합니다. 이 정책은 현실 세계로 전달되며 RGB 카메라, 즉 섀도잉만 사용하여 휴머노이드 로봇이 실시간으로 인간의 신체 및 손 동작을 따라할 수 있도록 합니다. 섀도잉을 통해 인간 운영자는 휴머노이드를 원격 조작하여 현실 세계에서 다양한 작업을 학습하기 위한 전신 데이터를 수집할 수 있습니다. 수집된 데이터를 사용하여 지도 행동 클로닝을 수행하여 자기 중심적 시각을 사용하여 기술 정책을 훈련하고, 휴머노이드가 인간의 기술을 모방하여 자율적으로 다양한 작업을 완료할 수 있도록 합니다. 저희는 맞춤형 33-DoF 180cm 휴머노이드에서 시스템을 시연하여 일어서서 걸을 수 있는 신발 착용, 창고 랙에서 물건을 내리고, 맨투맨을 접고, 물건을 재배치하고 타이핑하고, 최대 40개의 시연을 사용하여 성공률 60-100%로 다른 로봇에게 인사하는 등의 작업을 자율적으로 완료합니다.
Special thanks to "Stanford HumanPlus Robot team":
Humanoid Shadowing and Imitation from Humans
Project website: humanoid-ai.github.io
Team at Stanford University: Zipeng Fu*, Qingqing Zhao*, Qi Wu*, Gordon Wetzstein, Chelsea Finn
One of the key arguments for building robots that have similar form factors to human beings is that we can leverage the massive human data for training. Yet, doing so has remained challenging in practice due to the complexities in humanoid perception and control, lingering physical gaps between humanoids and humans in morphologies and actuation, and lack of a data pipeline for humanoids to learn autonomous skills from egocentric vision. In this paper, we introduce a full-stack system for humanoids to learn motion and autonomous skills from human data. We first train a low-level policy in simulation via reinforcement learning using existing 40-hour human motion datasets. This policy transfers to the real world and allows humanoid robots to follow human body and hand motion in real time using only a RGB camera, i.e. shadowing. Through shadowing, human operators can teleoperate humanoids to collect whole-body data for learning different tasks in the real world. Using the data collected, we then perform supervised behavior cloning to train skill policies using egocentric vision, allowing humanoids to complete different tasks autonomously by imitating human skills. We demonstrate the system on our customized 33-DoF 180cm humanoid, autonomously completing tasks such as wearing a shoe to stand up and walk, unloading objects from warehouse racks, folding a sweatshirt, rearranging objects, typing, and greeting another robot with 60-100% success rates using up to 40 demonstrations.
대표전화: 031-229-3553
제품문의: wego.sales@wego-robotics.com
기술문의: go.support@wego-robotics.com
카카오톡: pf.kakao.com/_GJNKG/chat
블 로 그 : blog.naver.com/rich0812.com
www.wego-robotics.com
13 июн 2024
