비올라

  • 설명 :

양식화된 주방 작업과 상호 작용하는 Franka 로봇

나뉘다 예
'test' 15
'train' 135
  • 기능 구조 : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'gripper_closedness_action': float32,
            'rotation_delta': Tensor(shape=(3,), dtype=float32),
            'terminate_episode': float32,
            'world_vector': Tensor(shape=(3,), dtype=float32),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_rgb': Image(shape=(224, 224, 3), dtype=uint8, description=RGB captured by workspace camera),
            'ee_states': Tensor(shape=(16,), dtype=float32, description=Pose of the end effector specified as a homogenous matrix.),
            'eye_in_hand_rgb': Image(shape=(224, 224, 3), dtype=uint8, description=RGB captured by in hand camera),
            'gripper_states': Tensor(shape=(1,), dtype=float32, description=gripper_states = 0 means the gripper is fully closed. The value represents the gripper width of Franka Panda Gripper.),
            'joint_states': Tensor(shape=(7,), dtype=float32, description=joint values),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
단계 데이터세트
단계/작업 특징Dict
단계/작업/gripper_closedness_action 텐서 float32
단계/작업/회전_델타 텐서 (3,) float32
단계/작업/종료_에피소드 텐서 float32
단계/행동/세계_벡터 텐서 (3,) float32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/agentview_rgb 영상 (224, 224, 3) uint8 작업 공간 카메라로 캡처한 RGB
단계/관찰/ee_states 텐서 (16,) float32 동종 행렬로 지정된 엔드 이펙터의 포즈.
단계/관찰/eye_in_hand_rgb 영상 (224, 224, 3) uint8 손에 들고 있는 카메라로 촬영한 RGB
단계/관찰/gripper_states 텐서 (1,) float32 그리퍼_상태 = 0은 그리퍼가 완전히 닫혔음을 의미합니다. 이 값은 Franka Panda 그리퍼의 그리퍼 너비를 나타냅니다.
단계/관찰/joint_states 텐서 (7,) float32 공동 가치
단계/관찰/natural_언어_임베딩 텐서 (512,) float32
단계/관찰/natural_lang_instruction 텐서 끈
걸음수/보상 스칼라 float32
@article{zhu2022viola,
  title={VIOLA: Imitation Learning for Vision-Based Manipulation with Object Proposal Priors},
  author={Zhu, Yifeng and Joshi, Abhishek and Stone, Peter and Zhu, Yuke},
  journal={6th Annual Conference on Robot Learning (CoRL)},
  year={2022}
}