robomimic_mg

  • Descrizione :

I set di dati generati dalla macchina Robomimic sono stati raccolti utilizzando un agente Soft Actor Critic addestrato con una densa ricompensa. Ogni set di dati è costituito dal buffer di riproduzione dell'agente.

Ogni attività ha due versioni: una con osservazioni a bassa dimensionalità ( low_dim ) e una con immagini ( image ).

I set di dati seguono il formato RLDS per rappresentare passaggi ed episodi.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (configurazione predefinita)

  • Dimensione download : 18.04 GiB

  • Dimensione del set di dati : 2.73 GiB

  • Memorizzazione nella cache automatica ( documentazione ): No

  • Divide :

Diviso Esempi
'train' 1.500
  • Struttura delle caratteristiche :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
episodio_id Tensore corda
orizzonte Tensore int32
passi Set di dati
passi/azione Tensore (7,) float64
passi/sconto Tensore int32
passi/è_primo Tensore bool
passi/è_ultimo Tensore bool
passi/è_terminale Tensore bool
passi/osservazione CaratteristicheDict
passaggi/osservazione/agentview_image Immagine (84, 84, 3) uint8
passi/osservazione/oggetto Tensore (10,) float64
passi/osservazione/robot0_eef_pos Tensore (3,) float64 Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat Tensore (4,) float64 Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang Tensore (3,) float64 Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin Tensore (3,) float64 Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_eye_in_hand_image Immagine (84, 84, 3) uint8
passi/osservazione/robot0_gripper_qpos Tensore (2,) float64 Posizione della pinza
passi/osservazione/robot0_gripper_qvel Tensore (2,) float64 Velocità della pinza
passi/osservazione/robot0_joint_pos Tensore (7,) float64 Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos Tensore (7,) float64
passi/osservazione/robot0_joint_pos_sin Tensore (7,) float64
passi/osservazione/robot0_joint_vel Tensore (7,) float64 Velocità articolari 7DOF
passi/ricompensa Tensore float64
passi/stati Tensore (32,) float64

robomimic_mg/lift_mg_low_dim

  • Dimensione download : 302.25 MiB

  • Dimensione del set di dati : 195.10 MiB

  • Memorizzazione nella cache automatica ( documentazione ): solo quando shuffle_files=False (train)

  • Divide :

Diviso Esempi
'train' 1.500
  • Struttura delle caratteristiche :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
episodio_id Tensore corda
orizzonte Tensore int32
passi Set di dati
passi/azione Tensore (7,) float64
passi/sconto Tensore int32
passi/è_primo Tensore bool
passi/è_ultimo Tensore bool
passi/è_terminale Tensore bool
passi/osservazione CaratteristicheDict
passi/osservazione/oggetto Tensore (10,) float64
passi/osservazione/robot0_eef_pos Tensore (3,) float64 Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat Tensore (4,) float64 Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang Tensore (3,) float64 Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin Tensore (3,) float64 Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_gripper_qpos Tensore (2,) float64 Posizione della pinza
passi/osservazione/robot0_gripper_qvel Tensore (2,) float64 Velocità della pinza
passi/osservazione/robot0_joint_pos Tensore (7,) float64 Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos Tensore (7,) float64
passi/osservazione/robot0_joint_pos_sin Tensore (7,) float64
passi/osservazione/robot0_joint_vel Tensore (7,) float64 Velocità articolari 7DOF
passi/ricompensa Tensore float64
passi/stati Tensore (32,) float64

robomimic_mg/can_mg_image

  • Dimensione download : 47.14 GiB

  • Dimensione del set di dati : 11.15 GiB

  • Memorizzazione nella cache automatica ( documentazione ): No

  • Divide :

Diviso Esempi
'train' 3.900
  • Struttura delle caratteristiche :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
episodio_id Tensore corda
orizzonte Tensore int32
passi Set di dati
passi/azione Tensore (7,) float64
passi/sconto Tensore int32
passi/è_primo Tensore bool
passi/è_ultimo Tensore bool
passi/è_terminale Tensore bool
passi/osservazione CaratteristicheDict
passaggi/osservazione/agentview_image Immagine (84, 84, 3) uint8
passi/osservazione/oggetto Tensore (14,) float64
passi/osservazione/robot0_eef_pos Tensore (3,) float64 Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat Tensore (4,) float64 Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang Tensore (3,) float64 Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin Tensore (3,) float64 Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_eye_in_hand_image Immagine (84, 84, 3) uint8
passi/osservazione/robot0_gripper_qpos Tensore (2,) float64 Posizione della pinza
passi/osservazione/robot0_gripper_qvel Tensore (2,) float64 Velocità della pinza
passi/osservazione/robot0_joint_pos Tensore (7,) float64 Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos Tensore (7,) float64
passi/osservazione/robot0_joint_pos_sin Tensore (7,) float64
passi/osservazione/robot0_joint_vel Tensore (7,) float64 Velocità articolari 7DOF
passi/ricompensa Tensore float64
passi/stati Tensore (71,) float64

robomimic_mg/can_mg_low_dim

  • Dimensione download : 1.01 GiB

  • Dimensione del set di dati : 697.71 MiB

  • Memorizzazione nella cache automatica ( documentazione ): No

  • Divide :

Diviso Esempi
'train' 3.900
  • Struttura delle caratteristiche :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
episodio_id Tensore corda
orizzonte Tensore int32
passi Set di dati
passi/azione Tensore (7,) float64
passi/sconto Tensore int32
passi/è_primo Tensore bool
passi/è_ultimo Tensore bool
passi/è_terminale Tensore bool
passi/osservazione CaratteristicheDict
passi/osservazione/oggetto Tensore (14,) float64
passi/osservazione/robot0_eef_pos Tensore (3,) float64 Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat Tensore (4,) float64 Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang Tensore (3,) float64 Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin Tensore (3,) float64 Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_gripper_qpos Tensore (2,) float64 Posizione della pinza
passi/osservazione/robot0_gripper_qvel Tensore (2,) float64 Velocità della pinza
passi/osservazione/robot0_joint_pos Tensore (7,) float64 Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos Tensore (7,) float64
passi/osservazione/robot0_joint_pos_sin Tensore (7,) float64
passi/osservazione/robot0_joint_vel Tensore (7,) float64 Velocità articolari 7DOF
passi/ricompensa Tensore float64
passi/stati Tensore (71,) float64