robomimic_mg

  • Keterangan :

Kumpulan data yang dihasilkan mesin Robomimic dikumpulkan menggunakan agen Soft Actor Critic yang dilatih dengan imbalan yang besar. Setiap kumpulan data terdiri dari buffer replay agen.

Setiap tugas memiliki dua versi: satu dengan observasi berdimensi rendah ( low_dim ), dan satu lagi dengan gambar ( image ).

Kumpulan data mengikuti format RLDS untuk mewakili langkah dan episode.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (konfigurasi default)

  • Ukuran unduhan : 18.04 GiB

  • Ukuran kumpulan data : 2.73 GiB

  • Cache otomatis ( dokumentasi ): Tidak

  • Perpecahan :

Membelah Contoh
'train' 1.500
  • Struktur fitur :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
episode_id Tensor rangkaian
horison Tensor int32
tangga Kumpulan data
langkah/tindakan Tensor (7,) float64
langkah/diskon Tensor int32
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/pengamatan FiturDict
langkah/pengamatan/agentview_image Gambar (84, 84, 3) uint8
langkah/pengamatan/objek Tensor (10,) float64
langkah/pengamatan/robot0_eef_pos Tensor (3,) float64 Posisi efektor akhir
langkah/pengamatan/robot0_eef_quat Tensor (4,) float64 Orientasi efektor akhir
langkah/pengamatan/robot0_eef_vel_ang Tensor (3,) float64 Kecepatan sudut efektor akhir
langkah/pengamatan/robot0_eef_vel_lin Tensor (3,) float64 Kecepatan kartesius efektor akhir
langkah/pengamatan/robot0_eye_in_hand_image Gambar (84, 84, 3) uint8
langkah/pengamatan/robot0_gripper_qpos Tensor (2,) float64 Posisi gripper
langkah/pengamatan/robot0_gripper_qvel Tensor (2,) float64 Kecepatan gripper
langkah/pengamatan/robot0_joint_pos Tensor (7,) float64 Posisi gabungan 7DOF
langkah/pengamatan/robot0_joint_pos_cos Tensor (7,) float64
langkah/pengamatan/robot0_joint_pos_sin Tensor (7,) float64
langkah/pengamatan/robot0_joint_vel Tensor (7,) float64 Kecepatan gabungan 7DOF
langkah/hadiah Tensor float64
langkah/negara bagian Tensor (32,) float64

robomimic_mg/lift_mg_low_dim

  • Ukuran unduhan : 302.25 MiB

  • Ukuran kumpulan data : 195.10 MiB

  • Cache otomatis ( dokumentasi ): Hanya ketika shuffle_files=False (kereta)

  • Perpecahan :

Membelah Contoh
'train' 1.500
  • Struktur fitur :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
episode_id Tensor rangkaian
horison Tensor int32
tangga Kumpulan data
langkah/tindakan Tensor (7,) float64
langkah/diskon Tensor int32
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/pengamatan FiturDict
langkah/pengamatan/objek Tensor (10,) float64
langkah/pengamatan/robot0_eef_pos Tensor (3,) float64 Posisi efektor akhir
langkah/pengamatan/robot0_eef_quat Tensor (4,) float64 Orientasi efektor akhir
langkah/observasi/robot0_eef_vel_ang Tensor (3,) float64 Kecepatan sudut efektor akhir
langkah/pengamatan/robot0_eef_vel_lin Tensor (3,) float64 Kecepatan kartesius efektor akhir
langkah/pengamatan/robot0_gripper_qpos Tensor (2,) float64 Posisi gripper
langkah/pengamatan/robot0_gripper_qvel Tensor (2,) float64 Kecepatan gripper
langkah/pengamatan/robot0_joint_pos Tensor (7,) float64 Posisi gabungan 7DOF
langkah/pengamatan/robot0_joint_pos_cos Tensor (7,) float64
langkah/pengamatan/robot0_joint_pos_sin Tensor (7,) float64
langkah/pengamatan/robot0_joint_vel Tensor (7,) float64 Kecepatan gabungan 7DOF
langkah/hadiah Tensor float64
langkah/negara bagian Tensor (32,) float64

robomimic_mg/can_mg_image

  • Ukuran unduhan : 47.14 GiB

  • Ukuran kumpulan data : 11.15 GiB

  • Cache otomatis ( dokumentasi ): Tidak

  • Perpecahan :

Membelah Contoh
'train' 3.900
  • Struktur fitur :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
episode_id Tensor rangkaian
horison Tensor int32
tangga Kumpulan data
langkah/tindakan Tensor (7,) float64
langkah/diskon Tensor int32
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/pengamatan FiturDict
langkah/pengamatan/agentview_image Gambar (84, 84, 3) uint8
langkah/pengamatan/objek Tensor (14,) float64
langkah/pengamatan/robot0_eef_pos Tensor (3,) float64 Posisi efektor akhir
langkah/pengamatan/robot0_eef_quat Tensor (4,) float64 Orientasi efektor akhir
langkah/observasi/robot0_eef_vel_ang Tensor (3,) float64 Kecepatan sudut efektor akhir
langkah/pengamatan/robot0_eef_vel_lin Tensor (3,) float64 Kecepatan kartesius efektor akhir
langkah/pengamatan/robot0_eye_in_hand_image Gambar (84, 84, 3) uint8
langkah/pengamatan/robot0_gripper_qpos Tensor (2,) float64 Posisi gripper
langkah/pengamatan/robot0_gripper_qvel Tensor (2,) float64 Kecepatan gripper
langkah/pengamatan/robot0_joint_pos Tensor (7,) float64 Posisi gabungan 7DOF
langkah/pengamatan/robot0_joint_pos_cos Tensor (7,) float64
langkah/pengamatan/robot0_joint_pos_sin Tensor (7,) float64
langkah/pengamatan/robot0_joint_vel Tensor (7,) float64 Kecepatan gabungan 7DOF
langkah/hadiah Tensor float64
langkah/negara bagian Tensor (71,) float64

robomimic_mg/can_mg_low_dim

  • Ukuran unduhan : 1.01 GiB

  • Ukuran kumpulan data : 697.71 MiB

  • Cache otomatis ( dokumentasi ): Tidak

  • Perpecahan :

Membelah Contoh
'train' 3.900
  • Struktur fitur :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
episode_id Tensor rangkaian
horison Tensor int32
tangga Kumpulan data
langkah/tindakan Tensor (7,) float64
langkah/diskon Tensor int32
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/pengamatan FiturDict
langkah/pengamatan/objek Tensor (14,) float64
langkah/pengamatan/robot0_eef_pos Tensor (3,) float64 Posisi efektor akhir
langkah/pengamatan/robot0_eef_quat Tensor (4,) float64 Orientasi efektor akhir
langkah/observasi/robot0_eef_vel_ang Tensor (3,) float64 Kecepatan sudut efektor akhir
langkah/pengamatan/robot0_eef_vel_lin Tensor (3,) float64 Kecepatan kartesius efektor akhir
langkah/pengamatan/robot0_gripper_qpos Tensor (2,) float64 Posisi gripper
langkah/pengamatan/robot0_gripper_qvel Tensor (2,) float64 Kecepatan gripper
langkah/pengamatan/robot0_joint_pos Tensor (7,) float64 Posisi gabungan 7DOF
langkah/pengamatan/robot0_joint_pos_cos Tensor (7,) float64
langkah/pengamatan/robot0_joint_pos_sin Tensor (7,) float64
langkah/pengamatan/robot0_joint_vel Tensor (7,) float64 Kecepatan gabungan 7DOF
langkah/hadiah Tensor float64
langkah/negara bagian Tensor (71,) float64