robomic_mg

  • Sự miêu tả :

Các bộ dữ liệu do máy Robomimic tạo ra được thu thập bằng cách sử dụng tác nhân phê bình diễn viên mềm được đào tạo với phần thưởng dày đặc. Mỗi tập dữ liệu bao gồm bộ đệm phát lại của tác nhân.

Mỗi tác vụ có hai phiên bản: một phiên bản có quan sát chiều thấp ( low_dim ) và một phiên bản có hình ảnh ( image ).

Các bộ dữ liệu tuân theo định dạng RLDS để thể hiện các bước và các tập.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (cấu hình mặc định)

  • Kích thước tải xuống : 18.04 GiB

  • Kích thước tập dữ liệu : 2.73 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Chia tách :

Tách ra Ví dụ
'train' 1.500
  • Cấu trúc tính năng :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
tập_id Tenxơ sợi dây
chân trời Tenxơ int32
bước Tập dữ liệu
bước/hành động Tenxơ (7,) phao64
bước/giảm giá Tenxơ int32
bước/là_đầu tiên Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
bước/quan sát Tính năngDict
bước/quan sát/agentview_image Hình ảnh (84, 84, 3) uint8
bước/quan sát/đối tượng Tenxơ (10,) phao64
bước/quan sát/robot0_eef_pos Tenxơ (3,) phao64 Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat Tenxơ (4,) phao64 Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang Tenxơ (3,) phao64 Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin Tenxơ (3,) phao64 Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_eye_in_hand_image Hình ảnh (84, 84, 3) uint8
bước/quan sát/robot0_gripper_qpos Tenxơ (2,) phao64 Vị trí kẹp
bước/quan sát/robot0_gripper_qvel Tenxơ (2,) phao64 Vận tốc kẹp
bước/quan sát/robot0_joint_pos Tenxơ (7,) phao64 Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos Tenxơ (7,) phao64
bước/quan sát/robot0_joint_pos_sin Tenxơ (7,) phao64
bước/quan sát/robot0_joint_vel Tenxơ (7,) phao64 Vận tốc khớp 7DOF
bước/phần thưởng Tenxơ phao64
bước/trạng thái Tenxơ (32,) phao64

robomimic_mg/lift_mg_low_dim

  • Kích thước tải xuống : 302.25 MiB

  • Kích thước tập dữ liệu : 195.10 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Chỉ khi shuffle_files=False (train)

  • Chia tách :

Tách ra Ví dụ
'train' 1.500
  • Cấu trúc tính năng :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
tập_id Tenxơ sợi dây
chân trời Tenxơ int32
bước Tập dữ liệu
bước/hành động Tenxơ (7,) phao64
bước/giảm giá Tenxơ int32
bước/là_đầu tiên Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
bước/quan sát Tính năngDict
bước/quan sát/đối tượng Tenxơ (10,) phao64
bước/quan sát/robot0_eef_pos Tenxơ (3,) phao64 Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat Tenxơ (4,) phao64 Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang Tenxơ (3,) phao64 Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin Tenxơ (3,) phao64 Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_gripper_qpos Tenxơ (2,) phao64 Vị trí kẹp
bước/quan sát/robot0_gripper_qvel Tenxơ (2,) phao64 Vận tốc kẹp
bước/quan sát/robot0_joint_pos Tenxơ (7,) phao64 Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos Tenxơ (7,) phao64
bước/quan sát/robot0_joint_pos_sin Tenxơ (7,) phao64
bước/quan sát/robot0_joint_vel Tenxơ (7,) phao64 Vận tốc khớp 7DOF
bước/phần thưởng Tenxơ phao64
bước/trạng thái Tenxơ (32,) phao64

robomimic_mg/can_mg_image

  • Kích thước tải xuống : 47.14 GiB

  • Kích thước tập dữ liệu : 11.15 GiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Chia tách :

Tách ra Ví dụ
'train' 3.900
  • Cấu trúc tính năng :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
tập_id Tenxơ sợi dây
chân trời Tenxơ int32
bước Tập dữ liệu
bước/hành động Tenxơ (7,) phao64
bước/giảm giá Tenxơ int32
bước/là_đầu tiên Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
bước/quan sát Tính năngDict
bước/quan sát/agentview_image Hình ảnh (84, 84, 3) uint8
bước/quan sát/đối tượng Tenxơ (14,) phao64
bước/quan sát/robot0_eef_pos Tenxơ (3,) phao64 Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat Tenxơ (4,) phao64 Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang Tenxơ (3,) phao64 Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin Tenxơ (3,) phao64 Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_eye_in_hand_image Hình ảnh (84, 84, 3) uint8
bước/quan sát/robot0_gripper_qpos Tenxơ (2,) phao64 Vị trí kẹp
bước/quan sát/robot0_gripper_qvel Tenxơ (2,) phao64 Vận tốc kẹp
bước/quan sát/robot0_joint_pos Tenxơ (7,) phao64 Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos Tenxơ (7,) phao64
bước/quan sát/robot0_joint_pos_sin Tenxơ (7,) phao64
bước/quan sát/robot0_joint_vel Tenxơ (7,) phao64 Vận tốc khớp 7DOF
bước/phần thưởng Tenxơ phao64
bước/trạng thái Tenxơ (71,) phao64

robomimic_mg/can_mg_low_dim

  • Kích thước tải xuống : 1.01 GiB

  • Kích thước tập dữ liệu : 697.71 MiB

  • Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không

  • Chia tách :

Tách ra Ví dụ
'train' 3.900
  • Cấu trúc tính năng :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
tập_id Tenxơ sợi dây
chân trời Tenxơ int32
bước Tập dữ liệu
bước/hành động Tenxơ (7,) phao64
bước/giảm giá Tenxơ int32
bước/là_đầu tiên Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
bước/quan sát Tính năngDict
bước/quan sát/đối tượng Tenxơ (14,) phao64
bước/quan sát/robot0_eef_pos Tenxơ (3,) phao64 Vị trí tác nhân cuối cùng
bước/quan sát/robot0_eef_quat Tenxơ (4,) phao64 Định hướng của người tác động cuối
bước/quan sát/robot0_eef_vel_ang Tenxơ (3,) phao64 Vận tốc góc tác động cuối
bước/quan sát/robot0_eef_vel_lin Tenxơ (3,) phao64 Vận tốc Descartes của tác nhân cuối
bước/quan sát/robot0_gripper_qpos Tenxơ (2,) phao64 Vị trí kẹp
bước/quan sát/robot0_gripper_qvel Tenxơ (2,) phao64 Vận tốc kẹp
bước/quan sát/robot0_joint_pos Tenxơ (7,) phao64 Vị trí khớp 7DOF
bước/quan sát/robot0_joint_pos_cos Tenxơ (7,) phao64
bước/quan sát/robot0_joint_pos_sin Tenxơ (7,) phao64
bước/quan sát/robot0_joint_vel Tenxơ (7,) phao64 Vận tốc khớp 7DOF
bước/phần thưởng Tenxơ phao64
bước/trạng thái Tenxơ (71,) phao64