robomimic_ph

• وصف :

تم جمع مجموعات البيانات البشرية ذات الكفاءة Robomimic بواسطة مشغل واحد ماهر باستخدام منصة RoboTurk (باستثناء النقل، الذي كان لديه مشغلين ماهرين يعملان معًا). تتكون كل مجموعة بيانات من 200 مسار ناجح.

تحتوي كل مهمة على نسختين: واحدة تحتوي على ملاحظات منخفضة الأبعاد ( low_dim ) وأخرى تحتوي على صور ( image ).

تتبع مجموعات البيانات تنسيق RLDS لتمثيل الخطوات والحلقات.

• الصفحة الرئيسية : https://arise-initiative.github.io/robomimic-web/

• كود المصدر : tfds.datasets.robomimic_ph.Builder

• الإصدارات :

  • 1.0.0 : الإصدار الأولي.
  • 1.0.1 (افتراضي): تم تحديث الاقتباس.

• الإنشقاقات :

• المفاتيح الخاضعة للإشراف (راجع as_supervised doc ): None

• الشكل ( tfds.show_examples ): غير مدعوم.

• أمثلة ( tfds.as_dataframe ): مفقود.

• الاقتباس :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_ph/lift_ph_image (التكوين الافتراضي)

• حجم التحميل : 798.43 MiB

• حجم مجموعة البيانات : 114.47 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/lift_ph_low_dim

• حجم التحميل : 17.69 MiB

• حجم مجموعة البيانات : 8.50 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/can_ph_image

• حجم التحميل : 1.87 GiB

• حجم مجموعة البيانات : 474.55 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/can_ph_low_dim

• حجم التحميل : 43.38 MiB

• حجم مجموعة البيانات : 27.73 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/square_ph_image

• حجم التحميل : 2.42 GiB

• حجم مجموعة البيانات : 401.28 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(45,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/square_ph_low_dim

• حجم التحميل : 47.69 MiB

• حجم مجموعة البيانات : 29.91 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(45,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/transport_ph_image

• حجم التحميل : 15.07 GiB

• حجم مجموعة البيانات : 3.64 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(14,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(41,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
            'robot1_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot1_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot1_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot1_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot1_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot1_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot1_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot1_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot1_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot1_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot1_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
            'shouldercamera0_image': Image(shape=(84, 84, 3), dtype=uint8),
            'shouldercamera1_image': Image(shape=(84, 84, 3), dtype=uint8),
        }),
        'reward': float64,
        'states': Tensor(shape=(115,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/transport_ph_low_dim

• حجم التحميل : 294.70 MiB

• حجم مجموعة البيانات : 208.05 MiB

• التخزين المؤقت التلقائي ( الوثائق ): فقط عندما shuffle_files=False (القطار)

• هيكل الميزة :

FeaturesDict({
    '20_percent': bool,
    '20_percent_train': bool,
    '20_percent_valid': bool,
    '50_percent': bool,
    '50_percent_train': bool,
    '50_percent_valid': bool,
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(14,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(41,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
            'robot1_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot1_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot1_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot1_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot1_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot1_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot1_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot1_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot1_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot1_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(115,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/tool_hang_ph_image

• حجم التحميل : 61.96 GiB

• حجم مجموعة البيانات : 9.10 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• هيكل الميزة :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(44,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(240, 240, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
            'sideview_image': Image(shape=(240, 240, 3), dtype=uint8),
        }),
        'reward': float64,
        'states': Tensor(shape=(58,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :

robomimic_ph/tool_hang_ph_low_dim

• حجم التحميل : 192.29 MiB

• حجم مجموعة البيانات : 121.77 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• هيكل الميزة :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(44,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(58,), dtype=float64),
    }),
    'train': bool,
    'valid': bool,
})

• وثائق الميزة :