robomimic_mg

  • Описание :

Наборы данных, сгенерированные машиной Robomimic, были собраны с использованием агента Soft Actor Critic, обученного с плотным вознаграждением. Каждый набор данных состоит из буфера воспроизведения агента.

У каждой задачи есть две версии: одна с низкоразмерными наблюдениями ( low_dim ) и одна с изображениями ( image ).

Наборы данных соответствуют формату RLDS для представления шагов и эпизодов.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (конфигурация по умолчанию)

  • Размер загрузки : 18.04 GiB

  • Размер набора данных : 2.73 GiB

  • Автокэширование ( документация ): Нет

  • Расколы :

Расколоть Примеры
'train' 1500
  • Структура функции :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Функциональная документация :
Особенность Сорт Форма Дтип Описание
ВозможностиDict
id_эпизода Тензор нить
горизонт Тензор int32
шаги Набор данных
шаги/действия Тензор (7,) float64
шаги/скидка Тензор int32
шаги/is_first Тензор логическое значение
шаги/is_last Тензор логическое значение
шаги/is_terminal Тензор логическое значение
шаги/наблюдение ВозможностиDict
шаги/наблюдение/agentview_image Изображение (84, 84, 3) uint8
шаги/наблюдение/объект Тензор (10,) float64
шаги/наблюдение/robot0_eef_pos Тензор (3,) float64 Положение рабочего органа
шаги/наблюдение/robot0_eef_quat Тензор (4,) float64 Ориентация конечного эффектора
шаги/наблюдение/robot0_eef_vel_ang Тензор (3,) float64 Угловая скорость рабочего органа
шаги/наблюдение/robot0_eef_vel_lin Тензор (3,) float64 Декартова скорость конечного эффектора
шаги/наблюдение/robot0_eye_in_hand_image Изображение (84, 84, 3) uint8
шаги/наблюдение/robot0_gripper_qpos Тензор (2,) float64 Положение захвата
шаги/наблюдение/robot0_gripper_qvel Тензор (2,) float64 Скорость захвата
шаги/наблюдение/robot0_joint_pos Тензор (7,) float64 7DOF совместные позиции
шаги/наблюдение/robot0_joint_pos_cos Тензор (7,) float64
шаги/наблюдение/robot0_joint_pos_sin Тензор (7,) float64
шаги/наблюдение/robot0_joint_vel Тензор (7,) float64 7DOF совместные скорости
шаги/награда Тензор float64
шаги/состояния Тензор (32,) float64

robomimic_mg/lift_mg_low_dim

  • Размер загрузки : 302.25 MiB

  • Размер набора данных : 195.10 MiB

  • Автоматическое кэширование ( документация ): только если shuffle_files=False (поезд)

  • Расколы :

Расколоть Примеры
'train' 1500
  • Структура функции :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Функциональная документация :
Особенность Сорт Форма Дтип Описание
ВозможностиDict
id_эпизода Тензор нить
горизонт Тензор int32
шаги Набор данных
шаги/действия Тензор (7,) float64
шаги/скидка Тензор int32
шаги/is_first Тензор логическое значение
шаги/is_last Тензор логическое значение
шаги/is_terminal Тензор логическое значение
шаги/наблюдение ВозможностиDict
шаги/наблюдение/объект Тензор (10,) float64
шаги/наблюдение/robot0_eef_pos Тензор (3,) float64 Положение рабочего органа
шаги/наблюдение/robot0_eef_quat Тензор (4,) float64 Ориентация конечного эффектора
шаги/наблюдение/robot0_eef_vel_ang Тензор (3,) float64 Угловая скорость рабочего органа
шаги/наблюдение/robot0_eef_vel_lin Тензор (3,) float64 Декартова скорость конечного эффектора
шаги/наблюдение/robot0_gripper_qpos Тензор (2,) float64 Положение захвата
шаги/наблюдение/robot0_gripper_qvel Тензор (2,) float64 Скорость захвата
шаги/наблюдение/robot0_joint_pos Тензор (7,) float64 7DOF совместные позиции
шаги/наблюдение/robot0_joint_pos_cos Тензор (7,) float64
шаги/наблюдение/robot0_joint_pos_sin Тензор (7,) float64
шаги/наблюдение/robot0_joint_vel Тензор (7,) float64 7DOF совместные скорости
шаги/награда Тензор float64
шаги/состояния Тензор (32,) float64

robomimic_mg/can_mg_image

  • Размер загрузки : 47.14 GiB

  • Размер набора данных : 11.15 GiB

  • Автокэширование ( документация ): Нет

  • Расколы :

Расколоть Примеры
'train' 3900
  • Структура функции :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Функциональная документация :
Особенность Сорт Форма Дтип Описание
ВозможностиDict
id_эпизода Тензор нить
горизонт Тензор int32
шаги Набор данных
шаги/действия Тензор (7,) float64
шаги/скидка Тензор int32
шаги/is_first Тензор логическое значение
шаги/is_last Тензор логическое значение
шаги/is_terminal Тензор логическое значение
шаги/наблюдение ВозможностиDict
шаги/наблюдение/agentview_image Изображение (84, 84, 3) uint8
шаги/наблюдение/объект Тензор (14,) float64
шаги/наблюдение/robot0_eef_pos Тензор (3,) float64 Положение рабочего органа
шаги/наблюдение/robot0_eef_quat Тензор (4,) float64 Ориентация конечного эффектора
шаги/наблюдение/robot0_eef_vel_ang Тензор (3,) float64 Угловая скорость рабочего органа
шаги/наблюдение/robot0_eef_vel_lin Тензор (3,) float64 Декартова скорость конечного эффектора
шаги/наблюдение/robot0_eye_in_hand_image Изображение (84, 84, 3) uint8
шаги/наблюдение/robot0_gripper_qpos Тензор (2,) float64 Положение захвата
шаги/наблюдение/robot0_gripper_qvel Тензор (2,) float64 Скорость захвата
шаги/наблюдение/robot0_joint_pos Тензор (7,) float64 7DOF совместные позиции
шаги/наблюдение/robot0_joint_pos_cos Тензор (7,) float64
шаги/наблюдение/robot0_joint_pos_sin Тензор (7,) float64
шаги/наблюдение/robot0_joint_vel Тензор (7,) float64 7DOF совместные скорости
шаги/награда Тензор float64
шаги/состояния Тензор (71,) float64

robomimic_mg/can_mg_low_dim

  • Размер загрузки : 1.01 GiB

  • Размер набора данных : 697.71 MiB

  • Автокэширование ( документация ): Нет

  • Расколы :

Расколоть Примеры
'train' 3900
  • Структура функции :
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Функциональная документация :
Особенность Сорт Форма Дтип Описание
ВозможностиDict
id_эпизода Тензор нить
горизонт Тензор int32
шаги Набор данных
шаги/действия Тензор (7,) float64
шаги/скидка Тензор int32
шаги/is_first Тензор логическое значение
шаги/is_last Тензор логическое значение
шаги/is_terminal Тензор логическое значение
шаги/наблюдение ВозможностиDict
шаги/наблюдение/объект Тензор (14,) float64
шаги/наблюдение/robot0_eef_pos Тензор (3,) float64 Положение рабочего органа
шаги/наблюдение/robot0_eef_quat Тензор (4,) float64 Ориентация конечного эффектора
шаги/наблюдение/robot0_eef_vel_ang Тензор (3,) float64 Угловая скорость рабочего органа
шаги/наблюдение/robot0_eef_vel_lin Тензор (3,) float64 Декартова скорость конечного эффектора
шаги/наблюдение/robot0_gripper_qpos Тензор (2,) float64 Положение захвата
шаги/наблюдение/robot0_gripper_qvel Тензор (2,) float64 Скорость захвата
шаги/наблюдение/robot0_joint_pos Тензор (7,) float64 7DOF совместные позиции
шаги/наблюдение/robot0_joint_pos_cos Тензор (7,) float64
шаги/наблюдение/robot0_joint_pos_sin Тензор (7,) float64
шаги/наблюдение/robot0_joint_vel Тензор (7,) float64 7DOF совместные скорости
шаги/награда Тензор float64
шаги/состояния Тензор (71,) float64