- Описание :
Наборы данных, сгенерированные машиной Robomimic, были собраны с использованием агента Soft Actor Critic, обученного с плотным вознаграждением. Каждый набор данных состоит из буфера воспроизведения агента.
У каждой задачи есть две версии: одна с низкоразмерными наблюдениями ( low_dim
) и одна с изображениями ( image
).
Наборы данных соответствуют формату RLDS для представления шагов и эпизодов.
Домашняя страница : https://arise-initiative.github.io/robomimic-web/
Исходный код :
tfds.datasets.robomimic_mg.Builder
.Версии :
-
1.0.0
(по умолчанию): первоначальный выпуск.
-
Контролируемые ключи (см. документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ): Отсутствуют.
Цитата :
@inproceedings{robomimic2021,
title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
booktitle={Conference on Robot Learning},
year={2021}
}
robomimic_mg/lift_mg_image (конфигурация по умолчанию)
Размер загрузки :
18.04 GiB
Размер набора данных :
2.73 GiB
Автокэширование ( документация ): Нет
Расколы :
Расколоть | Примеры |
---|---|
'train' | 1500 |
- Структура функции :
FeaturesDict({
'episode_id': string,
'horizon': int32,
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float64),
'discount': int32,
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
'object': Tensor(shape=(10,), dtype=float64),
'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
}),
'reward': float64,
'states': Tensor(shape=(32,), dtype=float64),
}),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
id_эпизода | Тензор | нить | ||
горизонт | Тензор | int32 | ||
шаги | Набор данных | |||
шаги/действия | Тензор | (7,) | float64 | |
шаги/скидка | Тензор | int32 | ||
шаги/is_first | Тензор | логическое значение | ||
шаги/is_last | Тензор | логическое значение | ||
шаги/is_terminal | Тензор | логическое значение | ||
шаги/наблюдение | ВозможностиDict | |||
шаги/наблюдение/agentview_image | Изображение | (84, 84, 3) | uint8 | |
шаги/наблюдение/объект | Тензор | (10,) | float64 | |
шаги/наблюдение/robot0_eef_pos | Тензор | (3,) | float64 | Положение рабочего органа |
шаги/наблюдение/robot0_eef_quat | Тензор | (4,) | float64 | Ориентация конечного эффектора |
шаги/наблюдение/robot0_eef_vel_ang | Тензор | (3,) | float64 | Угловая скорость рабочего органа |
шаги/наблюдение/robot0_eef_vel_lin | Тензор | (3,) | float64 | Декартова скорость конечного эффектора |
шаги/наблюдение/robot0_eye_in_hand_image | Изображение | (84, 84, 3) | uint8 | |
шаги/наблюдение/robot0_gripper_qpos | Тензор | (2,) | float64 | Положение захвата |
шаги/наблюдение/robot0_gripper_qvel | Тензор | (2,) | float64 | Скорость захвата |
шаги/наблюдение/robot0_joint_pos | Тензор | (7,) | float64 | 7DOF совместные позиции |
шаги/наблюдение/robot0_joint_pos_cos | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_pos_sin | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_vel | Тензор | (7,) | float64 | 7DOF совместные скорости |
шаги/награда | Тензор | float64 | ||
шаги/состояния | Тензор | (32,) | float64 |
robomimic_mg/lift_mg_low_dim
Размер загрузки :
302.25 MiB
Размер набора данных :
195.10 MiB
Автоматическое кэширование ( документация ): только если
shuffle_files=False
(поезд)Расколы :
Расколоть | Примеры |
---|---|
'train' | 1500 |
- Структура функции :
FeaturesDict({
'episode_id': string,
'horizon': int32,
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float64),
'discount': int32,
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'object': Tensor(shape=(10,), dtype=float64),
'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
}),
'reward': float64,
'states': Tensor(shape=(32,), dtype=float64),
}),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
id_эпизода | Тензор | нить | ||
горизонт | Тензор | int32 | ||
шаги | Набор данных | |||
шаги/действия | Тензор | (7,) | float64 | |
шаги/скидка | Тензор | int32 | ||
шаги/is_first | Тензор | логическое значение | ||
шаги/is_last | Тензор | логическое значение | ||
шаги/is_terminal | Тензор | логическое значение | ||
шаги/наблюдение | ВозможностиDict | |||
шаги/наблюдение/объект | Тензор | (10,) | float64 | |
шаги/наблюдение/robot0_eef_pos | Тензор | (3,) | float64 | Положение рабочего органа |
шаги/наблюдение/robot0_eef_quat | Тензор | (4,) | float64 | Ориентация конечного эффектора |
шаги/наблюдение/robot0_eef_vel_ang | Тензор | (3,) | float64 | Угловая скорость рабочего органа |
шаги/наблюдение/robot0_eef_vel_lin | Тензор | (3,) | float64 | Декартова скорость конечного эффектора |
шаги/наблюдение/robot0_gripper_qpos | Тензор | (2,) | float64 | Положение захвата |
шаги/наблюдение/robot0_gripper_qvel | Тензор | (2,) | float64 | Скорость захвата |
шаги/наблюдение/robot0_joint_pos | Тензор | (7,) | float64 | 7DOF совместные позиции |
шаги/наблюдение/robot0_joint_pos_cos | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_pos_sin | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_vel | Тензор | (7,) | float64 | 7DOF совместные скорости |
шаги/награда | Тензор | float64 | ||
шаги/состояния | Тензор | (32,) | float64 |
robomimic_mg/can_mg_image
Размер загрузки :
47.14 GiB
Размер набора данных :
11.15 GiB
Автокэширование ( документация ): Нет
Расколы :
Расколоть | Примеры |
---|---|
'train' | 3900 |
- Структура функции :
FeaturesDict({
'episode_id': string,
'horizon': int32,
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float64),
'discount': int32,
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
'object': Tensor(shape=(14,), dtype=float64),
'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
}),
'reward': float64,
'states': Tensor(shape=(71,), dtype=float64),
}),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
id_эпизода | Тензор | нить | ||
горизонт | Тензор | int32 | ||
шаги | Набор данных | |||
шаги/действия | Тензор | (7,) | float64 | |
шаги/скидка | Тензор | int32 | ||
шаги/is_first | Тензор | логическое значение | ||
шаги/is_last | Тензор | логическое значение | ||
шаги/is_terminal | Тензор | логическое значение | ||
шаги/наблюдение | ВозможностиDict | |||
шаги/наблюдение/agentview_image | Изображение | (84, 84, 3) | uint8 | |
шаги/наблюдение/объект | Тензор | (14,) | float64 | |
шаги/наблюдение/robot0_eef_pos | Тензор | (3,) | float64 | Положение рабочего органа |
шаги/наблюдение/robot0_eef_quat | Тензор | (4,) | float64 | Ориентация конечного эффектора |
шаги/наблюдение/robot0_eef_vel_ang | Тензор | (3,) | float64 | Угловая скорость рабочего органа |
шаги/наблюдение/robot0_eef_vel_lin | Тензор | (3,) | float64 | Декартова скорость конечного эффектора |
шаги/наблюдение/robot0_eye_in_hand_image | Изображение | (84, 84, 3) | uint8 | |
шаги/наблюдение/robot0_gripper_qpos | Тензор | (2,) | float64 | Положение захвата |
шаги/наблюдение/robot0_gripper_qvel | Тензор | (2,) | float64 | Скорость захвата |
шаги/наблюдение/robot0_joint_pos | Тензор | (7,) | float64 | 7DOF совместные позиции |
шаги/наблюдение/robot0_joint_pos_cos | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_pos_sin | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_vel | Тензор | (7,) | float64 | 7DOF совместные скорости |
шаги/награда | Тензор | float64 | ||
шаги/состояния | Тензор | (71,) | float64 |
robomimic_mg/can_mg_low_dim
Размер загрузки :
1.01 GiB
Размер набора данных :
697.71 MiB
Автокэширование ( документация ): Нет
Расколы :
Расколоть | Примеры |
---|---|
'train' | 3900 |
- Структура функции :
FeaturesDict({
'episode_id': string,
'horizon': int32,
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float64),
'discount': int32,
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'object': Tensor(shape=(14,), dtype=float64),
'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
}),
'reward': float64,
'states': Tensor(shape=(71,), dtype=float64),
}),
})
- Функциональная документация :
Особенность | Сорт | Форма | Дтип | Описание |
---|---|---|---|---|
ВозможностиDict | ||||
id_эпизода | Тензор | нить | ||
горизонт | Тензор | int32 | ||
шаги | Набор данных | |||
шаги/действия | Тензор | (7,) | float64 | |
шаги/скидка | Тензор | int32 | ||
шаги/is_first | Тензор | логическое значение | ||
шаги/is_last | Тензор | логическое значение | ||
шаги/is_terminal | Тензор | логическое значение | ||
шаги/наблюдение | ВозможностиDict | |||
шаги/наблюдение/объект | Тензор | (14,) | float64 | |
шаги/наблюдение/robot0_eef_pos | Тензор | (3,) | float64 | Положение рабочего органа |
шаги/наблюдение/robot0_eef_quat | Тензор | (4,) | float64 | Ориентация конечного эффектора |
шаги/наблюдение/robot0_eef_vel_ang | Тензор | (3,) | float64 | Угловая скорость рабочего органа |
шаги/наблюдение/robot0_eef_vel_lin | Тензор | (3,) | float64 | Декартова скорость конечного эффектора |
шаги/наблюдение/robot0_gripper_qpos | Тензор | (2,) | float64 | Положение захвата |
шаги/наблюдение/robot0_gripper_qvel | Тензор | (2,) | float64 | Скорость захвата |
шаги/наблюдение/robot0_joint_pos | Тензор | (7,) | float64 | 7DOF совместные позиции |
шаги/наблюдение/robot0_joint_pos_cos | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_pos_sin | Тензор | (7,) | float64 | |
шаги/наблюдение/robot0_joint_vel | Тензор | (7,) | float64 | 7DOF совместные скорости |
шаги/награда | Тензор | float64 | ||
шаги/состояния | Тензор | (71,) | float64 |