robomimic_mg

Opis :

Zbiory danych wygenerowane przez maszynę Robomimic zebrano przy użyciu agenta Soft Actor Critic przeszkolonego z gęstą nagrodą. Każdy zestaw danych składa się z bufora odtwarzania agenta.

Każde zadanie ma dwie wersje: jedną z obserwacjami niskowymiarowymi ( low_dim ) i drugą z obrazami ( image ).

Zbiory danych są zgodne z formatem RLDS i reprezentują kroki i odcinki.

Strona główna : https://arise-initiative.github.io/robomimic-web/
Kod źródłowy : tfds.datasets.robomimic_mg.Builder
Wersje :
- 1.0.0 (domyślnie): Wersja pierwsza.
Klucze nadzorowane (zobacz dokument as_supervised ): None
Rysunek ( tfds.show_examples ): Nieobsługiwany.
Cytat :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (konfiguracja domyślna)

Rozmiar pobierania : 18.04 GiB
Rozmiar zbioru danych : 2.73 GiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :

Podział	Przykłady
`'train'`	1500

Struktura funkcji :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D	Opis
	FunkcjeDykt
identyfikator odcinka	Napinacz		smyczkowy
horyzont	Napinacz		int32
kroki	Zbiór danych
kroki/akcja	Napinacz	(7,)	pływak64
kroki/rabat	Napinacz		int32
kroki/jest_pierwszy	Napinacz		bool
kroki/jest_ostatni	Napinacz		bool
kroki/is_terminal	Napinacz		bool
kroki/obserwacje	FunkcjeDykt
kroki/obserwacja/obraz_agentview	Obraz	(84, 84, 3)	uint8
kroki/obserwacja/obiekt	Napinacz	(10,)	pływak64
kroki/obserwacja/robot0_eef_pos	Napinacz	(3,)	pływak64	Pozycja efektora końcowego
kroki/obserwacja/robot0_eef_quat	Napinacz	(4,)	pływak64	Orientacja efektora końcowego
kroki/obserwacja/robot0_eef_vel_ang	Napinacz	(3,)	pływak64	Prędkość kątowa efektora końcowego
kroki/obserwacja/robot0_eef_vel_lin	Napinacz	(3,)	pływak64	Prędkość kartezjańska efektora końcowego
kroki/obserwacja/obraz0_oko_robota_w_ręce_robota	Obraz	(84, 84, 3)	uint8
kroki/obserwacja/robot0_gripper_qpos	Napinacz	(2,)	pływak64	Pozycja chwytaka
kroki/obserwacja/robot0_gripper_qvel	Napinacz	(2,)	pływak64	Prędkość chwytaka
kroki/obserwacja/robot0_joint_pos	Napinacz	(7,)	pływak64	Wspólne stanowiska 7DOF
kroki/obserwacja/robot0_joint_pos_cos	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_pos_sin	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_vel	Napinacz	(7,)	pływak64	Prędkości wspólne 7DOF
kroki/nagroda	Napinacz		pływak64
kroki/stany	Napinacz	(32,)	pływak64

Przykłady ( tfds.as_dataframe ):

robomimic_mg/lift_mg_low_dim

Rozmiar pobierania : 302.25 MiB
Rozmiar zbioru danych : 195.10 MiB
Automatyczne buforowanie ( dokumentacja ): Tylko wtedy, gdy shuffle_files=False (pociąg)
Podziały :

Podział	Przykłady
`'train'`	1500

Struktura funkcji :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D	Opis
	FunkcjeDykt
identyfikator odcinka	Napinacz		smyczkowy
horyzont	Napinacz		int32
kroki	Zbiór danych
kroki/akcja	Napinacz	(7,)	pływak64
kroki/rabat	Napinacz		int32
kroki/jest_pierwszy	Napinacz		bool
kroki/jest_ostatni	Napinacz		bool
kroki/is_terminal	Napinacz		bool
kroki/obserwacje	FunkcjeDykt
kroki/obserwacja/obiekt	Napinacz	(10,)	pływak64
kroki/obserwacja/robot0_eef_pos	Napinacz	(3,)	pływak64	Pozycja efektora końcowego
kroki/obserwacja/robot0_eef_quat	Napinacz	(4,)	pływak64	Orientacja efektora końcowego
kroki/obserwacja/robot0_eef_vel_ang	Napinacz	(3,)	pływak64	Prędkość kątowa efektora końcowego
kroki/obserwacja/robot0_eef_vel_lin	Napinacz	(3,)	pływak64	Prędkość kartezjańska efektora końcowego
kroki/obserwacja/robot0_gripper_qpos	Napinacz	(2,)	pływak64	Pozycja chwytaka
kroki/obserwacja/robot0_gripper_qvel	Napinacz	(2,)	pływak64	Prędkość chwytaka
kroki/obserwacja/robot0_joint_pos	Napinacz	(7,)	pływak64	Wspólne stanowiska 7DOF
kroki/obserwacja/robot0_joint_pos_cos	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_pos_sin	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_vel	Napinacz	(7,)	pływak64	Prędkości wspólne 7DOF
kroki/nagroda	Napinacz		pływak64
kroki/stany	Napinacz	(32,)	pływak64

Przykłady ( tfds.as_dataframe ):

robomimic_mg/can_mg_image

Rozmiar pobierania : 47.14 GiB
Rozmiar zbioru danych : 11.15 GiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :

Podział	Przykłady
`'train'`	3900

Struktura funkcji :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D	Opis
	FunkcjeDykt
identyfikator odcinka	Napinacz		smyczkowy
horyzont	Napinacz		int32
kroki	Zbiór danych
kroki/akcja	Napinacz	(7,)	pływak64
kroki/rabat	Napinacz		int32
kroki/jest_pierwszy	Napinacz		bool
kroki/jest_ostatni	Napinacz		bool
kroki/is_terminal	Napinacz		bool
kroki/obserwacje	FunkcjeDykt
kroki/obserwacja/obraz_agentview	Obraz	(84, 84, 3)	uint8
kroki/obserwacja/obiekt	Napinacz	(14,)	pływak64
kroki/obserwacja/robot0_eef_pos	Napinacz	(3,)	pływak64	Pozycja efektora końcowego
kroki/obserwacja/robot0_eef_quat	Napinacz	(4,)	pływak64	Orientacja efektora końcowego
kroki/obserwacja/robot0_eef_vel_ang	Napinacz	(3,)	pływak64	Prędkość kątowa efektora końcowego
kroki/obserwacja/robot0_eef_vel_lin	Napinacz	(3,)	pływak64	Prędkość kartezjańska efektora końcowego
kroki/obserwacja/obraz0_oko_robota_w_ręce_robota	Obraz	(84, 84, 3)	uint8
kroki/obserwacja/robot0_gripper_qpos	Napinacz	(2,)	pływak64	Pozycja chwytaka
kroki/obserwacja/robot0_gripper_qvel	Napinacz	(2,)	pływak64	Prędkość chwytaka
kroki/obserwacja/robot0_joint_pos	Napinacz	(7,)	pływak64	Wspólne stanowiska 7DOF
kroki/obserwacja/robot0_joint_pos_cos	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_pos_sin	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_vel	Napinacz	(7,)	pływak64	Prędkości wspólne 7DOF
kroki/nagroda	Napinacz		pływak64
kroki/stany	Napinacz	(71,)	pływak64

Przykłady ( tfds.as_dataframe ):

robomimic_mg/can_mg_low_dim

Rozmiar pobierania : 1.01 GiB
Rozmiar zbioru danych : 697.71 MiB
Automatyczne buforowanie ( dokumentacja ): Nie
Podziały :

Podział	Przykłady
`'train'`	3900

Struktura funkcji :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Dokumentacja funkcji :

Funkcja	Klasa	Kształt	Typ D	Opis
	FunkcjeDykt
identyfikator odcinka	Napinacz		smyczkowy
horyzont	Napinacz		int32
kroki	Zbiór danych
kroki/akcja	Napinacz	(7,)	pływak64
kroki/rabat	Napinacz		int32
kroki/jest_pierwszy	Napinacz		bool
kroki/jest_ostatni	Napinacz		bool
kroki/is_terminal	Napinacz		bool
kroki/obserwacje	FunkcjeDykt
kroki/obserwacja/obiekt	Napinacz	(14,)	pływak64
kroki/obserwacja/robot0_eef_pos	Napinacz	(3,)	pływak64	Pozycja efektora końcowego
kroki/obserwacja/robot0_eef_quat	Napinacz	(4,)	pływak64	Orientacja efektora końcowego
kroki/obserwacja/robot0_eef_vel_ang	Napinacz	(3,)	pływak64	Prędkość kątowa efektora końcowego
kroki/obserwacja/robot0_eef_vel_lin	Napinacz	(3,)	pływak64	Prędkość kartezjańska efektora końcowego
kroki/obserwacja/robot0_gripper_qpos	Napinacz	(2,)	pływak64	Pozycja chwytaka
kroki/obserwacja/robot0_gripper_qvel	Napinacz	(2,)	pływak64	Prędkość chwytaka
kroki/obserwacja/robot0_joint_pos	Napinacz	(7,)	pływak64	Wspólne stanowiska 7DOF
kroki/obserwacja/robot0_joint_pos_cos	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_pos_sin	Napinacz	(7,)	pływak64
kroki/obserwacja/robot0_joint_vel	Napinacz	(7,)	pływak64	Prędkości wspólne 7DOF
kroki/nagroda	Napinacz		pływak64
kroki/stany	Napinacz	(71,)	pływak64

Przykłady ( tfds.as_dataframe ):