- Descrizione :
Braccio Franka interagente con la cucina
Pagina iniziale : https://www.kaggle.com/datasets/oiermees/taco-robot
Codice sorgente :
tfds.robotics.rtx.TacoPlay
Versioni :
-
0.1.0
(predefinito): versione iniziale.
-
Dimensioni del download :
Unknown size
Dimensione del set di dati :
47.77 GiB
Memorizzazione nella cache automatica ( documentazione ): No
Divide :
Diviso | Esempi |
---|---|
'test' | 361 |
'train' | 3.242 |
- Struttura delle caratteristiche :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Documentazione delle funzionalità :
Caratteristica | Classe | Forma | Tipo D | Descrizione |
---|---|---|---|---|
CaratteristicheDict | ||||
passi | Set di dati | |||
passi/azione | CaratteristicheDict | |||
passi/azione/azioni | Tensore | (7,) | float32 | valori desiderati assoluti per la posa della pinza (le prime 6 dimensioni sono x, y, z, imbardata, beccheggio, rollio), l'ultima dimensione è open_gripper (-1 è la pinza aperta, 1 è chiusa) |
passi/azione/rel_actions_gripper | Tensore | (7,) | float32 | azioni relative per la posa della pinza nell'inquadratura della fotocamera della pinza (le prime 6 dimensioni sono x, y, z, imbardata, beccheggio, rollio), l'ultima dimensione è open_gripper (-1 è la pinza aperta, 1 è chiusa) |
passi/azione/rel_actions_world | Tensore | (7,) | float32 | azioni relative per la posa della pinza nel telaio di base del robot (le prime 6 dimensioni sono x, y, z, imbardata, beccheggio, rollio), l'ultima dimensione è open_gripper (-1 è pinza aperta, 1 è chiusa) |
passaggi/azione/termina_episodio | Tensore | float32 | ||
passi/è_primo | Tensore | bool | ||
passi/è_ultimo | Tensore | bool | ||
passi/è_terminale | Tensore | bool | ||
passi/osservazione | CaratteristicheDict | |||
passi/osservazione/profondità_gripper | Tensore | (84, 84) | float32 | |
passi/osservazione/profondità_statica | Tensore | (150, 200) | float32 | |
passaggi/osservazione/incorporamento_linguaggio_naturale | Tensore | (512,) | float32 | |
passi/osservazione/istruzione_linguaggio_naturale | Tensore | corda | L'insegnamento del linguaggio naturale è un insegnamento del linguaggio naturale campionato casualmente sulla base di potenziali sinonimi del compito derivati dal compito del linguaggio strutturato. Ad esempio, "spegni la luce blu" può corrispondere a "spegnere la luce di colore blu". | |
passi/osservazione/rgb_gripper | Immagine | (84, 84, 3) | uint8 | |
passi/osservazione/rgb_static | Immagine | (150, 200, 3) | uint8 | Immagine statica RGB della forma. (150, 200, 3). Sottocampionato dall'immagine (200,200, 3). |
passi/osservazione/robot_obs | Tensore | (15,) | float32 | Posizione EE (3), orientamento EE negli angoli di Eulero (3), larghezza della pinza (1), posizioni dei giunti (7), azione della pinza (1) |
passi/osservazione/istruzione_linguaggio_strutturato | Tensore | corda | Una delle 25 possibili istruzioni in linguaggio strutturato, vedere l'elenco in https://arxiv.org/pdf/2210.01911.pdf Tabella 2. | |
passi/ricompensa | Scalare | float32 |
Chiavi supervisionate (vedi il documento
as_supervised
):None
Figura ( tfds.show_examples ): non supportato.
Esempi ( tfds.as_dataframe ): Mancante.
Citazione :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}