- Description :
Bras Franka interagissant avec la cuisine
Page d'accueil : https://www.kaggle.com/datasets/oiermees/taco-robot
Code source :
tfds.robotics.rtx.TacoPlay
Versions :
-
0.1.0
(par défaut) : version initiale.
-
Taille du téléchargement :
Unknown size
Taille de l'ensemble de données :
47.77 GiB
Mise en cache automatique ( documentation ) : Non
Divisions :
Diviser | Exemples |
---|---|
'test' | 361 |
'train' | 3 242 |
- Structure des fonctionnalités :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Documentation des fonctionnalités :
Fonctionnalité | Classe | Forme | Type D | Description |
---|---|---|---|---|
FonctionnalitésDict | ||||
mesures | Ensemble de données | |||
étapes/actions | FonctionnalitésDict | |||
étapes/action/actions | Tenseur | (7,) | flotteur32 | valeurs absolues souhaitées pour la pose de la pince (les 6 premières dimensions sont x, y, z, lacet, tangage, roulis), la dernière dimension est open_gripper (-1 est une pince ouverte, 1 est fermée) |
étapes/action/rel_actions_gripper | Tenseur | (7,) | flotteur32 | actions relatives pour la pose de la pince dans le cadre de la caméra de la pince (les 6 premières dimensions sont x, y, z, lacet, tangage, roulis), la dernière dimension est open_gripper (-1 est la pince ouverte, 1 est fermée) |
étapes/action/rel_actions_world | Tenseur | (7,) | flotteur32 | actions relatives pour la pose de la pince dans le châssis de base du robot (les 6 premières dimensions sont x, y, z, lacet, tangage, roulis), la dernière dimension est open_gripper (-1 est une pince ouverte, 1 est fermée) |
étapes/action/terminate_episode | Tenseur | flotteur32 | ||
étapes/is_first | Tenseur | bouffon | ||
étapes/est_dernier | Tenseur | bouffon | ||
étapes/is_terminal | Tenseur | bouffon | ||
étapes/observation | FonctionnalitésDict | |||
étapes/observation/profondeur_gripper | Tenseur | (84, 84) | flotteur32 | |
étapes/observation/profondeur_statique | Tenseur | (150, 200) | flotteur32 | |
étapes/observation/natural_lingual_embedding | Tenseur | (512,) | flotteur32 | |
étapes/observation/instruction_langue_naturelle | Tenseur | chaîne | L'enseignement en langage naturel est un enseignement en langage naturel échantillonné de manière aléatoire sur la base de synonymes de tâches potentiels dérivés de la tâche en langage structuré. Par exemple, « éteindre la lumière bleue » peut correspondre à « éteindre la lumière bleue ». | |
étapes/observation/rgb_gripper | Image | (84, 84, 3) | uint8 | |
étapes/observation/rgb_static | Image | (150, 200, 3) | uint8 | Image statique RVB de la forme. (150, 200, 3). Sous-échantillonné à partir de l'image (200 200, 3). |
étapes/observation/robot_obs | Tenseur | (15,) | flotteur32 | Position EE (3), orientation EE dans les angles d'Euler (3), largeur de la pince (1), positions des articulations (7), action de la pince (1) |
étapes/observation/structured_langage_instruction | Tenseur | chaîne | Une des 25 instructions de langage structuré possibles, voir la liste dans https://arxiv.org/pdf/2210.01911.pdf Tableau 2. | |
étapes/récompense | Scalaire | flotteur32 |
Clés supervisées (Voir doc
as_supervised
) :None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) : manquant.
Citation :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}