- Descripción :
Brazo de Franka interactuando con la cocina.
Página de inicio : https://www.kaggle.com/datasets/oiermees/taco-robot
Código fuente :
tfds.robotics.rtx.TacoPlay
Versiones :
-
0.1.0
(predeterminado): versión inicial.
-
Tamaño de descarga :
Unknown size
Tamaño del conjunto de datos :
47.77 GiB
Almacenamiento en caché automático ( documentación ): No
Divisiones :
Dividir | Ejemplos |
---|---|
'test' | 361 |
'train' | 3.242 |
- Estructura de características :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Documentación de funciones :
Característica | Clase | Forma | tipo D | Descripción |
---|---|---|---|---|
FuncionesDict | ||||
pasos | Conjunto de datos | |||
pasos/acción | FuncionesDict | |||
pasos/acción/acciones | Tensor | (7,) | flotador32 | valores absolutos deseados para la postura de la pinza (las primeras 6 dimensiones son x, y, z, guiñada, cabeceo, balanceo), la última dimensión es open_gripper (-1 es pinza abierta, 1 es cerrada) |
pasos/acción/rel_actions_gripper | Tensor | (7,) | flotador32 | acciones relativas para la pose de la pinza en el marco de la cámara de la pinza (las primeras 6 dimensiones son x, y, z, guiñada, cabeceo, balanceo), la última dimensión es open_gripper (-1 es la pinza abierta, 1 está cerrada) |
pasos/acción/rel_actions_world | Tensor | (7,) | flotador32 | acciones relativas para la postura de la pinza en el marco base del robot (las primeras 6 dimensiones son x, y, z, guiñada, cabeceo, balanceo), la última dimensión es open_gripper (-1 es la pinza abierta, 1 es cerrada) |
pasos/acción/terminar_episodio | Tensor | flotador32 | ||
pasos/es_primero | Tensor | booleano | ||
pasos/es_último | Tensor | booleano | ||
pasos/es_terminal | Tensor | booleano | ||
pasos/observación | FuncionesDict | |||
pasos/observación/profundidad_gripper | Tensor | (84, 84) | flotador32 | |
pasos/observación/profundidad_estática | Tensor | (150, 200) | flotador32 | |
pasos/observación/incrustación_lenguaje_natural | Tensor | (512,) | flotador32 | |
pasos/observación/instrucción_lenguaje_natural | Tensor | cadena | La instrucción en lenguaje natural es una instrucción en lenguaje natural muestreada aleatoriamente en función de posibles sinónimos de tareas derivados de la tarea de lenguaje estructurado. Por ejemplo, "apagar la luz azul" puede corresponder a "apagar la luz de color azul". | |
pasos/observación/rgb_gripper | Imagen | (84, 84, 3) | uint8 | |
pasos/observación/rgb_static | Imagen | (150, 200, 3) | uint8 | Imagen estática RGB de forma. (150, 200, 3). Submuestreado de la imagen (200,200, 3). |
pasos/observación/robot_obs | Tensor | (15,) | flotador32 | Posición EE (3), orientación EE en ángulos de Euler (3), ancho de la pinza (1), posiciones de las articulaciones (7), acción de la pinza (1) |
pasos/observación/instrucción_lenguaje_estructurado | Tensor | cadena | Una de las 25 posibles instrucciones en lenguaje estructurado; consulte la lista en https://arxiv.org/pdf/2210.01911.pdf Tabla 2. | |
pasos/recompensa | Escalar | flotador32 |
Claves supervisadas (ver documento
as_supervised
):None
Figura ( tfds.show_examples ): no compatible.
Ejemplos ( tfds.as_dataframe ): Falta.
Cita :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}