- Descrição :
Braço de Franka interagindo com a cozinha
Página inicial : https://www.kaggle.com/datasets/oiermees/taco-robot
Código fonte :
tfds.robotics.rtx.TacoPlay
Versões :
-
0.1.0
(padrão): versão inicial.
-
Tamanho do download :
Unknown size
Tamanho do conjunto de dados :
47.77 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'test' | 361 |
'train' | 3.242 |
- Estrutura de recursos :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Documentação de recursos :
Recurso | Aula | Forma | Tipo D | Descrição |
---|---|---|---|---|
RecursosDict | ||||
passos | Conjunto de dados | |||
etapas/ação | RecursosDict | |||
passos/ação/ações | Tensor | (7,) | float32 | valores absolutos desejados para a pose da garra (as primeiras 6 dimensões são x, y, z, guinada, inclinação, rotação), a última dimensão é open_gripper (-1 é a garra aberta, 1 é fechada) |
etapas/ação/rel_actions_gripper | Tensor | (7,) | float32 | ações relativas para pose da garra no quadro da câmera da garra (as primeiras 6 dimensões são x, y, z, guinada, inclinação, rotação), a última dimensão é open_gripper (-1 é a garra aberta, 1 é fechada) |
etapas/ação/rel_actions_world | Tensor | (7,) | float32 | ações relativas para a posição da garra na estrutura base do robô (as primeiras 6 dimensões são x, y, z, guinada, inclinação, rotação), a última dimensão é open_gripper (-1 é a garra aberta, 1 é fechada) |
etapas/ação/terminar_episódio | Tensor | float32 | ||
passos/é_primeiro | Tensor | bool | ||
passos/é_último | Tensor | bool | ||
etapas/is_terminal | Tensor | bool | ||
passos/observação | RecursosDict | |||
passos/observação/profundidade_gripper | Tensor | (84, 84) | float32 | |
etapas/observação/profundidade_estática | Tensor | (150, 200) | float32 | |
etapas/observação/integração_de_linguagem_natural | Tensor | (512,) | float32 | |
etapas/observação/instrução_de_linguagem_natural | Tensor | corda | O ensino de linguagem natural é uma instrução de linguagem natural amostrada aleatoriamente com base em possíveis sinônimos de tarefa derivados da tarefa de linguagem estruturada. Por exemplo, 'desligar a luz azul' pode significar 'desligar a luz azul'. | |
etapas/observação/rgb_gripper | Imagem | (84, 84, 3) | uint8 | |
etapas/observação/rgb_static | Imagem | (150, 200, 3) | uint8 | Imagem estática RGB de forma. (150, 200, 3). Subamostrado da imagem (200.200, 3). |
etapas/observação/robot_obs | Tensor | (15,) | float32 | Posição EE (3), orientação EE em ângulos de Euler (3), largura da pinça (1), posições das juntas (7), ação da pinça (1) |
etapas/observação/instrução_de_linguagem_estruturada | Tensor | corda | Uma das 25 instruções de linguagem estruturadas possíveis, consulte a lista em https://arxiv.org/pdf/2210.01911.pdf Tabela 2. | |
passos/recompensa | Escalar | float32 |
Chaves supervisionadas (consulte o documento
as_supervised
):None
Figura ( tfds.show_examples ): Não suportado.
Exemplos ( tfds.as_dataframe ): Ausente.
Citação :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}