- Descrição :
Conjunto de dados real de 14 tarefas de manipulação de longo horizonte. Uma mistura de dados de jogo humano e dados de braço de robô único executando as mesmas tarefas.
Página inicial : https://mimic-play.github.io/
Código fonte :
tfds.robotics.rtx.MimicPlay
Versões :
-
0.1.0
(padrão): versão inicial.
-
Tamanho do download :
Unknown size
Tamanho do conjunto de dados :
7.14 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :
Dividir | Exemplos |
---|---|
'train' | 378 |
- Estrutura de recursos :
FeaturesDict({
'episode_metadata': FeaturesDict({
'file_path': string,
}),
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float32),
'discount': Scalar(shape=(), dtype=float32),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32),
'language_instruction': string,
'observation': FeaturesDict({
'image': FeaturesDict({
'front_image_1': Image(shape=(120, 120, 3), dtype=uint8),
'front_image_2': Image(shape=(120, 120, 3), dtype=uint8),
}),
'state': FeaturesDict({
'ee_pose': Tensor(shape=(7,), dtype=float32),
'gripper_position': float32,
'joint_positions': Tensor(shape=(7,), dtype=float32),
'joint_velocities': Tensor(shape=(7,), dtype=float32),
}),
'wrist_image': FeaturesDict({
'wrist_image': Image(shape=(120, 120, 3), dtype=uint8),
}),
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Documentação de recursos :
Recurso | Aula | Forma | Tipo D | Descrição |
---|---|---|---|---|
RecursosDict | ||||
episódio_metadados | RecursosDict | |||
episódio_metadados/caminho_do_arquivo | Tensor | corda | ||
passos | Conjunto de dados | |||
etapas/ação | Tensor | (7,) | float32 | |
passos/desconto | Escalar | float32 | ||
passos/é_primeiro | Tensor | bool | ||
passos/é_último | Tensor | bool | ||
etapas/is_terminal | Tensor | bool | ||
etapas/idioma_incorporação | Tensor | (512,) | float32 | |
etapas/instrução_idioma | Tensor | corda | ||
etapas/observação | RecursosDict | |||
passos/observação/imagem | RecursosDict | |||
etapas/observação/imagem/front_image_1 | Imagem | (120, 120, 3) | uint8 | |
etapas/observação/imagem/front_image_2 | Imagem | (120, 120, 3) | uint8 | |
etapas/observação/estado | RecursosDict | |||
passos/observação/estado/ee_pose | Tensor | (7,) | float32 | |
etapas/observação/estado/posição_da garra | Tensor | float32 | ||
etapas/observação/estado/posições_juntas | Tensor | (7,) | float32 | |
passos/observação/estado/velocidades_juntas | Tensor | (7,) | float32 | |
passos/observação/imagem_de_pulso | RecursosDict | |||
etapas/observação/imagem_de_pulso/imagem_de_pulso | Imagem | (120, 120, 3) | uint8 | |
passos/recompensa | Escalar | float32 |
Chaves supervisionadas (consulte o documento
as_supervised
):None
Figura ( tfds.show_examples ): Não suportado.
Exemplos ( tfds.as_dataframe ):
- Citação :
@article{wang2023mimicplay,title={Mimicplay: Long-horizon imitation learning by watching human play},author={Wang, Chen and Fan, Linxi and Sun, Jiankai and Zhang, Ruohan and Fei-Fei, Li and Xu, Danfei and Zhu, Yuke and Anandkumar, Anima},journal={arXiv preprint arXiv:2302.12422},year={2023} }