- Description :
Franka explore les cuisines jouets
Page d'accueil : https://human-world-model.github.io/
Code source :
tfds.robotics.rtx.CmuFrankaExplorationDatasetConvertedExternallyToRlds
Versions :
-
0.1.0
(par défaut) : version initiale.
-
Taille du téléchargement :
Unknown size
Taille de l'ensemble de données :
602.24 MiB
Mise en cache automatique ( documentation ) : Non
Divisions :
Diviser | Exemples |
---|---|
'train' | 199 |
- Structure des fonctionnalités :
FeaturesDict({
'episode_metadata': FeaturesDict({
'file_path': Text(shape=(), dtype=string),
}),
'steps': Dataset({
'action': Tensor(shape=(8,), dtype=float32, description=Robot action, consists of [end effector position3x, end effector orientation3x, gripper action1x, episode termination1x].),
'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
'language_instruction': Text(shape=(), dtype=string),
'observation': FeaturesDict({
'highres_image': Image(shape=(480, 640, 3), dtype=uint8, description=High resolution main camera observation),
'image': Image(shape=(64, 64, 3), dtype=uint8, description=Main camera RGB observation.),
}),
'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
'structured_action': Tensor(shape=(8,), dtype=float32, description=Structured action, consisting of hybrid affordance and end-effector control, described in Structured World Models from Human Videos.),
}),
})
- Documentation des fonctionnalités :
Fonctionnalité | Classe | Forme | Type D | Description |
---|---|---|---|---|
FonctionnalitésDict | ||||
épisode_métadonnées | FonctionnalitésDict | |||
épisode_metadata/file_path | Texte | chaîne | Chemin d'accès au fichier de données d'origine. | |
mesures | Ensemble de données | |||
étapes/actions | Tenseur | (8,) | flotteur32 | L'action du robot comprend [position de l'effecteur final 3x, orientation de l'effecteur final 3x, action de préhension 1x, terminaison de l'épisode 1x]. |
étapes/remise | Scalaire | flotteur32 | Remise si fournie, par défaut à 1. | |
étapes/is_first | Tenseur | bouffon | ||
étapes/est_dernier | Tenseur | bouffon | ||
étapes/is_terminal | Tenseur | bouffon | ||
étapes/langue_embedding | Tenseur | (512,) | flotteur32 | Intégration du langage Kona. Voir https://tfhub.dev/google/universal-sentence-encoder-large/5 |
étapes/instruction_langue | Texte | chaîne | Enseignement des langues. | |
étapes/observation | FonctionnalitésDict | |||
étapes/observation/highres_image | Image | (480, 640, 3) | uint8 | Observation par caméra principale haute résolution |
étapes/observation/image | Image | (64, 64, 3) | uint8 | Observation RVB de la caméra principale. |
étapes/récompense | Scalaire | flotteur32 | Récompense si fournie, 1 à la dernière étape pour les démos. | |
étapes/action_structurée | Tenseur | (8,) | flotteur32 | Action structurée, composée d'affordance hybride et de contrôle des effecteurs finaux, décrite dans Modèles du monde structurés à partir de vidéos humaines. |
Clés supervisées (Voir doc
as_supervised
) :None
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ) :
- Citation :
@inproceedings{mendonca2023structured,
title={Structured World Models from Human Videos},
author={Mendonca, Russell and Bahl, Shikhar and Pathak, Deepak},
journal={RSS},
year={2023}
}