cmu_play_fusion

• Description :

Le robot joue avec 3 scènes complexes : un grill avec de nombreux objets de cuisson comme un grille-pain, une poêle, etc. Il doit saisir, ouvrir, placer, fermer. Il doit dresser une table, déplacer des assiettes, des tasses, des ustensiles. Et il faut placer la vaisselle dans l'évier, le lave-vaisselle, les gobelets, etc.

• Page d'accueil : https://play-fusion.github.io/

• Code source : tfds.robotics.rtx.CmuPlayFusion

• Versions :

  • 0.1.0 (par défaut) : version initiale.

• Taille du téléchargement : Unknown size

• Taille de l'ensemble de données : 6.68 GiB

• Mise en cache automatique ( documentation ) : Non

• Divisions :

• Structure des fonctionnalités :

FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32, description=Robot action, consists of [7x delta eef (pos + quat), 1x gripper open/close (binary), 1x terminate episode].),
        'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(128, 128, 3), dtype=uint8, description=Main camera RGB observation.),
            'state': Tensor(shape=(8,), dtype=float32, description=Robot state, consists of [7x robot joint angles, 1x gripper position.),
        }),
        'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
    }),
})

• Documentation des fonctionnalités :

• Clés supervisées (Voir doc as_supervised ) : None

• Figure ( tfds.show_examples ) : non pris en charge.

• Exemples ( tfds.as_dataframe ) :

• Citation :

@inproceedings{chen2023playfusion,
  title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play},
  author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak},
  booktitle={CoRL},
  year={2023}
}