cmu_play_fusion

  • Keterangan :

Robot bermain dengan 3 adegan kompleks: pemanggang dengan banyak objek memasak seperti pemanggang roti, wajan, dll. Ia harus memilih, membuka, menempatkan, menutup. Ia harus menata meja, memindahkan piring, cangkir, perkakas. Dan itu harus meletakkan piring di wastafel, mesin pencuci piring, cangkir tangan, dll.

Membelah Contoh
'train' 576
  • Struktur fitur :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32, description=Robot action, consists of [7x delta eef (pos + quat), 1x gripper open/close (binary), 1x terminate episode].),
        'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(128, 128, 3), dtype=uint8, description=Main camera RGB observation.),
            'state': Tensor(shape=(8,), dtype=float32, description=Robot state, consists of [7x robot joint angles, 1x gripper position.),
        }),
        'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
episode_metadata FiturDict
episode_metadata/file_path Teks rangkaian Jalur ke file data asli.
tangga Kumpulan data
langkah/tindakan Tensor (9,) float32 Aksi robot, terdiri dari [7x delta eef (pos + quat), 1x gripper buka/tutup (biner), 1x episode penghentian].
langkah/diskon Skalar float32 Diskon jika disediakan, defaultnya adalah 1.
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/bahasa_penyematan Tensor (512,) float32 Penyematan bahasa Kona. Lihat https://tfhub.dev/google/universal-sentence-encoder-large/5
langkah/bahasa_instruksi Teks rangkaian Instruksi Bahasa.
langkah/pengamatan FiturDict
langkah/pengamatan/gambar Gambar (128, 128, 3) uint8 Pengamatan RGB kamera utama.
langkah/pengamatan/keadaan Tensor (8,) float32 Keadaan robot, terdiri dari [7x sudut sambungan robot, 1x posisi gripper.
langkah/hadiah Skalar float32 Hadiah jika diberikan, 1 pada langkah terakhir untuk demo.
  • Kutipan :
@inproceedings{chen2023playfusion,
  title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play},
  author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak},
  booktitle={CoRL},
  year={2023}
}