taco_play

  • Keterangan :

Lengan Franka berinteraksi dengan dapur

Membelah Contoh
'test' 361
'train' 3.242
  • Struktur fitur : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Dokumentasi fitur :
Fitur Kelas Membentuk Tipe D Keterangan
FiturDict
tangga Kumpulan data
langkah/tindakan FiturDict
langkah/tindakan/tindakan Tensor (7,) float32 nilai absolut yang diinginkan untuk pose gripper (6 dimensi pertama adalah x, y, z, yaw, pitch, roll), dimensi terakhir adalah open_gripper (-1 adalah gripper terbuka, 1 adalah close)
langkah/aksi/rel_actions_gripper Tensor (7,) float32 tindakan relatif untuk pose gripper dalam bingkai kamera gripper (6 dimensi pertama adalah x, y, z, yaw, pitch, roll), dimensi terakhir adalah open_gripper (-1 adalah gripper terbuka, 1 adalah close)
langkah/tindakan/rel_actions_world Tensor (7,) float32 tindakan relatif untuk pose gripper pada rangka dasar robot (6 dimensi pertama adalah x, y, z, yaw, pitch, roll), dimensi terakhir adalah open_gripper (-1 adalah gripper terbuka, 1 adalah close)
langkah/tindakan/terminate_episode Tensor float32
langkah/adalah_pertama Tensor bodoh
langkah/adalah_terakhir Tensor bodoh
langkah/is_terminal Tensor bodoh
langkah/pengamatan FiturDict
langkah/pengamatan/kedalaman_gripper Tensor (84, 84) float32
langkah/pengamatan/kedalaman_statis Tensor (150, 200) float32
langkah/pengamatan/penyematan_bahasa_alami Tensor (512,) float32
langkah/pengamatan/instruksi_bahasa_alami Tensor rangkaian Pengajaran bahasa alami adalah pengajaran bahasa alami yang diambil sampelnya secara acak berdasarkan sinonim tugas potensial yang diperoleh dari tugas bahasa terstruktur. Misalnya, 'mematikan lampu biru' mungkin dipetakan menjadi 'mematikan lampu warna biru'.
langkah/pengamatan/rgb_gripper Gambar (84, 84, 3) uint8
langkah/pengamatan/rgb_static Gambar (150, 200, 3) uint8 Gambar bentuk statis RGB. (150, 200, 3). Disubsampel dari (200.200, 3) gambar.
langkah/pengamatan/robot_obs Tensor (15,) float32 Posisi EE (3), orientasi EE pada sudut euler (3), lebar gripper (1), posisi sambungan (7), aksi gripper (1)
langkah/pengamatan/instruksi_bahasa_terstruktur Tensor rangkaian Salah satu dari 25 kemungkinan instruksi bahasa terstruktur, lihat daftar di https://arxiv.org/pdf/2210.01911.pdf Tabel 2.
langkah/hadiah Skalar float32
  • Kutipan : 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}