taco_play

  • Sự miêu tả :

Cánh tay Franka tương tác với nhà bếp

Tách ra Ví dụ
'test' 361
'train' 3.242
  • Cấu trúc tính năng : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Tài liệu tính năng :
Tính năng Lớp học Hình dạng loại D Sự miêu tả
Tính năngDict
bước Tập dữ liệu
bước/hành động Tính năngDict
bước/hành động/hành động Tenxơ (7,) phao32 giá trị mong muốn tuyệt đối cho tư thế tay kẹp (6 chiều đầu tiên là x, y, z, yaw, pitch, roll), chiều cuối cùng là open_gripper (-1 là tay nắm mở, 1 là đóng)
bước/hành động/rel_actions_gripper Tenxơ (7,) phao32 các hành động tương đối cho tư thế tay kẹp trong khung camera của tay kẹp (6 chiều đầu tiên là x, y, z, yaw, pitch, roll), chiều cuối cùng là open_gripper (-1 là tay nắm mở, 1 là đóng)
bước/hành động/rel_actions_world Tenxơ (7,) phao32 các hành động tương đối cho tư thế kẹp trong khung đế robot (6 chiều đầu tiên là x, y, z, yaw, pitch, roll), chiều cuối cùng là open_gripper (-1 là kẹp mở, 1 là đóng)
bước/hành động/chấm dứt_episode Tenxơ phao32
bước/là_đầu tiên Tenxơ bool
bước/is_last Tenxơ bool
bước/is_terminal Tenxơ bool
bước/quan sát Tính năngDict
bước/quan sát/độ sâu_gripper Tenxơ (84, 84) phao32
bước/quan sát/độ sâu_static Tenxơ (150, 200) phao32
các bước/quan sát/tự nhiên_ngôn ngữ_embedding Tenxơ (512,) phao32
các bước/quan sát/tự nhiên_ngôn ngữ_hướng dẫn Tenxơ sợi dây Hướng dẫn ngôn ngữ tự nhiên là hướng dẫn ngôn ngữ tự nhiên được lấy mẫu ngẫu nhiên dựa trên các từ đồng nghĩa nhiệm vụ tiềm năng bắt nguồn từ nhiệm vụ ngôn ngữ có cấu trúc. Ví dụ: 'tắt đèn xanh' có thể ánh xạ thành 'tắt đèn màu xanh lam'.
bước/quan sát/rgb_gripper Hình ảnh (84, 84, 3) uint8
bước/quan sát/rgb_static Hình ảnh (150, 200, 3) uint8 Hình ảnh tĩnh RGB của hình dạng. (150, 200, 3). Lấy mẫu từ hình ảnh (200.200, 3).
bước/quan sát/robot_obs Tenxơ (15,) phao32 Vị trí EE (3), hướng EE theo góc euler (3), chiều rộng kẹp (1), vị trí khớp (7), hành động kẹp (1)
các bước/quan sát/cấu trúc_ngôn ngữ_instruction Tenxơ sợi dây Một trong 25 hướng dẫn ngôn ngữ có cấu trúc có thể có, xem danh sách tại https://arxiv.org/pdf/2210.01911.pdf Bảng 2.
bước/phần thưởng vô hướng phao32
  • Trích dẫn : 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}