- Sự miêu tả :
Cánh tay Franka tương tác với nhà bếp
Trang chủ : https://www.kaggle.com/datasets/oiermees/taco-robot
Mã nguồn :
tfds.robotics.rtx.TacoPlay
Phiên bản :
-
0.1.0
(mặc định): Bản phát hành đầu tiên.
-
Kích thước tải xuống :
Unknown size
Kích thước tập dữ liệu :
47.77 GiB
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không
Chia tách :
Tách ra | Ví dụ |
---|---|
'test' | 361 |
'train' | 3.242 |
- Cấu trúc tính năng :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Tài liệu tính năng :
Tính năng | Lớp học | Hình dạng | loại D | Sự miêu tả |
---|---|---|---|---|
Tính năngDict | ||||
bước | Tập dữ liệu | |||
bước/hành động | Tính năngDict | |||
bước/hành động/hành động | Tenxơ | (7,) | phao32 | giá trị mong muốn tuyệt đối cho tư thế tay kẹp (6 chiều đầu tiên là x, y, z, yaw, pitch, roll), chiều cuối cùng là open_gripper (-1 là tay nắm mở, 1 là đóng) |
bước/hành động/rel_actions_gripper | Tenxơ | (7,) | phao32 | các hành động tương đối cho tư thế tay kẹp trong khung camera của tay kẹp (6 chiều đầu tiên là x, y, z, yaw, pitch, roll), chiều cuối cùng là open_gripper (-1 là tay nắm mở, 1 là đóng) |
bước/hành động/rel_actions_world | Tenxơ | (7,) | phao32 | các hành động tương đối cho tư thế kẹp trong khung đế robot (6 chiều đầu tiên là x, y, z, yaw, pitch, roll), chiều cuối cùng là open_gripper (-1 là kẹp mở, 1 là đóng) |
bước/hành động/chấm dứt_episode | Tenxơ | phao32 | ||
bước/là_đầu tiên | Tenxơ | bool | ||
bước/is_last | Tenxơ | bool | ||
bước/is_terminal | Tenxơ | bool | ||
bước/quan sát | Tính năngDict | |||
bước/quan sát/độ sâu_gripper | Tenxơ | (84, 84) | phao32 | |
bước/quan sát/độ sâu_static | Tenxơ | (150, 200) | phao32 | |
các bước/quan sát/tự nhiên_ngôn ngữ_embedding | Tenxơ | (512,) | phao32 | |
các bước/quan sát/tự nhiên_ngôn ngữ_hướng dẫn | Tenxơ | sợi dây | Hướng dẫn ngôn ngữ tự nhiên là hướng dẫn ngôn ngữ tự nhiên được lấy mẫu ngẫu nhiên dựa trên các từ đồng nghĩa nhiệm vụ tiềm năng bắt nguồn từ nhiệm vụ ngôn ngữ có cấu trúc. Ví dụ: 'tắt đèn xanh' có thể ánh xạ thành 'tắt đèn màu xanh lam'. | |
bước/quan sát/rgb_gripper | Hình ảnh | (84, 84, 3) | uint8 | |
bước/quan sát/rgb_static | Hình ảnh | (150, 200, 3) | uint8 | Hình ảnh tĩnh RGB của hình dạng. (150, 200, 3). Lấy mẫu từ hình ảnh (200.200, 3). |
bước/quan sát/robot_obs | Tenxơ | (15,) | phao32 | Vị trí EE (3), hướng EE theo góc euler (3), chiều rộng kẹp (1), vị trí khớp (7), hành động kẹp (1) |
các bước/quan sát/cấu trúc_ngôn ngữ_instruction | Tenxơ | sợi dây | Một trong 25 hướng dẫn ngôn ngữ có cấu trúc có thể có, xem danh sách tại https://arxiv.org/pdf/2210.01911.pdf Bảng 2. | |
bước/phần thưởng | vô hướng | phao32 |
Khóa được giám sát (Xem
as_supervised
doc ):None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ): Thiếu.
Trích dẫn :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}