- คำอธิบาย :
แขนของ Franka โต้ตอบกับห้องครัว
หน้าแรก : https://www.kaggle.com/datasets/oiermees/taco-robot
ซอร์สโค้ด :
tfds.robotics.rtx.TacoPlay
รุ่น :
-
0.1.0
(ค่าเริ่มต้น): การเปิดตัวครั้งแรก
-
ขนาดการดาวน์โหลด :
Unknown size
ขนาดชุดข้อมูล :
47.77 GiB
แคชอัตโนมัติ ( เอกสาร ): No
แยก :
แยก | ตัวอย่าง |
---|---|
'test' | 361 |
'train' | 3,242 |
- โครงสร้างคุณสมบัติ :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- เอกสารคุณสมบัติ :
คุณสมบัติ | ระดับ | รูปร่าง | ประเภทD | คำอธิบาย |
---|---|---|---|---|
คุณสมบัติDict | ||||
ขั้นตอน | ชุดข้อมูล | |||
ขั้นตอน/การดำเนินการ | คุณสมบัติDict | |||
ขั้นตอน/การกระทำ/การกระทำ | เทนเซอร์ | (7,) | ลอย32 | ค่าที่ต้องการสัมบูรณ์สำหรับท่าทางของมือจับ (6 มิติแรกคือ x, y, z, การหัน, ระยะพิทช์, การหมุน) มิติสุดท้ายคือ open_gripper (-1 คือมือจับแบบเปิด, 1 คือปิด) |
ขั้นตอน/การกระทำ/rel_actions_gripper | เทนเซอร์ | (7,) | ลอย32 | การกระทำที่สัมพันธ์กันสำหรับท่าทางของกริปเปอร์ในกรอบกล้องของกริปเปอร์ (6 มิติแรกคือ x, y, z, yaw, pitch, ม้วน) มิติสุดท้ายคือ open_gripper (-1 คือกริปเปอร์แบบเปิด 1 คือปิด) |
ขั้นตอน/การกระทำ/rel_actions_world | เทนเซอร์ | (7,) | ลอย32 | การกระทำที่สัมพันธ์กันสำหรับท่าทางของมือจับในเฟรมฐานหุ่นยนต์ (6 มิติแรกคือ x, y, z, การหันเห, ระยะพิทช์, การหมุน), มิติสุดท้ายคือ open_gripper (-1 คือมือจับแบบเปิด, 1 คือปิด) |
ขั้นตอน/การกระทำ/terminate_episode | เทนเซอร์ | ลอย32 | ||
ขั้นตอน/is_first | เทนเซอร์ | บูล | ||
ขั้นตอน/is_last | เทนเซอร์ | บูล | ||
ขั้นตอน/is_terminal | เทนเซอร์ | บูล | ||
ขั้นตอน/การสังเกต | คุณสมบัติDict | |||
ขั้นตอน/การสังเกต/deep_gripper | เทนเซอร์ | (84, 84) | ลอย32 | |
ขั้นตอน/การสังเกต/deep_static | เทนเซอร์ | (150, 200) | ลอย32 | |
ขั้นตอน/การสังเกต/natural_Language_embedding | เทนเซอร์ | (512,) | ลอย32 | |
ขั้นตอน/การสังเกต/natural_Language_instruction | เทนเซอร์ | เชือก | การสอนภาษาธรรมชาติคือการสอนภาษาธรรมชาติที่สุ่มตัวอย่างตามคำพ้องความหมายของงานที่เป็นไปได้ซึ่งได้มาจากงานภาษาที่มีโครงสร้าง ตัวอย่างเช่น 'ปิดไฟสีฟ้า' อาจจับคู่เพื่อ 'เปลี่ยนไฟสีฟ้าเป็นปิด' | |
ขั้นตอน/การสังเกต/rgb_gripper | ภาพ | (84, 84, 3) | uint8 | |
ขั้นตอน/การสังเกต/rgb_static | ภาพ | (150, 200, 3) | uint8 | RGB ภาพนิ่งของรูปร่าง (150, 200, 3) สุ่มตัวอย่างจากรูปภาพ (200,200, 3) |
ขั้นตอน/การสังเกต/robot_obs | เทนเซอร์ | (15,) | ลอย32 | ตำแหน่ง EE (3), การวางแนว EE ในมุมออยเลอร์ (3), ความกว้างของมือจับ (1), ตำแหน่งข้อต่อ (7), การทำงานของมือจับ (1) |
ขั้นตอน/การสังเกต/โครงสร้าง_ภาษา_คำสั่ง | เทนเซอร์ | เชือก | คำแนะนำภาษาที่มีโครงสร้างที่เป็นไปได้หนึ่งใน 25 รายการ ดูรายการใน https://arxiv.org/pdf/2210.01911.pdf ตารางที่ 2 | |
ขั้นตอน/รางวัล | สเกลาร์ | ลอย32 |
คีย์ภายใต้การดูแล (ดู
as_supervised
doc ):None
รูปภาพ ( tfds.show_examples ): ไม่รองรับ
ตัวอย่าง ( tfds.as_dataframe ): หายไป
การอ้างอิง :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}