- תיאור :
זרוע פרנקה באינטראקציה עם המטבח
דף הבית : https://www.kaggle.com/datasets/oiermees/taco-robot
קוד מקור :
tfds.robotics.rtx.TacoPlay
גרסאות :
-
0.1.0
(ברירת מחדל): שחרור ראשוני.
-
גודל הורדה :
Unknown size
גודל ערכת נתונים :
47.77 GiB
שמירה אוטומטית במטמון ( תיעוד ): לא
פיצולים :
לְפַצֵל | דוגמאות |
---|---|
'test' | 361 |
'train' | 3,242 |
- מבנה תכונה :
FeaturesDict({
'steps': Dataset({
'action': FeaturesDict({
'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
'terminate_episode': float32,
}),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'observation': FeaturesDict({
'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
'depth_static': Tensor(shape=(150, 200), dtype=float32),
'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
'natural_language_instruction': string,
'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
'structured_language_instruction': string,
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- תיעוד תכונה :
תכונה | מַחלָקָה | צוּרָה | Dtype | תֵאוּר |
---|---|---|---|---|
FeaturesDict | ||||
צעדים | מערך נתונים | |||
צעדים/פעולה | FeaturesDict | |||
צעדים/פעולה/פעולות | מוֹתֵחַ | (7,) | לצוף32 | ערכים מוחלטים רצויים עבור תנוחת האוחז (6 הממדים הראשונים הם x, y, z, yaw, גובה, גלגול), הממד האחרון הוא open_gripper (-1 הוא תפס פתוח, 1 הוא קרוב) |
steps/action/rel_actions_gripper | מוֹתֵחַ | (7,) | לצוף32 | פעולות יחסיות עבור תנוחת האוחז במסגרת מצלמת התפסן (6 הממדים הראשונים הם x, y, z, yaw, pitch, roll), הממד האחרון הוא open_gripper (-1 הוא תפס פתוח, 1 הוא קרוב) |
steps/action/rel_actions_world | מוֹתֵחַ | (7,) | לצוף32 | פעולות יחסיות עבור תנוחת האוחז במסגרת בסיס הרובוט (6 הממדים הראשונים הם x, y, z, yaw, pitch, roll), הממד האחרון הוא open_gripper (-1 הוא תפס פתוח, 1 הוא קרוב) |
steps/action/terminate_episode | מוֹתֵחַ | לצוף32 | ||
צעדים/הוא_ראשון | מוֹתֵחַ | bool | ||
צעדים/הוא_אחרון | מוֹתֵחַ | bool | ||
steps/is_terminal | מוֹתֵחַ | bool | ||
צעדים/תצפית | FeaturesDict | |||
צעדים/תצפית/תופס_עומק | מוֹתֵחַ | (84, 84) | לצוף32 | |
צעדים/תצפית/עומק_סטטי | מוֹתֵחַ | (150, 200) | לצוף32 | |
צעדים/תצפית/טבעת_שפה_טבעית | מוֹתֵחַ | (512,) | לצוף32 | |
שלבים/התבוננות/הוראת_שפה_טבעית | מוֹתֵחַ | חוּט | הוראת שפה טבעית היא הוראה בשפה טבעית שנדגמה באקראי על סמך מילים נרדפות פוטנציאליות של משימות שנגזרות ממשימת השפה המובנית. לדוגמה, 'כבה את האור הכחול' עשוי למפות כדי 'לכבות את האור הצבע הכחול'. | |
צעדים/תצפית/rgb_gripper | תְמוּנָה | (84, 84, 3) | uint8 | |
צעדים/תצפית/rgb_static | תְמוּנָה | (150, 200, 3) | uint8 | תמונה סטטית RGB של צורה. (150, 200, 3). דגימת משנה מתמונה (200,200, 3). |
צעדים/תצפית/רובוטים | מוֹתֵחַ | (15,) | לצוף32 | מיקום EE (3), כיוון EE בזוויות אוילר (3), רוחב האחיזה (1), עמדות המפרק (7), פעולת האחיזה (1) |
שלבים/תצפית/הוראת_שפה_מובנית | מוֹתֵחַ | חוּט | אחת מ-25 הוראות שפה מובנות אפשריות, ראה רשימה ב- https://arxiv.org/pdf/2210.01911.pdf טבלה 2. | |
צעדים/פרס | סקלר | לצוף32 |
מפתחות בפיקוח (ראה
as_supervised
doc ):None
איור ( tfds.show_examples ): לא נתמך.
דוגמאות ( tfds.as_dataframe ): חסר.
ציטוט :
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding Language with Visual Affordances over Unstructured Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}