taco_play

  • תיאור :

זרוע פרנקה באינטראקציה עם המטבח

לְפַצֵל דוגמאות
'test' 361
'train' 3,242
  • מבנה תכונה :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • תיעוד תכונה :
תכונה מַחלָקָה צוּרָה Dtype תֵאוּר
FeaturesDict
צעדים מערך נתונים
צעדים/פעולה FeaturesDict
צעדים/פעולה/פעולות מוֹתֵחַ (7,) לצוף32 ערכים מוחלטים רצויים עבור תנוחת האוחז (6 הממדים הראשונים הם x, y, z, yaw, גובה, גלגול), הממד האחרון הוא open_gripper (-1 הוא תפס פתוח, 1 הוא קרוב)
steps/action/rel_actions_gripper מוֹתֵחַ (7,) לצוף32 פעולות יחסיות עבור תנוחת האוחז במסגרת מצלמת התפסן (6 הממדים הראשונים הם x, y, z, yaw, pitch, roll), הממד האחרון הוא open_gripper (-1 הוא תפס פתוח, 1 הוא קרוב)
steps/action/rel_actions_world מוֹתֵחַ (7,) לצוף32 פעולות יחסיות עבור תנוחת האוחז במסגרת בסיס הרובוט (6 הממדים הראשונים הם x, y, z, yaw, pitch, roll), הממד האחרון הוא open_gripper (-1 הוא תפס פתוח, 1 הוא קרוב)
steps/action/terminate_episode מוֹתֵחַ לצוף32
צעדים/הוא_ראשון מוֹתֵחַ bool
צעדים/הוא_אחרון מוֹתֵחַ bool
steps/is_terminal מוֹתֵחַ bool
צעדים/תצפית FeaturesDict
צעדים/תצפית/תופס_עומק מוֹתֵחַ (84, 84) לצוף32
צעדים/תצפית/עומק_סטטי מוֹתֵחַ (150, 200) לצוף32
צעדים/תצפית/טבעת_שפה_טבעית מוֹתֵחַ (512,) לצוף32
שלבים/התבוננות/הוראת_שפה_טבעית מוֹתֵחַ חוּט הוראת שפה טבעית היא הוראה בשפה טבעית שנדגמה באקראי על סמך מילים נרדפות פוטנציאליות של משימות שנגזרות ממשימת השפה המובנית. לדוגמה, 'כבה את האור הכחול' עשוי למפות כדי 'לכבות את האור הצבע הכחול'.
צעדים/תצפית/rgb_gripper תְמוּנָה (84, 84, 3) uint8
צעדים/תצפית/rgb_static תְמוּנָה (150, 200, 3) uint8 תמונה סטטית RGB של צורה. (150, 200, 3). דגימת משנה מתמונה (200,200, 3).
צעדים/תצפית/רובוטים מוֹתֵחַ (15,) לצוף32 מיקום EE (3), כיוון EE בזוויות אוילר (3), רוחב האחיזה (1), עמדות המפרק (7), פעולת האחיזה (1)
שלבים/תצפית/הוראת_שפה_מובנית מוֹתֵחַ חוּט אחת מ-25 הוראות שפה מובנות אפשריות, ראה רשימה ב- https://arxiv.org/pdf/2210.01911.pdf טבלה 2.
צעדים/פרס סקלר לצוף32
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}