bc_z

  • תיאור :

רובוט מרופד של גוגל עושה בעיקר בחירת מקום משולחן

לְפַצֵל דוגמאות
'train' 39,350
'val' 3,914
  • מבנה תכונה :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'future/axis_angle_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the rotation. Each action is a 3D delta to add to the current axis angle.),
            'future/target_close': Tensor(shape=(10,), dtype=int64, description=The next 10 actions for the gripper. Each action is the value the gripper closure should be changed to (notably it is *not* a delta.)),
            'future/xyz_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the positions. Each action is a 3D delta to add to current position.),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'episode_success': float32,
            'image': Image(shape=(171, 213, 3), dtype=uint8, description=Camera image of the robot, downsampled 3x),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32, description=An embedding of the task via Universal Sentence Encoder (https://tfhub.dev/google/universal-sentence-encoder/4)),
            'natural_language_instruction': string,
            'present/autonomous': int64,
            'present/axis_angle': Tensor(shape=(3,), dtype=float32, description=The current rotation of the end effector in axis-angle representation.),
            'present/intervention': int64,
            'present/sensed_close': Tensor(shape=(1,), dtype=float32, description=How much the gripper is currently closed. Scaled from 0 to 1, but not all values from 0 to 1 are reachable. The range in the data is about 0.2 to 1),
            'present/xyz': Tensor(shape=(3,), dtype=float32, description=The current position of the end effector in axis-angle representation, in robot frame),
            'sequence_length': int64,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • תיעוד תכונה :
תכונה מַחלָקָה צוּרָה Dtype תֵאוּר
FeaturesDict
צעדים מערך נתונים
צעדים/פעולה FeaturesDict
צעדים/פעולה/עתיד/שארית_זווית_ציר מוֹתֵחַ (30,) לצוף32 10 הפעולות הבאות לסבב. כל פעולה היא דלתא תלת מימדית להוסיף לזווית הציר הנוכחית.
צעדים/פעולה/עתיד/מטרה_סגור מוֹתֵחַ (10,) int64 10 הפעולות הבאות עבור התפסן. כל פעולה היא הערך שאליו יש לשנות את סגירת האוחז (בעיקר שהיא לא דלתא).
steps/action/future/xyz_residual מוֹתֵחַ (30,) לצוף32 10 הפעולות הבאות עבור העמדות. כל פעולה היא דלתא תלת מימדית להוספה למיקום הנוכחי.
צעדים/הוא_ראשון מוֹתֵחַ bool
צעדים/הוא_אחרון מוֹתֵחַ bool
steps/is_terminal מוֹתֵחַ bool
צעדים/תצפית FeaturesDict
צעדים/תצפית/הצלחת_פרק מוֹתֵחַ לצוף32 תווית הצלחה 0-1
צעדים/תצפית/תמונה תְמוּנָה (171, 213, 3) uint8 תמונת מצלמה של הרובוט, דגימה קטנה פי 3
צעדים/התבוננות/הטבעה_טבעית מוֹתֵחַ (512,) לצוף32 הטבעה של המשימה באמצעות מקודד משפטים אוניברסלי ( https://tfhub.dev/google/universal-sentence-encoder/4 )
שלבים/התבוננות/הוראת_שפה_טבעית מוֹתֵחַ חוּט המשימה שהרובוט התבקש לעשות.
צעדים/תצפית/הווה/אוטונומי מוֹתֵחַ int64 פרקים נאספים באמצעות DAgger. זוהי תווית 0/1 אם הפעולה היא מהמדיניות או מהטלאופרטור. 1 = מפוליסה.
צעדים/תצפית/הווה/זווית_ציר מוֹתֵחַ (3,) לצוף32 הסיבוב הנוכחי של אפקטור הקצה בייצוג זווית ציר.
צעדים/התבוננות/הווה/התערבות מוֹתֵחַ int64 פרקים נאספים באמצעות DAgger. זוהי תווית 0/1 אם הפעולה היא מהמדיניות או מהטלאופרטור. 1 = מטלאופרטור. זה בדיוק ההפך מהווה/אוטונומי
צעדים/התבוננות/הווה/חושש_סגור מוֹתֵחַ (1,) לצוף32 כמה האוחז סגור כרגע. קנה מידה מ-0 ל-1, אך לא ניתן להגיע לכל הערכים מ-0 עד 1. הטווח בנתונים הוא בערך 0.2 עד 1
צעדים/תצפית/הווה/xyz מוֹתֵחַ (3,) לצוף32 המיקום הנוכחי של אפקטור הקצה בייצוג זווית ציר, במסגרת רובוט
צעדים/תצפית/אורך_רצף מוֹתֵחַ int64 אורך הפרק
צעדים/פרס סקלר לצוף32
  • ציטוט :
@inproceedings{jang2021bc,
title={ {BC}-Z: Zero-Shot Task Generalization with Robotic Imitation Learning},
author={Eric Jang and Alex Irpan and Mohi Khansari and Daniel Kappler and Frederik Ebert and Corey Lynch and Sergey Levine and Chelsea Finn},
booktitle={5th Annual Conference on Robot Learning},
year={2021},
url={https://openreview.net/forum?id=8kbp23tSGYv} }