taco_play

  • وصف :

ذراع فرانكا تتفاعل مع المطبخ

ينقسم أمثلة
'test' 361
'train' 3,242
  • هيكل الميزة :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • وثائق الميزة :
ميزة فصل شكل نوع D وصف
المميزاتDict
خطوات مجموعة البيانات
الخطوات/الإجراء المميزاتDict
الخطوات/الإجراء/الإجراءات الموتر (7،) float32 القيم المطلقة المطلوبة لوضعية القابض (الأبعاد الستة الأولى هي x، y، z، الانعراج، الملعب، اللفة)، البعد الأخير هو open_gripper (-1 هو القابض المفتوح، 1 قريب)
الخطوات/الإجراء/rel_actions_gripper الموتر (7،) float32 الإجراءات النسبية لوضعية القابض في إطار كاميرا القابض (الأبعاد الستة الأولى هي x، y، z، ياو، خطوة، لفة)، البعد الأخير هو open_gripper (-1 هو القابض المفتوح، 1 قريب)
الخطوات/الإجراء/rel_actions_world الموتر (7،) float32 الإجراءات النسبية لوضعية القابض في إطار قاعدة الروبوت (الأبعاد الستة الأولى هي x، y، z، ياو، ميل، لفة)، البعد الأخير هو open_gripper (-1 هو القابض المفتوح، 1 قريب)
الخطوات/الإجراء/terminate_episode الموتر float32
الخطوات/is_first الموتر منطقي
الخطوات/is_last الموتر منطقي
الخطوات/is_terminal الموتر منطقي
الخطوات/الملاحظة المميزاتDict
الخطوات/الملاحظة/عمق_غريبر الموتر (84، 84) float32
الخطوات/الملاحظة/العمق_ثابت الموتر (150، 200) float32
الخطوات/الملاحظة/natural_language_embedding الموتر (512،) float32
الخطوات/الملاحظة/natural_language_instruction الموتر خيط تعليم اللغة الطبيعية هو تعليم لغة طبيعية يتم أخذ عينات منه بشكل عشوائي بناءً على مرادفات المهام المحتملة المستمدة من مهمة اللغة المنظمة. على سبيل المثال، قد يتم تعيين "إيقاف تشغيل الضوء الأزرق" على "إيقاف تشغيل الضوء الأزرق".
الخطوات/الملاحظة/rgb_gripper صورة (84، 84، 3) uint8
الخطوات/الملاحظة/rgb_static صورة (150، 200، 3) uint8 صورة ثابتة RGB للشكل. (150، 200، 3). عينة فرعية من (200200، 3) صورة.
الخطوات/الملاحظة/robot_obs الموتر (15،) float32 موضع EE (3)، اتجاه EE في زوايا أويلر (3)، عرض القابض (1)، مواضع المفصل (7)، عمل القابض (1)
الخطوات/الملاحظة/structured_language_instruction الموتر خيط واحدة من 25 تعليمات لغة منظمة محتملة، انظر القائمة في https://arxiv.org/pdf/2210.01911.pdf الجدول 2.
خطوات/مكافأة العددية float32
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}