taco_play

  • विवरण :

फ़्रैंका बांह रसोई के साथ बातचीत कर रही है

विभाजित करना उदाहरण
'test' 361
'train' 3,242
  • फ़ीचर संरचना :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
कदम डेटासेट
कदम/कार्रवाई फीचर्सडिक्ट
कदम/कार्रवाई/कार्रवाई टेन्सर (7,) फ्लोट32 ग्रिपर मुद्रा के लिए पूर्ण वांछित मान (पहले 6 आयाम x, y, z, yaw, पिच, रोल हैं), अंतिम आयाम open_gripper है (-1 खुला ग्रिपर है, 1 बंद है)
चरण/कार्रवाई/rel_actions_gripper टेन्सर (7,) फ्लोट32 ग्रिपर कैमरा फ़्रेम में ग्रिपर पोज़ के लिए सापेक्ष क्रियाएं (पहले 6 आयाम x, y, z, yaw, पिच, रोल हैं), अंतिम आयाम open_gripper है (-1 खुला ग्रिपर है, 1 बंद है)
चरण/कार्रवाई/rel_actions_world टेन्सर (7,) फ्लोट32 रोबोट बेस फ्रेम में ग्रिपर पोज़ के लिए सापेक्ष क्रियाएं (पहले 6 आयाम x, y, z, yaw, पिच, रोल हैं), अंतिम आयाम open_gripper है (-1 खुला ग्रिपर है, 1 बंद है)
चरण/कार्रवाई/समाप्त_एपिसोड टेन्सर फ्लोट32
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
कदम/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/गहराई_ग्रिपर टेन्सर (84, 84) फ्लोट32
चरण/अवलोकन/गहराई_स्थैतिक टेन्सर (150, 200) फ्लोट32
चरण/अवलोकन/प्राकृतिक_भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32
चरण/अवलोकन/प्राकृतिक_भाषा_निर्देश टेन्सर डोरी प्राकृतिक भाषा निर्देश एक प्राकृतिक भाषा निर्देश है जिसे संरचित भाषा कार्य से प्राप्त संभावित कार्य पर्यायवाची शब्दों के आधार पर यादृच्छिक रूप से नमूना किया जाता है। उदाहरण के लिए, 'नीली लाइट बंद करें' को 'नीले रंग की लाइट बंद करने' के लिए मैप किया जा सकता है।
चरण/अवलोकन/rgb_gripper छवि (84, 84, 3) uint8
चरण/अवलोकन/rgb_static छवि (150, 200, 3) uint8 आकार की RGB स्थिर छवि. (150, 200, 3). (200,200, 3) छवि से उपनमूना लिया गया।
चरण/अवलोकन/robot_obs टेन्सर (15,) फ्लोट32 ईई स्थिति (3), यूलर कोणों में ईई अभिविन्यास (3), ग्रिपर चौड़ाई (1), संयुक्त स्थिति (7), ग्रिपर क्रिया (1)
चरण/अवलोकन/संरचित_भाषा_निर्देश टेन्सर डोरी 25 संभावित संरचित भाषा निर्देशों में से एक, https://arxiv.org/pdf/2210.01911.pdf तालिका 2 में सूची देखें।
कदम/इनाम अदिश फ्लोट32
  • पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

  • चित्र ( tfds.show_examples ): समर्थित नहीं है।

  • उदाहरण ( tfds.as_dataframe ): गुम है।

  • उद्धरण :

@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}