fmb

  • विवरण :

हमारे डेटासेट में विविध स्वरूप और ज्यामिति वाली वस्तुएं शामिल हैं। यादृच्छिक दृश्य में एक अनफ़िक्स्ड बोर्ड पर खूंटियों को सफलतापूर्वक जोड़ने के लिए मल्टी-स्टेज और मल्टी-मोडल ठीक मोटर कौशल की आवश्यकता होती है। हमने फ्रेंका पांडा भुजा पर दो अलग-अलग कार्यों में कुल 22,550 प्रक्षेप पथ एकत्र किए। हम 2 वैश्विक दृश्यों और 2 कलाई दृश्यों से प्रक्षेप पथ रिकॉर्ड करते हैं। प्रत्येक दृश्य में RGB और गहराई मानचित्र दोनों शामिल हैं।

विभाजित करना उदाहरण
'train' 1,804
  • फ़ीचर संरचना :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'episode_language_embedding': Tensor(shape=(512,), dtype=float32),
        'episode_language_instruction': string,
        'episode_task': string,
        'file_path': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32),
        'language_instruction': string,
        'observation': FeaturesDict({
            'color_id': Scalar(shape=(), dtype=uint8),
            'eef_force': Tensor(shape=(3,), dtype=float32),
            'eef_pose': Tensor(shape=(7,), dtype=float32),
            'eef_torque': Tensor(shape=(3,), dtype=float32),
            'eef_vel': Tensor(shape=(6,), dtype=float32),
            'image_side_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_side_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_side_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_1': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_1_depth': Tensor(shape=(256, 256), dtype=float32),
            'image_wrist_2': Image(shape=(256, 256, 3), dtype=uint8),
            'image_wrist_2_depth': Tensor(shape=(256, 256), dtype=float32),
            'joint_pos': Tensor(shape=(7,), dtype=float32),
            'joint_vel': Tensor(shape=(7,), dtype=float32),
            'length': string,
            'object_id': Scalar(shape=(), dtype=uint8),
            'primitive': string,
            'shape_id': Scalar(shape=(), dtype=uint8),
            'size': string,
            'state_gripper_pose': Scalar(shape=(), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
एपिसोड_मेटाडेटा फीचर्सडिक्ट
एपिसोड_मेटाडेटा/एपिसोड_भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32
एपिसोड_मेटाडेटा/एपिसोड_भाषा_निर्देश टेन्सर डोरी
एपिसोड_मेटाडेटा/एपिसोड_टास्क टेन्सर डोरी
एपिसोड_मेटाडेटा/फ़ाइल_पथ टेन्सर डोरी
कदम डेटासेट
कदम/कार्रवाई टेन्सर (7,) फ्लोट32
कदम/छूट अदिश फ्लोट32
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
चरण/भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32
चरण/भाषा_निर्देश टेन्सर डोरी
चरण/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/रंग_आईडी अदिश uint8
कदम/अवलोकन/eef_force टेन्सर (3,) फ्लोट32
चरण/अवलोकन/eef_pose टेन्सर (7,) फ्लोट32
चरण/अवलोकन/eef_torque टेन्सर (3,) फ्लोट32
चरण/अवलोकन/eef_vel टेन्सर (6,) फ्लोट32
चरण/अवलोकन/image_side_1 छवि (256, 256, 3) uint8
चरण/अवलोकन/छवि_साइड_1_गहराई टेन्सर (256, 256) फ्लोट32
चरण/अवलोकन/image_side_2 छवि (256, 256, 3) uint8
चरण/अवलोकन/छवि_साइड_2_गहराई टेन्सर (256, 256) फ्लोट32
चरण/अवलोकन/छवि_कलाई_1 छवि (256, 256, 3) uint8
चरण/अवलोकन/छवि_कलाई_1_गहराई टेन्सर (256, 256) फ्लोट32
चरण/अवलोकन/image_wrist_2 छवि (256, 256, 3) uint8
चरण/अवलोकन/छवि_कलाई_2_गहराई टेन्सर (256, 256) फ्लोट32
चरण/अवलोकन/joint_pos टेन्सर (7,) फ्लोट32
चरण/अवलोकन/joint_vel टेन्सर (7,) फ्लोट32
चरण/अवलोकन/लंबाई टेन्सर डोरी
चरण/अवलोकन/ऑब्जेक्ट_आईडी अदिश uint8
चरण/अवलोकन/आदिम टेन्सर डोरी
चरण/अवलोकन/आकार_आईडी अदिश uint8
चरण/अवलोकन/आकार टेन्सर डोरी
चरण/अवलोकन/state_gripper_pose अदिश फ्लोट32
कदम/इनाम अदिश फ्लोट32
  • उद्धरण :
https://doi.org/10.48550/arXiv.2401.08553