फ्रैक्टल20220817_डेटा

  • विवरण :

17 वस्तुओं के साथ टेबल-टॉप हेरफेर

विभाजित करना उदाहरण
'train' 87,212
  • फ़ीचर संरचना :
FeaturesDict({
    'aspects': FeaturesDict({
        'already_success': bool,
        'feasible': bool,
        'has_aspects': bool,
        'success': bool,
        'undesirable': bool,
    }),
    'attributes': FeaturesDict({
        'collection_mode': int64,
        'collection_mode_name': string,
        'data_type': int64,
        'data_type_name': string,
        'env': int64,
        'env_name': string,
        'location': int64,
        'location_name': string,
        'objects_family': int64,
        'objects_family_name': string,
        'task_family': int64,
        'task_family_name': string,
    }),
    'steps': Dataset({
        'action': FeaturesDict({
            'base_displacement_vector': Tensor(shape=(2,), dtype=float32),
            'base_displacement_vertical_rotation': Tensor(shape=(1,), dtype=float32),
            'gripper_closedness_action': Tensor(shape=(1,), dtype=float32, description=continuous gripper position),
            'rotation_delta': Tensor(shape=(3,), dtype=float32, description=rpy commanded orientation displacement, in base-relative frame),
            'terminate_episode': Tensor(shape=(3,), dtype=int32),
            'world_vector': Tensor(shape=(3,), dtype=float32, description=commanded end-effector displacement, in base-relative frame),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'base_pose_tool_reached': Tensor(shape=(7,), dtype=float32, description=end-effector base-relative position+quaternion pose),
            'gripper_closed': Tensor(shape=(1,), dtype=float32),
            'gripper_closedness_commanded': Tensor(shape=(1,), dtype=float32, description=continuous gripper position),
            'height_to_bottom': Tensor(shape=(1,), dtype=float32, description=height of end-effector from ground),
            'image': Image(shape=(256, 320, 3), dtype=uint8),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'orientation_box': Tensor(shape=(2, 3), dtype=float32),
            'orientation_start': Tensor(shape=(4,), dtype=float32),
            'robot_orientation_positions_box': Tensor(shape=(3, 3), dtype=float32),
            'rotation_delta_to_go': Tensor(shape=(3,), dtype=float32, description=rotational displacement from current orientation to target),
            'src_rotation': Tensor(shape=(4,), dtype=float32),
            'vector_to_go': Tensor(shape=(3,), dtype=float32, description=displacement from current end-effector position to target),
            'workspace_bounds': Tensor(shape=(3, 3), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
पहलू फीचर्सडिक्ट क्राउडकंप्यूट रेटिंग के लिए सत्र पहलू
पहलू/पहले से ही_सफलता टेन्सर बूल
पहलू/संभव टेन्सर बूल
पहलू/है_पहलू टेन्सर बूल
पहलू/सफलता टेन्सर बूल
पहलू/अवांछनीय टेन्सर बूल
गुण फीचर्सडिक्ट
विशेषताएँ/संग्रह_मोड टेन्सर int64
विशेषताएँ/संग्रह_मोड_नाम टेन्सर डोरी
विशेषताएँ/डेटा_प्रकार टेन्सर int64
विशेषताएँ/डेटा_प्रकार_नाम टेन्सर डोरी
विशेषताएँ/पर्यावरण टेन्सर int64
विशेषताएँ/env_name टेन्सर डोरी
गुण/स्थान टेन्सर int64
विशेषताएँ/स्थान_नाम टेन्सर डोरी
विशेषताएँ/वस्तु_परिवार टेन्सर int64
गुण/वस्तु_परिवार_नाम टेन्सर डोरी
विशेषताएँ/कार्य_परिवार टेन्सर int64
गुण/कार्य_परिवार_नाम टेन्सर डोरी
कदम डेटासेट
कदम/कार्रवाई फीचर्सडिक्ट
चरण/कार्रवाई/आधार_विस्थापन_वेक्टर टेन्सर (2,) फ्लोट32
चरण/कार्रवाई/आधार_विस्थापन_वर्टिकल_रोटेशन टेन्सर (1,) फ्लोट32
चरण/कार्रवाई/ग्रिपर_क्लोज्डनेस_एक्शन टेन्सर (1,) फ्लोट32 सतत ग्रिपर स्थिति
चरण/क्रिया/रोटेशन_डेल्टा टेन्सर (3,) फ्लोट32 बेस-रिलेटिव फ्रेम में आरपीवाई ने ओरिएंटेशन विस्थापन का आदेश दिया
चरण/कार्रवाई/समाप्त_एपिसोड टेन्सर (3,) int32
चरण/कार्रवाई/विश्व_वेक्टर टेन्सर (3,) फ्लोट32 आधार-सापेक्ष फ़्रेम में, अंतिम-प्रभावक विस्थापन का आदेश दिया गया
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
कदम/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/आधार_पोज़_टूल_पहुँचा टेन्सर (7,) फ्लोट32 अंत-प्रभावक आधार-सापेक्ष स्थिति+चतुर्थक मुद्रा
चरण/अवलोकन/ग्रिपर_बंद टेन्सर (1,) फ्लोट32
चरण/अवलोकन/ग्रिपर_क्लोज्डनेस_कमांड टेन्सर (1,) फ्लोट32 सतत ग्रिपर स्थिति
चरण/अवलोकन/ऊंचाई_से_नीचे टेन्सर (1,) फ्लोट32 जमीन से अंतिम-प्रभावक की ऊंचाई
चरण/अवलोकन/छवि छवि (256, 320, 3) uint8
चरण/अवलोकन/प्राकृतिक_भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32
चरण/अवलोकन/प्राकृतिक_भाषा_निर्देश टेन्सर डोरी
चरण/अवलोकन/अभिविन्यास_बॉक्स टेन्सर (2,3) फ्लोट32
चरण/अवलोकन/अभिविन्यास_प्रारंभ टेन्सर (4,) फ्लोट32
चरण/अवलोकन/रोबोट_अभिविन्यास_स्थिति_बॉक्स टेन्सर (3,3) फ्लोट32
चरण/अवलोकन/रोटेशन_डेल्टा_टू_गो टेन्सर (3,) फ्लोट32 वर्तमान अभिविन्यास से लक्ष्य तक घूर्णी विस्थापन
चरण/अवलोकन/src_rotation टेन्सर (4,) फ्लोट32
चरण/अवलोकन/वेक्टर_टू_गो टेन्सर (3,) फ्लोट32 वर्तमान अंतिम-प्रभावक स्थिति से लक्ष्य तक विस्थापन
चरण/अवलोकन/कार्यक्षेत्र_सीमाएँ टेन्सर (3,3) फ्लोट32
कदम/इनाम अदिश फ्लोट32
  • उद्धरण :
@article{brohan2022rt,
  title={Rt-1: Robotics transformer for real-world control at scale},
  author={Brohan, Anthony and Brown, Noah and Carbajal, Justice and Chebotar, Yevgen and Dabis, Joseph and Finn, Chelsea and Gopalakrishnan, Keerthana and Hausman, Karol and Herzog, Alex and Hsu, Jasmine and others},
  journal={arXiv preprint arXiv:2212.06817},
  year={2022}
}