cmu_play_fusion

  • विवरण :

रोबोट 3 जटिल दृश्यों के साथ खेलता है: एक ग्रिल जिसमें खाना पकाने की कई वस्तुएं जैसे टोस्टर, पैन आदि होती हैं। इसे चुनना, खोलना, रखना, बंद करना होता है। इसमें टेबल सेट करना, प्लेट, कप, बर्तन हिलाना होता है। और इसमें सिंक, डिशवॉशर, हैंड कप आदि में बर्तन रखने होते हैं।

विभाजित करना उदाहरण
'train' 576
  • फ़ीचर संरचना :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32, description=Robot action, consists of [7x delta eef (pos + quat), 1x gripper open/close (binary), 1x terminate episode].),
        'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(128, 128, 3), dtype=uint8, description=Main camera RGB observation.),
            'state': Tensor(shape=(8,), dtype=float32, description=Robot state, consists of [7x robot joint angles, 1x gripper position.),
        }),
        'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
एपिसोड_मेटाडेटा फीचर्सडिक्ट
एपिसोड_मेटाडेटा/फ़ाइल_पथ मूलपाठ डोरी मूल डेटा फ़ाइल का पथ.
कदम डेटासेट
कदम/कार्रवाई टेन्सर (9,) फ्लोट32 रोबोट एक्शन में [7x डेल्टा ईफ़ (पॉज़ + क्वाट), 1x ग्रिपर ओपन/क्लोज़ (बाइनरी), 1x टर्मिनेट एपिसोड] शामिल है।
कदम/छूट अदिश फ्लोट32 यदि छूट प्रदान की गई है, तो डिफ़ॉल्ट 1 है।
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
चरण/भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32 कोना भाषा एम्बेडिंग. https://tfhub.dev/google/universal-sentence-encoder-large/5 देखें
चरण/भाषा_निर्देश मूलपाठ डोरी भाषा निर्देश.
चरण/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/छवि छवि (128, 128, 3) uint8 मुख्य कैमरा आरजीबी अवलोकन।
चरण/अवलोकन/स्थिति टेन्सर (8,) फ्लोट32 रोबोट स्थिति में [7x रोबोट संयुक्त कोण, 1x ग्रिपर स्थिति शामिल है।
कदम/इनाम अदिश फ्लोट32 यदि प्रदान किया गया तो इनाम, डेमो के लिए अंतिम चरण पर 1।
  • उद्धरण :
@inproceedings{chen2023playfusion,
  title={PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play},
  author={Chen, Lili and Bahl, Shikhar and Pathak, Deepak},
  booktitle={CoRL},
  year={2023}
}