काइस्ट_नॉनप्रिहेन्साइल_कन्वर्टेड_एक्सटर्नली_टू_आरएलडीएस

  • विवरण :

फ्रेंका अप्राप्य वस्तुओं में हेरफेर कर रहा है

विभाजित करना उदाहरण
'train' 201
  • फ़ीचर संरचना :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': Text(shape=(), dtype=string),
    }),
    'steps': Dataset({
        'action': Tensor(shape=(20,), dtype=float32, description=Robot action, consists of [3x end-effector position residual, 3x end-effector axis-angle residual, 7x robot joint k_p gain coefficient, 7x robot joint damping ratio coefficient].The action residuals are global, i.e. multiplied on theleft-hand side of the current end-effector state.),
        'discount': Scalar(shape=(), dtype=float32, description=Discount if provided, default to 1.),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_embedding': Tensor(shape=(512,), dtype=float32, description=Kona language embedding. See https://tfhub.dev/google/universal-sentence-encoder-large/5),
        'language_instruction': Text(shape=(), dtype=string),
        'observation': FeaturesDict({
            'image': Image(shape=(480, 640, 3), dtype=uint8, description=Main camera RGB observation.),
            'partial_pointcloud': Tensor(shape=(512, 3), dtype=float32, description=Partial pointcloud observation),
            'state': Tensor(shape=(21,), dtype=float32, description=Robot state, consists of [joint_states, end_effector_pose].Joint states are 14-dimensional, formatted in the order of [q_0, w_0, q_1, w_0, ...].In other words,  joint positions and velocities are interleaved.The end-effector pose is 7-dimensional, formatted in the order of [position, quaternion].The quaternion is formatted in (x,y,z,w) order. The end-effector pose references the tool frame, in the center of the two fingers of the gripper.),
        }),
        'reward': Scalar(shape=(), dtype=float32, description=Reward if provided, 1 on final step for demos.),
    }),
})
  • फ़ीचर दस्तावेज़ीकरण :
विशेषता कक्षा आकार डीप्रकार विवरण
फीचर्सडिक्ट
एपिसोड_मेटाडेटा फीचर्सडिक्ट
एपिसोड_मेटाडेटा/फ़ाइल_पथ मूलपाठ डोरी मूल डेटा फ़ाइल का पथ.
कदम डेटासेट
कदम/कार्रवाई टेन्सर (20,) फ्लोट32 रोबोट कार्रवाई में [3x अंत-प्रभावक स्थिति अवशिष्ट, 3x अंत-प्रभावक अक्ष-कोण अवशिष्ट, 7x रोबोट संयुक्त k_p लाभ गुणांक, 7x रोबोट संयुक्त अवमंदन अनुपात गुणांक] शामिल हैं। कार्रवाई के अवशेष वैश्विक हैं, यानी बाईं ओर गुणा किए गए हैं वर्तमान अंतिम-प्रभावक स्थिति का।
कदम/छूट अदिश फ्लोट32 यदि छूट प्रदान की गई है, तो डिफ़ॉल्ट 1 है।
चरण/पहला है टेन्सर बूल
चरण/अंतिम है टेन्सर बूल
चरण/is_terminal टेन्सर बूल
चरण/भाषा_एम्बेडिंग टेन्सर (512,) फ्लोट32 कोना भाषा एम्बेडिंग. https://tfhub.dev/google/universal-sentence-encoder-large/5 देखें
चरण/भाषा_निर्देश मूलपाठ डोरी भाषा निर्देश.
चरण/अवलोकन फीचर्सडिक्ट
चरण/अवलोकन/छवि छवि (480, 640, 3) uint8 मुख्य कैमरा आरजीबी अवलोकन।
चरण/अवलोकन/आंशिक_पॉइंटक्लाउड टेन्सर (512,3) फ्लोट32 आंशिक पॉइंटक्लाउड अवलोकन
चरण/अवलोकन/स्थिति टेन्सर (21,) फ्लोट32 रोबोट अवस्था में [संयुक्त_राज्य, अंत_प्रभावक_पोज़] शामिल हैं। संयुक्त राज्य 14-आयामी हैं, जो [q_0, w_0, q_1, w_0, ...] के क्रम में स्वरूपित हैं। दूसरे शब्दों में, संयुक्त स्थिति और वेग आपस में जुड़े हुए हैं। अंत -प्रभावक मुद्रा 7-आयामी है, जिसे [स्थिति, चतुर्भुज] के क्रम में स्वरूपित किया गया है। चतुर्भुज को (x,y,z,w) क्रम में स्वरूपित किया गया है। एंड-इफ़ेक्टर पोज़ ग्रिपर की दो उंगलियों के केंद्र में, टूल फ्रेम को संदर्भित करता है।
कदम/इनाम अदिश फ्लोट32 यदि प्रदान किया गया तो इनाम, डेमो के लिए अंतिम चरण पर 1।
  • उद्धरण :
@article{kimpre,
  title={Pre-and post-contact policy decomposition for non-prehensile manipulation with zero-shot sim-to-real transfer},
  author={Kim, Minchan and Han, Junhyek and Kim, Jaehyung and Kim, Beomjoon},
  booktitle={2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  year={2023},
  organization={IEEE}
}