bc_z

  • বর্ণনা :

Teleoped Google রোবট বেশিরভাগই একটি টেবিল থেকে বাছাই করার জায়গা করছে

বিভক্ত উদাহরণ
'train' 39,350
'val' ৩,৯১৪
  • বৈশিষ্ট্য গঠন :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'future/axis_angle_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the rotation. Each action is a 3D delta to add to the current axis angle.),
            'future/target_close': Tensor(shape=(10,), dtype=int64, description=The next 10 actions for the gripper. Each action is the value the gripper closure should be changed to (notably it is *not* a delta.)),
            'future/xyz_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the positions. Each action is a 3D delta to add to current position.),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'episode_success': float32,
            'image': Image(shape=(171, 213, 3), dtype=uint8, description=Camera image of the robot, downsampled 3x),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32, description=An embedding of the task via Universal Sentence Encoder (https://tfhub.dev/google/universal-sentence-encoder/4)),
            'natural_language_instruction': string,
            'present/autonomous': int64,
            'present/axis_angle': Tensor(shape=(3,), dtype=float32, description=The current rotation of the end effector in axis-angle representation.),
            'present/intervention': int64,
            'present/sensed_close': Tensor(shape=(1,), dtype=float32, description=How much the gripper is currently closed. Scaled from 0 to 1, but not all values from 0 to 1 are reachable. The range in the data is about 0.2 to 1),
            'present/xyz': Tensor(shape=(3,), dtype=float32, description=The current position of the end effector in axis-angle representation, in robot frame),
            'sequence_length': int64,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য ক্লাস আকৃতি ডিটাইপ বর্ণনা
ফিচারসডিক্ট
পদক্ষেপ ডেটাসেট
পদক্ষেপ/ক্রিয়া ফিচারসডিক্ট
পদক্ষেপ/ক্রিয়া/ভবিষ্যত/অক্ষ_কোণ_অবশিষ্ট টেনসর (30,) float32 ঘূর্ণনের জন্য পরবর্তী 10টি অ্যাকশন। বর্তমান অক্ষ কোণে যোগ করার জন্য প্রতিটি ক্রিয়া একটি 3D ডেল্টা।
পদক্ষেপ/ক্রিয়া/ভবিষ্যত/টার্গেট_ক্লোজ টেনসর (10,) int64 গ্রিপারের জন্য পরবর্তী 10টি অ্যাকশন। প্রতিটি ক্রিয়া হল গ্রিপার বন্ধ করার মান পরিবর্তন করা উচিত (উল্লেখ্যভাবে এটি একটি ডেল্টা নয় ।)
পদক্ষেপ/ক্রিয়া/ভবিষ্যত/xyz_residual টেনসর (30,) float32 পদের জন্য পরবর্তী 10টি কাজ। বর্তমান অবস্থানে যোগ করার জন্য প্রতিটি ক্রিয়া একটি 3D ডেল্টা।
steps/is_first টেনসর bool
ধাপ/শেষ_শেষ টেনসর bool
steps/is_terminal টেনসর bool
পদক্ষেপ/পর্যবেক্ষণ ফিচারসডিক্ট
পদক্ষেপ/পর্যবেক্ষণ/পর্ব_সাফল্য টেনসর float32 একটি 0-1 সাফল্যের লেবেল
পদক্ষেপ/পর্যবেক্ষণ/চিত্র ছবি (171, 213, 3) uint8 রোবটের ক্যামেরা ছবি, 3x নমুনা নিচে
পদক্ষেপ/পর্যবেক্ষণ/প্রাকৃতিক_ভাষা_এম্বেডিং টেনসর (512,) float32 ইউনিভার্সাল সেন্টেন্স এনকোডার ( https://tfhub.dev/google/universal-sentence-encoder/4 ) এর মাধ্যমে টাস্কের একটি এমবেডিং
পদক্ষেপ/পর্যবেক্ষণ/প্রাকৃতিক_ভাষা_নির্দেশ টেনসর স্ট্রিং রোবটকে যে কাজটি করতে বলা হয়েছিল।
পদক্ষেপ/পর্যবেক্ষণ/বর্তমান/স্বায়ত্তশাসিত টেনসর int64 পর্বগুলি ড্যাগারের মাধ্যমে সংগ্রহ করা হয়। এটি একটি 0/1 লেবেল যে কর্মটি নীতি বা টেলিঅপারেটরের থেকে। 1 = নীতি থেকে।
পদক্ষেপ/পর্যবেক্ষণ/বর্তমান/অক্ষ_কোণ টেনসর (৩,) float32 অক্ষ-কোণ উপস্থাপনায় শেষ প্রভাবকের বর্তমান ঘূর্ণন।
পদক্ষেপ/পর্যবেক্ষন/বর্তমান/হস্তক্ষেপ টেনসর int64 পর্বগুলি ড্যাগারের মাধ্যমে সংগ্রহ করা হয়। এটি একটি 0/1 লেবেল যে কর্মটি নীতি বা টেলিঅপারেটরের থেকে। 1 = টেলিঅপারেটর থেকে। এটি বর্তমান/স্বায়ত্তশাসিত এর ঠিক বিপরীত
পদক্ষেপ/পর্যবেক্ষণ/বর্তমান/অনুভূত_ক্লোজ টেনসর (1,) float32 বর্তমানে কতটা গ্রিপার বন্ধ আছে। 0 থেকে 1 পর্যন্ত স্কেল করা হয়েছে, কিন্তু 0 থেকে 1 পর্যন্ত সমস্ত মান পৌঁছানো যায় না। তথ্যের পরিসর প্রায় 0.2 থেকে 1
পদক্ষেপ/পর্যবেক্ষণ/বর্তমান/xyz টেনসর (৩,) float32 রোবট ফ্রেমে অক্ষ-কোণ উপস্থাপনায় শেষ প্রভাবকের বর্তমান অবস্থান
ধাপ/পর্যবেক্ষণ/ক্রম_দৈর্ঘ্য টেনসর int64 পর্বের দৈর্ঘ্য
পদক্ষেপ/পুরস্কার স্কেলার float32
  • উদ্ধৃতি :
@inproceedings{jang2021bc,
title={ {BC}-Z: Zero-Shot Task Generalization with Robotic Imitation Learning},
author={Eric Jang and Alex Irpan and Mohi Khansari and Daniel Kappler and Frederik Ebert and Corey Lynch and Sergey Levine and Chelsea Finn},
booktitle={5th Annual Conference on Robot Learning},
year={2021},
url={https://openreview.net/forum?id=8kbp23tSGYv} }