bc_z

  • Tanım :

Teleoped Google robotu çoğunlukla masadan seçim yapıyor

Bölmek Örnekler
'train' 39.350
'val' 3.914
  • Özellik yapısı :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'future/axis_angle_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the rotation. Each action is a 3D delta to add to the current axis angle.),
            'future/target_close': Tensor(shape=(10,), dtype=int64, description=The next 10 actions for the gripper. Each action is the value the gripper closure should be changed to (notably it is *not* a delta.)),
            'future/xyz_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the positions. Each action is a 3D delta to add to current position.),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'episode_success': float32,
            'image': Image(shape=(171, 213, 3), dtype=uint8, description=Camera image of the robot, downsampled 3x),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32, description=An embedding of the task via Universal Sentence Encoder (https://tfhub.dev/google/universal-sentence-encoder/4)),
            'natural_language_instruction': string,
            'present/autonomous': int64,
            'present/axis_angle': Tensor(shape=(3,), dtype=float32, description=The current rotation of the end effector in axis-angle representation.),
            'present/intervention': int64,
            'present/sensed_close': Tensor(shape=(1,), dtype=float32, description=How much the gripper is currently closed. Scaled from 0 to 1, but not all values from 0 to 1 are reachable. The range in the data is about 0.2 to 1),
            'present/xyz': Tensor(shape=(3,), dtype=float32, description=The current position of the end effector in axis-angle representation, in robot frame),
            'sequence_length': int64,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
adımlar Veri kümesi
adımlar/eylem ÖzelliklerDict
adımlar/eylem/gelecek/axis_angle_residual Tensör (30,) kayan nokta32 Rotasyon için sonraki 10 eylem. Her eylem, geçerli eksen açısına eklenecek 3 boyutlu bir deltadır.
adımlar/eylem/gelecek/target_close Tensör (10,) int64 Yakalayıcı için sonraki 10 eylem. Her eylem, tutucu kapatmanın değiştirilmesi gereken değerdir (özellikle bir delta değildir ).
adımlar/eylem/gelecek/xyz_residual Tensör (30,) kayan nokta32 Pozisyonlar için sonraki 10 eylem. Her eylem, geçerli konuma eklenecek 3 boyutlu bir deltadır.
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/episode_success Tensör kayan nokta32 0-1 başarı etiketi
adımlar/gözlem/görüntü Resim (171, 213, 3) uint8 Robotun 3x altörneklenmiş kamera görüntüsü
adımlar/gözlem/natural_language_embedding Tensör (512,) kayan nokta32 Görevin Evrensel Cümle Kodlayıcı aracılığıyla yerleştirilmesi ( https://tfhub.dev/google/universal-sentence-encoder/4 )
adımlar/gözlem/natural_language_instruction Tensör sicim Robottan yapması istenen görev.
adımlar/gözlem/mevcut/otonom Tensör int64 Bölümler DAgger aracılığıyla toplanır. Bu, eylemin politikadan mı yoksa teleoperatörden mi geldiğini belirten 0/1 etiketidir. 1 = politikadan.
adımlar/gözlem/şimdiki/axis_angle Tensör (3,) kayan nokta32 Eksen açısı gösteriminde uç efektörün mevcut dönüşü.
adımlar/gözlem/mevcut/müdahale Tensör int64 Bölümler DAgger aracılığıyla toplanır. Bu, eylemin politikadan mı yoksa teleoperatörden mi geldiğini belirten 0/1 etiketidir. 1 = teleoperatörden. Bu mevcut/otonomun tam tersidir
adımlar/gözlem/mevcut/sensed_close Tensör (1,) kayan nokta32 Tutucunun şu anda ne kadar kapalı olduğu. 0'dan 1'e kadar ölçeklendirilir, ancak 0'dan 1'e kadar tüm değerlere ulaşılamaz. Verilerdeki aralık yaklaşık 0,2 ile 1 arasındadır
adımlar/gözlem/şimdiki zaman/xyz Tensör (3,) kayan nokta32 Robot çerçevesinde eksen açısı gösteriminde uç efektörün geçerli konumu
adımlar/gözlem/sıra_uzunluğu Tensör int64 Bölümün uzunluğu
adımlar/ödül Skaler kayan nokta32
  • Alıntı :
@inproceedings{jang2021bc,
title={ {BC}-Z: Zero-Shot Task Generalization with Robotic Imitation Learning},
author={Eric Jang and Alex Irpan and Mohi Khansari and Daniel Kappler and Frederik Ebert and Corey Lynch and Sergey Levine and Chelsea Finn},
booktitle={5th Annual Conference on Robot Learning},
year={2021},
url={https://openreview.net/forum?id=8kbp23tSGYv} }