bc_z

  • 설명 :

텔레오퍼 Google 로봇은 주로 테이블에서 픽 플레이스를 수행합니다.

나뉘다 예
'train' 39,350
'val' 3,914
  • 기능 구조 :
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'future/axis_angle_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the rotation. Each action is a 3D delta to add to the current axis angle.),
            'future/target_close': Tensor(shape=(10,), dtype=int64, description=The next 10 actions for the gripper. Each action is the value the gripper closure should be changed to (notably it is *not* a delta.)),
            'future/xyz_residual': Tensor(shape=(30,), dtype=float32, description=The next 10 actions for the positions. Each action is a 3D delta to add to current position.),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'episode_success': float32,
            'image': Image(shape=(171, 213, 3), dtype=uint8, description=Camera image of the robot, downsampled 3x),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32, description=An embedding of the task via Universal Sentence Encoder (https://tfhub.dev/google/universal-sentence-encoder/4)),
            'natural_language_instruction': string,
            'present/autonomous': int64,
            'present/axis_angle': Tensor(shape=(3,), dtype=float32, description=The current rotation of the end effector in axis-angle representation.),
            'present/intervention': int64,
            'present/sensed_close': Tensor(shape=(1,), dtype=float32, description=How much the gripper is currently closed. Scaled from 0 to 1, but not all values from 0 to 1 are reachable. The range in the data is about 0.2 to 1),
            'present/xyz': Tensor(shape=(3,), dtype=float32, description=The current position of the end effector in axis-angle representation, in robot frame),
            'sequence_length': int64,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
단계 데이터 세트
단계/작업 특징Dict
단계/행동/미래/axis_angle_residual 텐서 (30,) float32 회전을 위한 다음 10개 작업입니다. 각 동작은 현재 축 각도에 추가되는 3D 델타입니다.
단계/행동/미래/target_close 텐서 (10,) 정수64 그리퍼의 다음 10가지 동작. 각 동작은 그리퍼 클로저를 변경해야 하는 값입니다(특히 델타가 아닙니다 ).
단계/행동/미래/xyz_residual 텐서 (30,) float32 직위에 대한 다음 10가지 작업입니다. 각 동작은 현재 위치에 추가할 3D 델타입니다.
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/episode_success 텐서 float32 0-1 성공 라벨
단계/관찰/이미지 영상 (171, 213, 3) uint8 3배 다운샘플링된 로봇의 카메라 이미지
단계/관찰/natural_언어_임베딩 텐서 (512,) float32 Universal Sentence Encoder( https://tfhub.dev/google/universal-sentence-encoder/4 )를 통한 작업 임베딩
단계/관찰/natural_lang_instruction 텐서 끈 로봇에게 요청된 작업입니다.
단계/관찰/현재/자율 텐서 정수64 에피소드는 Dagger를 통해 수집됩니다. 이는 작업이 정책에서 나온 것인지 원격 조작자에서 나온 것인지에 대한 0/1 레이블입니다. 1 = 정책에서.
단계/관찰/현재/축_각도 텐서 (3,) float32 축 각도 표현에서 엔드 이펙터의 현재 회전입니다.
단계/관찰/현재/개입 텐서 정수64 에피소드는 Dagger를 통해 수집됩니다. 이는 작업이 정책에서 나온 것인지 원격 조작자에서 나온 것인지에 대한 0/1 레이블입니다. 1 = 원격 조작자로부터. 이는 현재/자율의 정반대입니다.
단계/관찰/현재/sensed_close 텐서 (1,) float32 그리퍼가 현재 얼마나 닫혀 있는지. 0에서 1까지 확장되지만 0에서 1까지의 모든 값에 도달할 수 있는 것은 아닙니다. 데이터의 범위는 약 0.2~1입니다.
단계/관찰/현재/xyz 텐서 (3,) float32 로봇 프레임에서 축 각도 표현으로 표현된 엔드 이펙터의 현재 위치
단계/관찰/시퀀스_길이 텐서 정수64 에피소드의 길이
걸음 수/보상 스칼라 float32
  • 인용 :
@inproceedings{jang2021bc,
title={ {BC}-Z: Zero-Shot Task Generalization with Robotic Imitation Learning},
author={Eric Jang and Alex Irpan and Mohi Khansari and Daniel Kappler and Frederik Ebert and Corey Lynch and Sergey Levine and Chelsea Finn},
booktitle={5th Annual Conference on Robot Learning},
year={2021},
url={https://openreview.net/forum?id=8kbp23tSGYv} }