vima_converted_externally_to_rlds

• Sự miêu tả :

Tập dữ liệu SIM của một cánh tay robot duy nhất thực hiện các tác vụ trên bàn được tạo theo quy trình với lời nhắc đa phương thức, quỹ đạo hơn 600K

• Trang chủ : https://vimalabs.github.io/

• Mã nguồn : tfds.robotics.rtx.VimaConvertedExternallyToRlds

• Phiên bản :

  • 0.1.0 (mặc định): Bản phát hành đầu tiên.

• Kích thước tải xuống : Unknown size

• Kích thước tập dữ liệu : Unknown size

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không xác định

• Chia tách :

• Cấu trúc tính năng :

FeaturesDict({
    'episode_metadata': FeaturesDict({
        'action_bounds': FeaturesDict({
            'high': Tensor(shape=(3,), dtype=float32),
            'low': Tensor(shape=(3,), dtype=float32),
        }),
        'end-effector type': string,
        'failure': Scalar(shape=(), dtype=bool),
        'file_path': string,
        'n_objects': Scalar(shape=(), dtype=int64),
        'num_steps': Scalar(shape=(), dtype=int64),
        'robot_components_seg_ids': Sequence(Scalar(shape=(), dtype=int64)),
        'seed': Scalar(shape=(), dtype=int64),
        'success': Scalar(shape=(), dtype=bool),
        'task': string,
    }),
    'steps': Dataset({
        'action': FeaturesDict({
            'pose0_position': Tensor(shape=(3,), dtype=float32),
            'pose0_rotation': Tensor(shape=(4,), dtype=float32),
            'pose1_position': Tensor(shape=(3,), dtype=float32),
            'pose1_rotation': Tensor(shape=(4,), dtype=float32),
        }),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'multimodal_instruction': string,
        'multimodal_instruction_assets': FeaturesDict({
            'asset_type': Sequence(string),
            'frontal_image': Sequence(Tensor(shape=(128, 256, 3), dtype=uint8)),
            'frontal_segmentation': Sequence(Tensor(shape=(128, 256), dtype=uint8)),
            'image': Sequence(Tensor(shape=(128, 256, 3), dtype=uint8)),
            'key_name': Sequence(string),
            'segmentation': Sequence(Tensor(shape=(128, 256), dtype=uint8)),
            'segmentation_obj_info': Sequence({
                'obj_name': Sequence(string),
                'segm_id': Sequence(Scalar(shape=(), dtype=int64)),
                'texture_name': Sequence(string),
            }),
        }),
        'observation': FeaturesDict({
            'ee': int64,
            'frontal_image': Tensor(shape=(128, 256, 3), dtype=uint8),
            'frontal_segmentation': Tensor(shape=(128, 256), dtype=uint8),
            'image': Tensor(shape=(128, 256, 3), dtype=uint8),
            'segmentation': Tensor(shape=(128, 256), dtype=uint8),
            'segmentation_obj_info': FeaturesDict({
                'obj_name': Sequence(string),
                'segm_id': Sequence(Scalar(shape=(), dtype=int64)),
                'texture_name': Sequence(string),
            }),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})

• Tài liệu tính năng :

• Khóa được giám sát (Xem as_supervised doc ): None

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• Ví dụ ( tfds.as_dataframe ): Thiếu.

• Trích dẫn :

@inproceedings{jiang2023vima,  title     = {VIMA: General Robot Manipulation with Multimodal Prompts},  author    = {Yunfan Jiang and Agrim Gupta and Zichen Zhang and Guanzhi Wang and Yongqiang Dou and Yanjun Chen and Li Fei-Fei and Anima Anandkumar and Yuke Zhu and Linxi Fan}, booktitle = {Fortieth International Conference on Machine Learning},  year      = {2023}. }