クカ

  • 説明

箱のピッキングと再配置のタスク

スプリット
'train' 580,392
  • 機能の構造:
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'base_displacement_vector': Tensor(shape=(2,), dtype=float32),
            'base_displacement_vertical_rotation': Tensor(shape=(1,), dtype=float32),
            'gripper_closedness_action': Tensor(shape=(1,), dtype=float32),
            'rotation_delta': Tensor(shape=(3,), dtype=float32),
            'terminate_episode': Tensor(shape=(3,), dtype=int32),
            'world_vector': Tensor(shape=(3,), dtype=float32),
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'clip_function_input/base_pose_tool_reached': Tensor(shape=(7,), dtype=float32),
            'clip_function_input/workspace_bounds': Tensor(shape=(3, 3), dtype=float32),
            'gripper_closed': Tensor(shape=(1,), dtype=float32),
            'height_to_bottom': Tensor(shape=(1,), dtype=float32),
            'image': Image(shape=(512, 640, 3), dtype=uint8),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'task_id': Tensor(shape=(1,), dtype=float32),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
    'success': bool,
})
  • 機能ドキュメント:
特徴クラスDタイプ説明
特徴辞書
ステップデータセット
ステップ/アクション特徴辞書
ステップ/アクション/base_displacement_vectorテンソル(2,) float32
ステップ/アクション/base_displacement_vertical_rotationテンソル(1,) float32
ステップ/アクション/gripper_closedness_actionテンソル(1,) float32
ステップ/アクション/回転デルタテンソル(3,) float32
ステップ/アクション/terminate_episodeテンソル(3,) int32
ステップ/アクション/world_vectorテンソル(3,) float32
ステップ/is_firstテンソルブール
ステップ/is_lastテンソルブール
ステップ/is_terminalテンソルブール
ステップ/観察特徴辞書
ステップ/観察/clip_function_input/base_pose_tool_reachedテンソル(7、) float32
ステップ/観察/clip_function_input/workspace_boundsテンソル(3, 3) float32
ステップ/観察/gripper_closedテンソル(1,) float32
歩数/観察/底までの高さテンソル(1,) float32
手順・観察・イメージ画像(512、640、3) uint8
ステップ/観察/natural_lang_embeddingテンソル(512,) float32
ステップ/観察/natural_ language_instructionテンソル
ステップ/観察/task_idテンソル(1,) float32
歩数/報酬スカラーfloat32
成功テンソルブール
  • 引用
@article{kalashnikov2018qt,
  title={Qt-opt: Scalable deep reinforcement learning for vision-based robotic manipulation},
  author={Kalashnikov, Dmitry and Irpan, Alex and Pastor, Peter and Ibarz, Julian and Herzog, Alexander and Jang, Eric and Quillen, Deirdre and Holly, Ethan and Kalakrishnan, Mrinal and Vanhoucke, Vincent and others},
  journal={arXiv preprint arXiv:1806.10293},
  year={2018}
}