SPOC

나뉘다
  • 기능 구조 :
FeaturesDict({
    'episode_metadata': FeaturesDict({
        'file_path': string,
        'task_target_split': string,
        'task_type': string,
    }),
    'steps': Dataset({
        'action': Tensor(shape=(9,), dtype=float32),
        'discount': Scalar(shape=(), dtype=float32),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'language_instruction': string,
        'observation': FeaturesDict({
            'an_object_is_in_hand': Scalar(shape=(), dtype=bool),
            'house_index': Scalar(shape=(), dtype=int64),
            'hypothetical_task_success': Scalar(shape=(), dtype=bool),
            'image': Image(shape=(224, 384, 3), dtype=uint8),
            'image_manipulation': Image(shape=(224, 384, 3), dtype=uint8),
            'last_action_is_random': Scalar(shape=(), dtype=bool),
            'last_action_str': string,
            'last_action_success': Scalar(shape=(), dtype=bool),
            'last_agent_location': Tensor(shape=(6,), dtype=float32),
            'manip_object_bbox': Tensor(shape=(10,), dtype=float32),
            'minimum_l2_target_distance': Scalar(shape=(), dtype=float32),
            'minimum_visible_target_alignment': Scalar(shape=(), dtype=float32),
            'nav_object_bbox': Tensor(shape=(10,), dtype=float32),
            'relative_arm_location_metadata': Tensor(shape=(4,), dtype=float32),
            'room_current_seen': Scalar(shape=(), dtype=bool),
            'rooms_seen': Scalar(shape=(), dtype=int64),
            'visible_target_4m_count': Scalar(shape=(), dtype=int64),
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
에피소드_메타데이터 특징Dict
에피소드_메타데이터/파일_경로 텐서
Episode_metadata/task_target_split 텐서
에피소드_메타데이터/작업_유형 텐서
단계 데이터 세트
단계/작업 텐서 (9,) float32
걸음수/할인 스칼라 float32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/언어_지시 텐서
단계/관찰 특징Dict
단계/관찰/an_object_is_in_hand 스칼라 부울
단계/관찰/house_index 스칼라 정수64
단계/관찰/hypothetical_task_success 스칼라 부울
단계/관찰/이미지 영상 (224, 384, 3) uint8
단계/관찰/이미지 조작 영상 (224, 384, 3) uint8
단계/관찰/last_action_is_random 스칼라 부울
단계/관찰/last_action_str 텐서
단계/관찰/last_action_success 스칼라 부울
단계/관찰/last_agent_location 텐서 (6,) float32
단계/관찰/manip_object_bbox 텐서 (10,) float32
걸음수/관찰/최소_l2_target_distance 스칼라 float32
단계/관찰/최소_가시_대상_정렬 스칼라 float32
단계/관찰/nav_object_bbox 텐서 (10,) float32
단계/관찰/relative_arm_location_metadata 텐서 (4,) float32
단계/관찰/room_current_seen 스칼라 부울
계단/관찰/rooms_seen 스칼라 정수64
걸음 수/관찰/visible_target_4m_count 스칼라 정수64
걸음수/보상 스칼라 float32
@article{spoc2023,
    author    = {Kiana Ehsani, Tanmay Gupta, Rose Hendrix, Jordi Salvador, Luca Weihs, Kuo-Hao Zeng, Kunal Pratap Singh, Yejin Kim, Winson Han, Alvaro Herrasti, Ranjay Krishna, Dustin Schwenk, Eli VanderBilt, Aniruddha Kembhavi},
    title     = {Imitating Shortest Paths in Simulation Enables Effective Navigation and Manipulation in the Real World},
    journal   = {arXiv},
    year      = {2023},
    eprint    = {2312.02976},
}