grounded_scan

• 설명 :

Grounded SCAN(gSCAN)은 상황에 맞는 언어 이해에서 구성 일반화를 평가하기 위한 합성 데이터 세트입니다. gSCAN은 자연어 지침을 작업 시퀀스와 쌍으로 연결하고 에이전트가 그리드 기반 시각적 탐색 환경의 맥락 내에서 지침을 해석하도록 요구합니다.

자세한 내용은 다음에서 확인할 수 있습니다.

• compositional_splits 및 target_length_split 의 경우: https://github.com/LauraRuis/groundedSCAN

• spatial_relation_splits 의 경우: https://github.com/google-research/language/tree/master/language/gscan/data

• 홈페이지 : https://github.com/LauraRuis/groundedSCAN

• 소스 코드 : tfds.vision_language.grounded_scan.GroundedScan

• 버전 :

  • 1.0.0 : 최초 릴리스.
  • 1.1.0 : vector 기능이 Text()로 변경되었습니다.
  • 2.0.0 (기본값): 새로운 spatial_relation_splits 구성을 추가합니다.

• 자동 캐시 ( 문서 ): 아니요

• 기능 구조 :

FeaturesDict({
    'command': Sequence(Text(shape=(), dtype=string)),
    'manner': Text(shape=(), dtype=string),
    'meaning': Sequence(Text(shape=(), dtype=string)),
    'referred_target': Text(shape=(), dtype=string),
    'situation': FeaturesDict({
        'agent_direction': int32,
        'agent_position': FeaturesDict({
            'column': int32,
            'row': int32,
        }),
        'direction_to_target': Text(shape=(), dtype=string),
        'distance_to_target': int32,
        'grid_size': int32,
        'placed_objects': Sequence({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=string),
                'shape': Text(shape=(), dtype=string),
                'size': int32,
            }),
            'position': FeaturesDict({
                'column': int32,
                'row': int32,
            }),
            'vector': Text(shape=(), dtype=string),
        }),
        'target_object': FeaturesDict({
            'object': FeaturesDict({
                'color': Text(shape=(), dtype=string),
                'shape': Text(shape=(), dtype=string),
                'size': int32,
            }),
            'position': FeaturesDict({
                'column': int32,
                'row': int32,
            }),
            'vector': Text(shape=(), dtype=string),
        }),
    }),
    'target_commands': Sequence(Text(shape=(), dtype=string)),
    'verb_in_command': Text(shape=(), dtype=string),
})

• 기능 문서 :

• 감독된 키 ( as_supervised 문서 참조): None

• 그림 ( tfds.show_examples ): 지원되지 않습니다.

• 인용 :

@inproceedings{NEURIPS2020_e5a90182,
 author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
 booktitle = {Advances in Neural Information Processing Systems},
 editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
 pages = {19861--19872},
 publisher = {Curran Associates, Inc.},
 title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
 url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
 volume = {33},
 year = {2020}
}

@inproceedings{qiu-etal-2021-systematic,
    title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
    author = "Qiu, Linlu  and
      Hu, Hexiang  and
      Zhang, Bowen  and
      Shaw, Peter  and
      Sha, Fei",
    booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2021",
    address = "Online and Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2021.emnlp-main.166",
    doi = "10.18653/v1/2021.emnlp-main.166",
    pages = "2180--2188",
}

grounded_scan/compositional_splits(기본 구성)

• 구성 설명 : 컴포지션 일반화의 예입니다.

• 다운로드 크기 : 82.10 MiB

• 데이터 세트 크기 : 998.11 MiB

• 분할 :

• 예 ( tfds.as_dataframe ):

grounded_scan/target_length_split

• 구성 설명 : 더 큰 대상 길이로 일반화하기 위한 예입니다.

• 다운로드 크기 : 53.41 MiB

• 데이터 세트 크기 : 546.73 MiB

• 분할 :

• 예 ( tfds.as_dataframe ):

grounded_scan/spatial_relation_splits

• 구성 설명 : 공간 관계 추론의 예입니다.

• 다운로드 크기 : 89.59 MiB

• 데이터 세트 크기 : 675.09 MiB

• 분할 :

• 예 ( tfds.as_dataframe ):