스토리 클로즈

• 설명 :

Story Cloze Test는 스토리 이해, 스토리 생성 및 스크립트 학습을 평가하기 위한 새로운 상식 추론 프레임워크입니다. 이 테스트에는 네 문장으로 된 이야기의 올바른 결말을 선택하는 시스템이 필요합니다.

• 추가 문서 : north_east 코드가 있는 논문에서 탐색

• 구성 설명 : 2018년

• 홈페이지 : https://www.cs.rochester.edu/nlp/rocstories/

• 소스코드 : tfds.datasets.story_cloze.Builder

• 버전 :

  • 1.0.0 (기본값): 최초 릴리스.

• 다운로드 크기 : Unknown size

• 수동 다운로드 지침 : 이 데이터 세트는 원본 데이터를 download_config.manual_dir에 수동으로 download_config.manual_dir 해야 합니다(기본값은 ~/tensorflow_datasets/downloads/manual/ ).
  https://www.cs.rochester.edu/nlp/rocstories/ 를 방문하고 Google 양식을 작성하여 데이터세트를 얻습니다. 데이터 세트를 다운로드할 수 있는 링크가 포함된 이메일을 받게 됩니다. 2016년 데이터의 경우 검증 및 테스트 파일의 이름을 각각 cloze_test val _spring2016.csv 및 cloze_test test _spring2016.csv로 변경해야 합니다. 2018 버전의 경우 검증 및 테스트 파일의 이름을 각각 cloze_test val _winter2018.csv 및 cloze_test test _winter2018.csv로 변경해야 합니다. 이 두 파일을 모두 manual 디렉토리로 이동하십시오.

• 자동 캐시 ( 문서 ): 예

• 기능 구조 :

FeaturesDict({
    'context': Text(shape=(), dtype=string),
    'endings': Sequence(Text(shape=(), dtype=string)),
    'label': int32,
})

• 기능 문서 :

• 감독된 키 ( as_supervised 문서 참조): None

• 그림 ( tfds.show_examples ): 지원되지 않습니다.

• 인용 :

@inproceedings{sharma-etal-2018-tackling,
    title = "Tackling the Story Ending Biases in The Story Cloze Test",
    author = "Sharma, Rishi  and
      Allen, James  and
      Bakhshandeh, Omid  and
      Mostafazadeh, Nasrin",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P18-2119",
    doi = "10.18653/v1/P18-2119",
    pages = "752--757",
    abstract = "The Story Cloze Test (SCT) is a recent framework for evaluating story comprehension and script learning. There have been a variety of models tackling the SCT so far. Although the original goal behind the SCT was to require systems to perform deep language understanding and commonsense reasoning for successful narrative understanding, some recent models could perform significantly better than the initial baselines by leveraging human-authorship biases discovered in the SCT dataset. In order to shed some light on this issue, we have performed various data analysis and analyzed a variety of top performing models presented for this task. Given the statistics we have aggregated, we have designed a new crowdsourcing scheme that creates a new SCT dataset, which overcomes some of the biases. We benchmark a few models on the new dataset and show that the top-performing model on the original SCT dataset fails to keep up its performance. Our findings further signify the importance of benchmarking NLP systems on various evolving test sets.",
}

story_cloze/2016(기본 구성)

• 데이터 세트 크기 : 1.15 MiB

• 분할 :

• 예 ( tfds.as_dataframe ):

story_cloze/2018

• 데이터 세트 크기 : 1015.04 KiB

• 분할 :

• 예 ( tfds.as_dataframe ):