- 설명 :
약 400만 개의 기사로 구성된 Gigaword의 기사 쌍 코퍼스에서 헤드라인 생성. https://github.com/harvardnlp/sent-summary 와 동일하지만 형식이 더 나은 https://github.com/microsoft/unilm/ 에서 제공하는 'org_data'를 사용합니다.
두 가지 기능이 있습니다. - 문서: 기사. - 요약: 제목.
소스 코드 :
tfds.summarization.Gigaword
버전 :
-
1.2.0
(기본값): 릴리스 정보가 없습니다.
-
다운로드 크기 :
551.61 MiB
데이터세트 크기 :
1.02 GiB
자동 캐시 ( 문서 ): 아니요
분할 :
나뉘다 | 예 |
---|---|
'test' | 1,951 |
'train' | 3,803,957 |
'validation' | 189,651 |
- 기능 구조 :
FeaturesDict({
'document': Text(shape=(), dtype=string),
'summary': Text(shape=(), dtype=string),
})
- 기능 문서 :
특징 | 수업 | 모양 | D타입 | 설명 |
---|---|---|---|---|
풍모Dict | ||||
문서 | 텍스트 | 끈 | ||
요약 | 텍스트 | 끈 |
감독된 키 (
as_supervised
문서 참조):('document', 'summary')
그림 ( tfds.show_examples ): 지원되지 않습니다.
예 ( tfds.as_dataframe ):
- 인용 :
@article{graff2003english,
title={English gigaword},
author={Graff, David and Kong, Junbo and Chen, Ke and Maeda, Kazuaki},
journal={Linguistic Data Consortium, Philadelphia},
volume={4},
number={1},
pages={34},
year={2003}
}
@article{Rush_2015,
title={A Neural Attention Model for Abstractive Sentence Summarization},
url={http://dx.doi.org/10.18653/v1/D15-1044},
DOI={10.18653/v1/d15-1044},
journal={Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing},
publisher={Association for Computational Linguistics},
author={Rush, Alexander M. and Chopra, Sumit and Weston, Jason},
year={2015}
}