- Mô tả :
Với hiệu suất của hệ thống trên các điểm chuẩn đọc hiểu hiện có gần hoặc vượt qua hiệu suất của con người, chúng tôi cần một bộ dữ liệu cứng mới giúp cải thiện khả năng của hệ thống để thực sự đọc các đoạn văn bản. DROP là một điểm chuẩn gồm 96 nghìn câu hỏi do đối thủ tạo ra, được cộng đồng tài trợ, trong đó một hệ thống phải giải quyết các tham chiếu trong một câu hỏi, có thể là cho nhiều vị trí đầu vào và thực hiện các thao tác riêng biệt đối với chúng (chẳng hạn như cộng, đếm hoặc sắp xếp). Các hoạt động này đòi hỏi sự hiểu biết toàn diện hơn về nội dung của các đoạn văn so với những gì cần thiết cho các bộ dữ liệu trước đó.
Tài liệu bổ sung : Khám phá trên giấy tờ với mã
Trang chủ : https://allennlp.org/drop
Mã nguồn :
tfds.text.drop.Drop
Phiên bản :
-
1.0.0
: Bản phát hành đầu tiên. -
2.0.0
(mặc định): Thêm tất cả các tùy chọn cho câu trả lời.
-
Kích thước tải xuống :
7.92 MiB
Kích thước tập dữ liệu :
116.24 MiB
Tự động lưu vào bộ đệm ( tài liệu ): Có
Chia tách :
Tách ra | ví dụ |
---|---|
'dev' | 9,536 |
'train' | 77,409 |
- Cấu trúc tính năng :
FeaturesDict({
'answer': Text(shape=(), dtype=string),
'passage': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
- Tài liệu tính năng :
Tính năng | Lớp | Hình dạng | Dtype | Sự mô tả |
---|---|---|---|---|
Tính năngDict | ||||
câu trả lời | Chữ | sợi dây | ||
đoạn văn | Chữ | sợi dây | ||
query_id | Chữ | sợi dây | ||
câu hỏi | Chữ | sợi dây | ||
validated_answers | Trình tự (Văn bản) | (Không có,) | sợi dây |
Các khóa được giám sát (Xem
as_supervised
doc ):None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ):
- trích dẫn :
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}