làm rơi

  • Mô tả :

Với hiệu suất của hệ thống trên các điểm chuẩn đọc hiểu hiện có gần hoặc vượt qua hiệu suất của con người, chúng tôi cần một bộ dữ liệu cứng mới giúp cải thiện khả năng của hệ thống để thực sự đọc các đoạn văn bản. DROP là một điểm chuẩn gồm 96 nghìn câu hỏi do đối thủ tạo ra, được cộng đồng tài trợ, trong đó một hệ thống phải giải quyết các tham chiếu trong một câu hỏi, có thể là cho nhiều vị trí đầu vào và thực hiện các thao tác riêng biệt đối với chúng (chẳng hạn như cộng, đếm hoặc sắp xếp). Các hoạt động này đòi hỏi sự hiểu biết toàn diện hơn về nội dung của các đoạn văn so với những gì cần thiết cho các bộ dữ liệu trước đó.

Tách ra ví dụ
'dev' 9,536
'train' 77,409
  • Cấu trúc tính năng :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
câu trả lời Chữ sợi dây
đoạn văn Chữ sợi dây
query_id Chữ sợi dây
câu hỏi Chữ sợi dây
validated_answers Trình tự (Văn bản) (Không có,) sợi dây
  • trích dẫn :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}