หยด

• คำอธิบาย :

ด้วยประสิทธิภาพของระบบตามเกณฑ์มาตรฐานความเข้าใจในการอ่านที่มีอยู่ซึ่งใกล้เคียงหรือเหนือกว่าประสิทธิภาพของมนุษย์ เราจำเป็นต้องมีชุดข้อมูลใหม่ที่มีความแข็งซึ่งปรับปรุงความสามารถของระบบในการอ่านย่อหน้าของข้อความจริงๆ DROP เป็นเกณฑ์มาตรฐานคำถาม 96k คำถามที่สร้างขึ้นจากฝูงชนซึ่งสร้างโดยฝ่ายตรงข้าม ซึ่งระบบต้องแก้ไขการอ้างอิงในคำถาม อาจเป็นตำแหน่งอินพุตหลายตำแหน่ง และดำเนินการแยกจากกัน (เช่น การบวก การนับ หรือการเรียงลำดับ) การดำเนินการเหล่านี้ต้องการความเข้าใจเนื้อหาของย่อหน้าที่ครอบคลุมมากกว่าสิ่งที่จำเป็นสำหรับชุดข้อมูลก่อนหน้า

• เอกสารประกอบเพิ่มเติม : สำรวจเอกสารด้วยรหัส north_east

• โฮมเพจ : https://allennlp.org/drop

• รหัสที่มา : tfds.text.drop.Drop

• รุ่น :

  • 1.0.0 : การเปิดตัวครั้งแรก
  • 2.0.0 (ค่าเริ่มต้น): เพิ่มตัวเลือกทั้งหมดสำหรับคำตอบ

• ขนาดการดาวน์โหลด : 7.92 MiB

• ขนาดชุดข้อมูล : 116.24 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• โครงสร้างคุณลักษณะ :

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

• เอกสารคุณสมบัติ :

• คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

• รูปภาพ ( tfds.show_examples ): ไม่รองรับ

• ตัวอย่าง ( tfds.as_dataframe ):

• การอ้างอิง :

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}