ড্রপ

  • বর্ণনা :

বিদ্যমান পাঠ বোঝার মানদণ্ডে সিস্টেমের কার্যকারিতা মানুষের কার্যক্ষমতার কাছাকাছি বা অতিক্রম করে, আমাদের একটি নতুন, কঠিন ডেটাসেট দরকার যা পাঠ্যের অনুচ্ছেদগুলি পড়ার জন্য সিস্টেমের ক্ষমতাকে উন্নত করে। DROP হল একটি ক্রাউডসোর্সড, প্রতিকূলভাবে তৈরি, 96k-প্রশ্নের বেঞ্চমার্ক, যেখানে একটি সিস্টেমকে একটি প্রশ্নের রেফারেন্সের সমাধান করতে হবে, সম্ভবত একাধিক ইনপুট পজিশনে, এবং তাদের উপর বিচ্ছিন্ন ক্রিয়াকলাপ সম্পাদন করতে হবে (যেমন সংযোজন, গণনা বা সাজানো)। এই ক্রিয়াকলাপগুলির জন্য পূর্ববর্তী ডেটাসেটের জন্য যা প্রয়োজনীয় ছিল তার চেয়ে অনুচ্ছেদের বিষয়বস্তু সম্পর্কে অনেক বেশি বিস্তৃত বোঝার প্রয়োজন।

বিভক্ত উদাহরণ
'dev' 9,536
'train' 77,409
  • বৈশিষ্ট্য গঠন :
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য ক্লাস আকৃতি ডিটাইপ বর্ণনা
ফিচারসডিক্ট
উত্তর পাঠ্য স্ট্রিং
উত্তরণ পাঠ্য স্ট্রিং
query_id পাঠ্য স্ট্রিং
প্রশ্ন পাঠ্য স্ট্রিং
validated_answers ক্রম (পাঠ্য) (কোনটিই নয়,) স্ট্রিং
  • উদ্ধৃতি :
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}