落とす

  • 説明:

既存の読解力ベンチマークでのシステム パフォーマンスが人間のパフォーマンスに近いかそれを上回っているため、テキストの段落を実際に読むシステムの能力を向上させる新しいハード データセットが必要です。 DROP は、クラウドソーシングされ、敵対的に作成された 96k の質問のベンチマークであり、システムは質問内の参照をおそらく複数の入力位置に解決し、それらに対して個別の操作 (加算、カウント、並べ替えなど) を実行する必要があります。これらの操作では、以前のデータセットで必要だったよりも、段落の内容をより包括的に理解する必要があります。

スプリット
'dev' 9,536
'train' 77,409
  • 機能構造:
FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
答え文章ストリング
通路文章ストリング
query_id文章ストリング
質問文章ストリング
validated_answersシーケンス(テキスト) (なし、)ストリング
  • 引用
@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}