- 説明:
既存の読解力ベンチマークでのシステム パフォーマンスが人間のパフォーマンスに近いかそれを上回っているため、テキストの段落を実際に読むシステムの能力を向上させる新しいハード データセットが必要です。 DROP は、クラウドソーシングされ、敵対的に作成された 96k の質問のベンチマークであり、システムは質問内の参照をおそらく複数の入力位置に解決し、それらに対して個別の操作 (加算、カウント、並べ替えなど) を実行する必要があります。これらの操作では、以前のデータセットで必要だったよりも、段落の内容をより包括的に理解する必要があります。
追加のドキュメント:コード を使用したペーパーの探索
ホームページ: https://allennlp.org/drop
ソースコード:
tfds.text.drop.Drop
バージョン:
-
1.0.0
: 初期リリース。 -
2.0.0
(デフォルト): 回答のすべてのオプションを追加します。
-
ダウンロードサイズ:
7.92 MiB
データセットのサイズ:
116.24 MiB
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'dev' | 9,536 |
'train' | 77,409 |
- 機能構造:
FeaturesDict({
'answer': Text(shape=(), dtype=string),
'passage': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
特徴辞書 | ||||
答え | 文章 | ストリング | ||
通路 | 文章 | ストリング | ||
query_id | 文章 | ストリング | ||
質問 | 文章 | ストリング | ||
validated_answers | シーケンス(テキスト) | (なし、) | ストリング |
監視されたキー(
as_supervised
docを参照):None
図( tfds.show_examples ): サポートされていません。
例( tfds.as_dataframe ):
- 引用:
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}