消しゴム_multi_rc

  • 説明:

Eraser Multi RC は、複数行のパッセージに対するクエリのデータセットであり、回答と論理的根拠が含まれています。このデータセットの各例には、次の 5 つの部分があります

  1. 複数行のパッセージ 2. パッセージに関するクエリ 3. クエリに対する回答
  2. 答えが正しいか間違っているかについての分類 5. 分類を正当化する説明
スプリット
'test' 4,848
'train' 24,029
'validation' 3,214
  • 機能構造:
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=string)),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'passage': Text(shape=(), dtype=string),
    'query_and_answer': Text(shape=(), dtype=string),
})
  • 機能のドキュメント:
特徴クラスDtype説明
特徴辞書
証拠シーケンス(テキスト) (なし、)ストリング
ラベルクラスラベルint64
通路文章ストリング
query_and_answer文章ストリング
  • 引用
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}