eraser_multi_rc

  • Mô tả :

Eraser Multi RC là một bộ dữ liệu cho các truy vấn về các đoạn nhiều dòng, cùng với câu trả lời và lý do hợp lý. Mỗi ví dụ trong tập dữ liệu này có 5 phần sau

  1. Đoạn văn có nhiều dòng 2. Truy vấn về đoạn văn 3. Câu trả lời cho truy vấn
  2. A Phân loại xem câu trả lời đúng hay sai 5. Giải thích biện minh cho sự phân loại
Tách ra ví dụ
'test' 4.848
'train' 24.029
'validation' 3,214
  • Cấu trúc tính năng :
FeaturesDict({
    'evidences': Sequence(Text(shape=(), dtype=string)),
    'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'passage': Text(shape=(), dtype=string),
    'query_and_answer': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự mô tả
Tính năngDict
bằng chứng Trình tự (Văn bản) (Không có,) sợi dây
nhãn mác LớpNhãn int64
đoạn văn Chữ sợi dây
query_and_answer Chữ sợi dây
  • trích dẫn :
@unpublished{eraser2019,
    title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
    author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
    author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
    title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
    booktitle = {NAACL},
    year = {2018}
}