qa4mre

  • Mô tả :

Bộ dữ liệu QA4MRE được tạo cho các nhiệm vụ dùng chung CLEF 2011/2012/2013 nhằm thúc đẩy nghiên cứu về trả lời câu hỏi và đọc hiểu. Bộ dữ liệu chứa một đoạn văn hỗ trợ và một bộ câu hỏi tương ứng với đoạn văn. Nhiều lựa chọn cho câu trả lời được cung cấp cho mỗi câu hỏi, trong đó chỉ có một câu trả lời đúng. Tập dữ liệu huấn luyện và kiểm tra có sẵn cho đường dẫn chính. Các tài liệu tiêu chuẩn vàng bổ sung có sẵn cho hai nghiên cứu thí điểm: một nghiên cứu về dữ liệu bệnh nhân Alzheimer và nghiên cứu kia về dữ liệu kỳ thi tuyển sinh.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Tài liệu tính năng :
Tính năng Lớp Hình dạng Dtype Sự miêu tả
Tính năngDict
answer_options Sự nối tiếp
answer_options/answer_id Chữ chuỗi
answer_options/answer_str Chữ chuỗi
đúng_answer_id Chữ chuỗi
đúng_answer_str Chữ chuỗi
ID tài liệu Chữ chuỗi
tài liệu_str Chữ chuỗi
question_id Chữ chuỗi
question_str Chữ chuỗi
test_id Chữ chuỗi
topic_id Chữ chuỗi
Tên chủ đề Chữ chuỗi
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (cấu hình mặc định)

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ DE trong năm 2011.

  • Kích thước tải xuống : 217.08 KiB

  • Kích thước tập dữ liệu : 1.69 MiB

  • Chia tách :

Tách ra ví dụ
'train' 120

qa4mre/2011.main.VN

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ EN trong năm 2011.

  • Kích thước tải xuống : 197.74 KiB

  • Kích thước tập dữ liệu : 1.52 MiB

  • Chia tách :

Tách ra ví dụ
'train' 120

qa4mre/2011.main.ES

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ ES trong năm 2011.

  • Kích thước tải xuống : 212.52 KiB

  • Kích thước tập dữ liệu : 1.64 MiB

  • Chia tách :

Tách ra ví dụ
'train' 120

qa4mre/2011.main.IT

  • Mô tả cấu hình : Cấu hình này bao gồm bài hát chính cho ngôn ngữ CNTT trong năm 2011.

  • Kích thước tải xuống : 209.73 KiB

  • Kích thước tập dữ liệu : 1.61 MiB

  • Chia tách :

Tách ra ví dụ
'train' 120

qa4mre/2011.main.RO

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ RO trong năm 2011.

  • Kích thước tải xuống : 216.32 KiB

  • Kích thước tập dữ liệu : 1.68 MiB

  • Chia tách :

Tách ra ví dụ
'train' 120

qa4mre/2012.main.AR

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ AR trong năm 2012.

  • Kích thước tải xuống : 347.83 KiB

  • Kích thước tập dữ liệu : 2.62 MiB

  • Chia tách :

Tách ra ví dụ
'train' 160

qa4mre/2012.main.BG

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ BG trong năm 2012.

  • Kích thước tải xuống : 434.63 KiB

  • Kích thước tập dữ liệu : 3.33 MiB

  • Chia tách :

Tách ra ví dụ
'train' 160

qa4mre/2012.main.DE

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ DE trong năm 2012.

  • Kích thước tải xuống : 275.00 KiB

  • Kích thước tập dữ liệu : 2.02 MiB

  • Chia tách :

Tách ra ví dụ
'train' 160

qa4mre/2012.main.VN

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ EN trong năm 2012.

  • Kích thước tải xuống : 237.76 KiB

  • Kích thước tập dữ liệu : 1.71 MiB

  • Chia tách :

Tách ra ví dụ
'train' 160

qa4mre/2012.main.ES

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ ES trong năm 2012.

  • Kích thước tải xuống : 271.92 KiB

  • Kích thước tập dữ liệu : 1.99 MiB

  • Chia tách :

Tách ra ví dụ
'train' 160

qa4mre/2012.main.IT

  • Mô tả cấu hình : Cấu hình này bao gồm bài hát chính cho ngôn ngữ CNTT trong năm 2012.

  • Kích thước tải xuống : 273.49 KiB

  • Kích thước tập dữ liệu : 2.01 MiB

  • Chia tách :

Tách ra ví dụ
'train' 160

qa4mre/2012.main.RO

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ RO trong năm 2012.

  • Kích thước tải xuống : 272.99 KiB

  • Kích thước tập dữ liệu : 2.01 MiB

  • Chia tách :

Tách ra ví dụ
'train' 160

qa4mre/2012.alzheimers.VN

  • Mô tả cấu hình : Cấu hình này bao gồm bản nhạc alzheimers cho ngôn ngữ EN trong năm 2012.

  • Kích thước tải xuống : 173.19 KiB

  • Kích thước tập dữ liệu : 1.57 MiB

  • Chia tách :

Tách ra ví dụ
'train' 40

qa4mre/2013.main.AR

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ AR trong năm 2013.

  • Kích thước tải xuống : 369.44 KiB

  • Kích thước tập dữ liệu : 4.04 MiB

  • Chia tách :

Tách ra ví dụ
'train' 284

qa4mre/2013.main.BG

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ BG trong năm 2013.

  • Kích thước tải xuống : 452.74 KiB

  • Kích thước tập dữ liệu : 5.21 MiB

  • Chia tách :

Tách ra ví dụ
'train' 284

qa4mre/2013.main.VN

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ EN trong năm 2013.

  • Kích thước tải xuống : 268.52 KiB

  • Kích thước tập dữ liệu : 2.81 MiB

  • Chia tách :

Tách ra ví dụ
'train' 284

qa4mre/2013.main.ES

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ ES trong năm 2013.

  • Kích thước tải xuống : 307.78 KiB

  • Kích thước tập dữ liệu : 3.35 MiB

  • Chia tách :

Tách ra ví dụ
'train' 284

qa4mre/2013.main.RO

  • Mô tả cấu hình : Cấu hình này bao gồm rãnh chính cho ngôn ngữ RO trong năm 2013.

  • Kích thước tải xuống : 306.16 KiB

  • Kích thước tập dữ liệu : 3.26 MiB

  • Chia tách :

Tách ra ví dụ
'train' 284

qa4mre/2013.alzheimers.VN

  • Mô tả cấu hình : Cấu hình này bao gồm bản nhạc alzheimers cho ngôn ngữ EN trong năm 2013.

  • Kích thước tải xuống : 267.98 KiB

  • Kích thước tập dữ liệu : 2.50 MiB

  • Chia tách :

Tách ra ví dụ
'train' 40

qa4mre/2013.entrance_exam.EN

  • Mô tả cấu hình : Cấu hình này bao gồm bài kiểm tra đầu vào cho ngôn ngữ EN trong năm 2013.

  • Kích thước tải xuống : 53.32 KiB

  • Kích thước tập dữ liệu : 186.01 KiB

  • Chia tách :

Tách ra ví dụ
'train' 46