qa4mre

  • Descripción :

El conjunto de datos QA4MRE se creó para las tareas compartidas de CLEF 2011/2012/2013 para promover la investigación en respuesta a preguntas y comprensión lectora. El conjunto de datos contiene un pasaje de apoyo y un conjunto de preguntas correspondientes al pasaje. Se proporcionan múltiples opciones de respuesta para cada pregunta, de las cuales solo una es correcta. Los conjuntos de datos de entrenamiento y prueba están disponibles para la pista principal. Los documentos estándar de oro adicionales están disponibles para dos estudios piloto: uno sobre datos de alzheimer y el otro sobre datos de exámenes de ingreso.

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
opciones de respuesta Secuencia
answer_options/answer_id Texto cadena
answer_options/answer_str Texto cadena
ID_respuesta_correcta Texto cadena
cadena_respuesta_correcta Texto cadena
id_documento Texto cadena
document_str Texto cadena
pregunta_id Texto cadena
pregunta_str Texto cadena
test_id Texto cadena
topic_id Texto cadena
nombre del tema Texto cadena
@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (configuración predeterminada)

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma DE en el año 2011.

  • Tamaño de la descarga : 217.08 KiB

  • Tamaño del conjunto de datos : 1.69 MiB

  • Divisiones :

Separar Ejemplos
'train' 120

qa4mre/2011.main.ES

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma EN en el año 2011.

  • Tamaño de la descarga : 197.74 KiB

  • Tamaño del conjunto de datos : 1.52 MiB

  • Divisiones :

Separar Ejemplos
'train' 120

qa4mre/2011.main.ES

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma ES en el año 2011.

  • Tamaño de la descarga : 212.52 KiB

  • Tamaño del conjunto de datos : 1.64 MiB

  • Divisiones :

Separar Ejemplos
'train' 120

qa4mre/2011.main.IT

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje de TI en el año 2011.

  • Tamaño de la descarga : 209.73 KiB

  • Tamaño del conjunto de datos : 1.61 MiB

  • Divisiones :

Separar Ejemplos
'train' 120

qa4mre/2011.main.RO

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje RO en el año 2011.

  • Tamaño de la descarga : 216.32 KiB

  • Tamaño del conjunto de datos : 1.68 MiB

  • Divisiones :

Separar Ejemplos
'train' 120

qa4mre/2012.main.AR

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje AR en el año 2012.

  • Tamaño de la descarga : 347.83 KiB

  • Tamaño del conjunto de datos : 2.62 MiB

  • Divisiones :

Separar Ejemplos
'train' 160

qa4mre/2012.main.BG

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje BG en el año 2012.

  • Tamaño de la descarga : 434.63 KiB

  • Tamaño del conjunto de datos : 3.33 MiB

  • Divisiones :

Separar Ejemplos
'train' 160

qa4mre/2012.main.DE

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma DE en el año 2012.

  • Tamaño de la descarga : 275.00 KiB

  • Tamaño del conjunto de datos : 2.02 MiB

  • Divisiones :

Separar Ejemplos
'train' 160

qa4mre/2012.main.ES

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma EN en el año 2012.

  • Tamaño de la descarga : 237.76 KiB

  • Tamaño del conjunto de datos : 1.71 MiB

  • Divisiones :

Separar Ejemplos
'train' 160

qa4mre/2012.main.ES

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma ES en el año 2012.

  • Tamaño de la descarga : 271.92 KiB

  • Tamaño del conjunto de datos : 1.99 MiB

  • Divisiones :

Separar Ejemplos
'train' 160

qa4mre/2012.main.IT

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje de TI en el año 2012.

  • Tamaño de la descarga : 273.49 KiB

  • Tamaño del conjunto de datos : 2.01 MiB

  • Divisiones :

Separar Ejemplos
'train' 160

qa4mre/2012.main.RO

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje RO en el año 2012.

  • Tamaño de la descarga : 272.99 KiB

  • Tamaño del conjunto de datos : 2.01 MiB

  • Divisiones :

Separar Ejemplos
'train' 160

qa4mre/2012.alzheimers.ES

  • Descripción de la configuración : esta configuración incluye la pista de alzheimers para el idioma EN en el año 2012.

  • Tamaño de la descarga : 173.19 KiB

  • Tamaño del conjunto de datos : 1.57 MiB

  • Divisiones :

Separar Ejemplos
'train' 40

qa4mre/2013.main.AR

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje AR en el año 2013.

  • Tamaño de la descarga : 369.44 KiB

  • Tamaño del conjunto de datos : 4.04 MiB

  • Divisiones :

Separar Ejemplos
'train' 284

qa4mre/2013.main.BG

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje BG en el año 2013.

  • Tamaño de la descarga : 452.74 KiB

  • Tamaño del conjunto de datos : 5.21 MiB

  • Divisiones :

Separar Ejemplos
'train' 284

qa4mre/2013.main.ES

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma EN en el año 2013.

  • Tamaño de la descarga : 268.52 KiB

  • Tamaño del conjunto de datos : 2.81 MiB

  • Divisiones :

Separar Ejemplos
'train' 284

qa4mre/2013.main.ES

  • Descripción de la configuración : esta configuración incluye la pista principal para el idioma ES en el año 2013.

  • Tamaño de la descarga : 307.78 KiB

  • Tamaño del conjunto de datos : 3.35 MiB

  • Divisiones :

Separar Ejemplos
'train' 284

qa4mre/2013.main.RO

  • Descripción de la configuración : esta configuración incluye la pista principal para el lenguaje RO en el año 2013.

  • Tamaño de la descarga : 306.16 KiB

  • Tamaño del conjunto de datos : 3.26 MiB

  • Divisiones :

Separar Ejemplos
'train' 284

qa4mre/2013.alzheimers.ES

  • Descripción de la configuración : esta configuración incluye la pista de alzheimers para el idioma EN en el año 2013.

  • Tamaño de la descarga : 267.98 KiB

  • Tamaño del conjunto de datos : 2.50 MiB

  • Divisiones :

Separar Ejemplos
'train' 40

qa4mre/2013.entrance_exam.ES

  • Descripción de la configuración : esta configuración incluye la pista del examen de entrada para el idioma EN en el año 2013.

  • Tamaño de la descarga : 53.32 KiB

  • Tamaño del conjunto de datos : 186.01 KiB

  • Divisiones :

Separar Ejemplos
'train' 46