qa4mre

• Descriptif :

L'ensemble de données QA4MRE a été créé pour les tâches partagées CLEF 2011/2012/2013 afin de promouvoir la recherche sur la réponse aux questions et la compréhension en lecture. L'ensemble de données contient un passage d'appui et un ensemble de questions correspondant au passage. Plusieurs options de réponses sont fournies pour chaque question, dont une seule est correcte. Les ensembles de données d'entraînement et de test sont disponibles pour la piste principale. Des documents de référence supplémentaires sont disponibles pour deux études pilotes : l'une sur les données relatives à la maladie d'Alzheimer et l'autre sur les données des examens d'entrée.

• Page d' accueil : http://nlp.uned.es/clef-qa/repository/pastCampaigns.php

• Code source : tfds.datasets.qa4mre.Builder

• Versions :

  • 0.1.0 (par défaut) : aucune note de version.

• Mise en cache automatique ( documentation ): Oui

• Structure des fonctionnalités :

FeaturesDict({
    'answer_options': Sequence({
        'answer_id': Text(shape=(), dtype=string),
        'answer_str': Text(shape=(), dtype=string),
    }),
    'correct_answer_id': Text(shape=(), dtype=string),
    'correct_answer_str': Text(shape=(), dtype=string),
    'document_id': Text(shape=(), dtype=string),
    'document_str': Text(shape=(), dtype=string),
    'question_id': Text(shape=(), dtype=string),
    'question_str': Text(shape=(), dtype=string),
    'test_id': Text(shape=(), dtype=string),
    'topic_id': Text(shape=(), dtype=string),
    'topic_name': Text(shape=(), dtype=string),
})

• Documentation des fonctionnalités :

• Clés supervisées (Voir as_supervised doc ): None

• Figure ( tfds.show_examples ) : non pris en charge.

• Citation :

@InProceedings{10.1007/978-3-642-40802-1_29,
author="Pe{\~{n} }as, Anselmo
and Hovy, Eduard
and Forner, Pamela
and Rodrigo, {\'A}lvaro
and Sutcliffe, Richard
and Morante, Roser",
editor="Forner, Pamela
and M{\"u}ller, Henning
and Paredes, Roberto
and Rosso, Paolo
and Stein, Benno",
title="QA4MRE 2011-2013: Overview of Question Answering for Machine Reading Evaluation",
booktitle="Information Access Evaluation. Multilinguality, Multimodality, and Visualization",
year="2013",
publisher="Springer Berlin Heidelberg",
address="Berlin, Heidelberg",
pages="303--320",
abstract="This paper describes the methodology for testing the performance of Machine Reading systems through Question Answering and Reading Comprehension Tests. This was the attempt of the QA4MRE challenge which was run as a Lab at CLEF 2011--2013. The traditional QA task was replaced by a new Machine Reading task, whose intention was to ask questions that required a deep knowledge of individual short texts and in which systems were required to choose one answer, by analysing the corresponding test document in conjunction with background text collections provided by the organization. Four different tasks have been organized during these years: Main Task, Processing Modality and Negation for Machine Reading, Machine Reading of Biomedical Texts about Alzheimer's disease, and Entrance Exams. This paper describes their motivation, their goals, their methodology for preparing the data sets, their background collections, their metrics used for the evaluation, and the lessons learned along these three years.",
isbn="978-3-642-40802-1"
}

qa4mre/2011.main.DE (configuration par défaut)

• Description de la configuration : Cette configuration inclut la piste principale pour la langue DE en 2011.

• Taille du téléchargement : 217.08 KiB

• Taille du jeu de données : 1.69 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2011.main.FR

• Description de la configuration : Cette configuration inclut la piste principale pour la langue EN en 2011.

• Taille du téléchargement : 197.74 KiB

• Taille du jeu de données : 1.52 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2011.main.ES

• Description de la configuration : Cette configuration inclut la piste principale pour la langue ES en 2011.

• Taille du téléchargement : 212.52 KiB

• Taille du jeu de données : 1.64 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2011.main.IT

• Description de la configuration : Cette configuration comprend la piste principale pour le langage informatique de l'année 2011.

• Taille du téléchargement : 209.73 KiB

• Taille du jeu de données : 1.61 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2011.main.RO

• Description de la configuration : Cette configuration inclut la piste principale pour le langage RO en 2011.

• Taille du téléchargement : 216.32 KiB

• Taille du jeu de données : 1.68 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.main.AR

• Description de la configuration : Cette configuration inclut la piste principale pour le langage AR de l'année 2012.

• Taille du téléchargement : 347.83 KiB

• Taille du jeu de données : 2.62 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.main.BG

• Description de la configuration : Cette configuration inclut la piste principale pour le langage BG en 2012.

• Taille du téléchargement : 434.63 KiB

• Taille du jeu de données : 3.33 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.main.DE

• Description de la configuration : Cette configuration inclut la piste principale pour la langue DE en 2012.

• Taille du téléchargement : 275.00 KiB

• Taille du jeu de données : 2.02 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.main.FR

• Description de la configuration : Cette configuration comprend la piste principale pour la langue EN en 2012.

• Taille du téléchargement : 237.76 KiB

• Taille du jeu de données : 1.71 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.main.ES

• Description de la configuration : Cette configuration comprend la piste principale pour la langue ES en 2012.

• Taille du téléchargement : 271.92 KiB

• Taille du jeu de données : 1.99 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.main.IT

• Description de la configuration : Cette configuration comprend la piste principale pour le langage informatique de l'année 2012.

• Taille du téléchargement : 273.49 KiB

• Taille du jeu de données : 2.01 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.main.RO

• Description de la configuration : Cette configuration inclut la piste principale pour le langage RO en 2012.

• Taille du téléchargement : 272.99 KiB

• Taille du jeu de données : 2.01 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2012.alzheimers.FR

• Description de la configuration : Cette configuration inclut la piste Alzheimer pour la langue EN en 2012.

• Taille du téléchargement : 173.19 KiB

• Taille du jeu de données : 1.57 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2013.main.AR

• Description de la configuration : Cette configuration inclut la piste principale pour le langage AR en 2013.

• Taille du téléchargement : 369.44 KiB

• Taille du jeu de données : 4.04 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2013.main.BG

• Description de la configuration : Cette configuration inclut la piste principale pour le langage BG en 2013.

• Taille du téléchargement : 452.74 KiB

• Taille du jeu de données : 5.21 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2013.main.FR

• Description de la configuration : cette configuration comprend la piste principale pour la langue EN en 2013.

• Taille du téléchargement : 268.52 KiB

• Taille du jeu de données : 2.81 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2013.main.ES

• Description de la configuration : Cette configuration inclut la piste principale pour la langue ES en 2013.

• Taille du téléchargement : 307.78 KiB

• Taille du jeu de données : 3.35 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2013.main.RO

• Description de la configuration : cette configuration comprend la piste principale pour la langue RO en 2013.

• Taille du téléchargement : 306.16 KiB

• Taille du jeu de données : 3.26 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2013.alzheimers.FR

• Description de la configuration : Cette configuration inclut la piste Alzheimer pour la langue EN en 2013.

• Taille du téléchargement : 267.98 KiB

• Taille du jeu de données : 2.50 MiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

qa4mre/2013.entrance_exam.FR

• Description de la configuration : Cette configuration inclut la piste entry_exam pour la langue EN en 2013.

• Taille du téléchargement : 53.32 KiB

• Taille du jeu de données : 186.01 KiB

• Fractionnements :

• Exemples ( tfds.as_dataframe ):