mrqa

• Descriptif :

La tâche partagée MRQA 2019 se concentre sur la généralisation de la réponse aux questions. Un système efficace de questions-réponses devrait faire plus que simplement interpoler à partir de l'ensemble de formation pour répondre à des exemples de test tirés de la même distribution : il devrait également être capable d'extrapoler à des exemples hors distribution - un défi beaucoup plus difficile.

MRQA adapte et unifie plusieurs ensembles de données de réponses aux questions distinctes (sous-ensembles soigneusement sélectionnés d'ensembles de données existants) dans le même format (format SQuAD). Parmi eux, six ensembles de données ont été mis à disposition pour la formation et six ensembles de données ont été mis à disposition pour les tests. De petites parties des ensembles de données de formation ont été conservées en tant que données du domaine pouvant être utilisées pour le développement. Les ensembles de données de test contiennent uniquement des données hors domaine. Ce benchmark est publié dans le cadre de la tâche partagée MRQA 2019.

Plus d'informations peuvent être trouvées sur : <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a> .

• Documentation complémentaire : Explorer sur Papers With Code north_east

• Page d' accueil : https://mrqa.github.io/2019/shared.html

• Code source : tfds.text.mrqa.MRQA

• Versions :

  • 1.0.0 (par défaut) : version initiale.

• Structure des fonctionnalités :

FeaturesDict({
    'answers': Sequence(string),
    'context': string,
    'context_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'detected_answers': Sequence({
        'char_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
        'text': string,
        'token_spans': Sequence({
            'end': int32,
            'start': int32,
        }),
    }),
    'qid': string,
    'question': string,
    'question_tokens': Sequence({
        'offsets': int32,
        'tokens': string,
    }),
    'subset': string,
})

• Documentation des fonctionnalités :

• Clés supervisées (Voir as_supervised doc ): None

• Figure ( tfds.show_examples ) : non pris en charge.

mrqa/squad (configuration par défaut)

• Description de la configuration : Le jeu de données SQuAD (Stanford Question Answering Dataset) est utilisé comme base pour le format de tâche partagée. Les crowdworkers voient des paragraphes de Wikipédia et sont invités à écrire des questions avec des réponses extractives.

• Taille du téléchargement : 29.66 MiB

• Taille du jeu de données : 271.43 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{rajpurkar-etal-2016-squad,
    title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
    author = "Rajpurkar, Pranav  and
      Zhang, Jian  and
      Lopyrev, Konstantin  and
      Liang, Percy",
    booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
    month = nov,
    year = "2016",
    address = "Austin, Texas",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D16-1264",
    doi = "10.18653/v1/D16-1264",
    pages = "2383--2392",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/news_qa

• Description de la configuration : Deux groupes de crowdworkers posent et répondent à des questions basées sur des articles de presse de CNN. Les « questionneurs » ne voient que le titre et le résumé de l'article, tandis que les « répondeurs » voient l'article complet. Les questions sans réponse ou signalées dans l'ensemble de données comme étant sans l'accord de l'annotateur sont ignorées.

• Taille du téléchargement : 56.83 MiB

• Taille du jeu de données : 654.25 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{trischler-etal-2017-newsqa,
        title = "{N}ews{QA}: A Machine Comprehension Dataset",
        author = "Trischler, Adam  and
          Wang, Tong  and
          Yuan, Xingdi  and
          Harris, Justin  and
          Sordoni, Alessandro  and
          Bachman, Philip  and
          Suleman, Kaheer",
        booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
        month = aug,
        year = "2017",
        address = "Vancouver, Canada",
        publisher = "Association for Computational Linguistics",
        url = "https://aclanthology.org/W17-2623",
        doi = "10.18653/v1/W17-2623",
        pages = "191--200",
    }
#
@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/trivia_qa

• Description de la configuration : les paires de questions et de réponses proviennent de sites Web de trivia et de quiz-ligue. La version Web de TriviaQA, où les contextes sont extraits des résultats d'une requête de recherche Bing, est utilisée.

• Taille du téléchargement : 383.14 MiB

• Taille du jeu de données : 772.75 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{joshi-etal-2017-triviaqa,
    title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
    author = "Joshi, Mandar  and
      Choi, Eunsol  and
      Weld, Daniel  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P17-1147",
    doi = "10.18653/v1/P17-1147",
    pages = "1601--1611",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/search_qa

• Description de la configuration : les paires de questions et de réponses proviennent de Jeopardy ! Émission de télévision. Les contextes sont composés d'extraits extraits d'une requête de recherche Google.

• Taille du téléchargement : 699.86 MiB

• Taille du jeu de données : 1.38 GiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{dunn2017searchqa,
    title={Searchqa: A new q\&a dataset augmented with context from a search engine},
    author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
    journal={arXiv preprint arXiv:1704.05179},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/hotpot_qa

• Description de la configuration : les crowdworkers voient deux paragraphes liés à une entité de Wikipedia et sont invités à écrire et à répondre à des questions qui nécessitent un raisonnement multi-sauts pour être résolues. Dans le cadre d'origine, ces paragraphes sont mélangés avec des paragraphes distracteurs supplémentaires pour rendre l'inférence plus difficile. Ici, les paragraphes distracteurs ne sont pas inclus.

• Taille du téléchargement : 111.98 MiB

• Taille du jeu de données : 272.87 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{yang-etal-2018-hotpotqa,
    title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
    author = "Yang, Zhilin  and
      Qi, Peng  and
      Zhang, Saizheng  and
      Bengio, Yoshua  and
      Cohen, William  and
      Salakhutdinov, Ruslan  and
      Manning, Christopher D.",
    booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
    month = oct # "-" # nov,
    year = "2018",
    address = "Brussels, Belgium",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D18-1259",
    doi = "10.18653/v1/D18-1259",
    pages = "2369--2380",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/natural_questions

• Description de la configuration : Les questions sont collectées à partir de requêtes de recherche d'informations adressées au moteur de recherche Google par de vrais utilisateurs dans des conditions naturelles. Les réponses aux questions sont annotées dans une page Wikipédia récupérée par les crowdworkers. Deux types d'annotations sont collectés : 1) le cadre de délimitation HTML contenant suffisamment d'informations pour déduire complètement la réponse à la question (réponse longue), et 2) le ou les sous-portées dans le cadre de délimitation qui comprennent la réponse réelle (réponse courte ). Seuls les exemples qui ont des réponses courtes sont utilisés, et la réponse longue est utilisée comme contexte.

• Taille du téléchargement : 121.15 MiB

• Taille du jeu de données : 339.03 MiB

• Mise en cache automatique ( documentation ): Non

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{kwiatkowski-etal-2019-natural,
    title = "Natural Questions: A Benchmark for Question Answering Research",
    author = "Kwiatkowski, Tom  and
      Palomaki, Jennimaria  and
      Redfield, Olivia  and
      Collins, Michael  and
      Parikh, Ankur  and
      Alberti, Chris  and
      Epstein, Danielle  and
      Polosukhin, Illia  and
      Devlin, Jacob  and
      Lee, Kenton  and
      Toutanova, Kristina  and
      Jones, Llion  and
      Kelcey, Matthew  and
      Chang, Ming-Wei  and
      Dai, Andrew M.  and
      Uszkoreit, Jakob  and
      Le, Quoc  and
      Petrov, Slav",
    journal = "Transactions of the Association for Computational Linguistics",
    volume = "7",
    year = "2019",
    address = "Cambridge, MA",
    publisher = "MIT Press",
    url = "https://aclanthology.org/Q19-1026",
    doi = "10.1162/tacl_a_00276",
    pages = "452--466",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/bio_asq

• Description de la configuration : BioASQ, un défi sur l'indexation sémantique biomédicale à grande échelle et la réponse aux questions, contient des paires de questions et de réponses créées par des experts du domaine. Ils sont ensuite liés manuellement à plusieurs articles scientifiques connexes (PubMed). Le résumé complet de chacun des articles liés est téléchargé et utilisé comme contextes individuels (par exemple, une seule question peut être liée à plusieurs articles indépendants pour créer plusieurs paires QA-contexte). Les résumés qui ne contiennent pas exactement la réponse sont rejetés.

• Taille du téléchargement : 2.54 MiB

• Taille du jeu de données : 6.70 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@article{tsatsaronis2015overview,
    title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
    author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
    journal={BMC bioinformatics},
    volume={16},
    number={1},
    pages={1--28},
    year={2015},
    publisher={Springer}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/goutte

• Description de la configuration : Des exemples DROP (Discrete Reasoning Over the content of Paragraphs) ont été collectés de la même manière que SQuAD, où les crowdworkers sont invités à créer des paires question-réponse à partir de paragraphes Wikipedia. Les questions se concentrent sur le raisonnement quantitatif et l'ensemble de données original contient des réponses numériques non extractives ainsi que des réponses textuelles extractives. L'ensemble des questions qui sont extractives est utilisé.

• Taille du téléchargement : 578.25 KiB

• Taille du jeu de données : 5.41 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{dua-etal-2019-drop,
    title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
    author = "Dua, Dheeru  and
      Wang, Yizhong  and
      Dasigi, Pradeep  and
      Stanovsky, Gabriel  and
      Singh, Sameer  and
      Gardner, Matt",
    booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
    month = jun,
    year = "2019",
    address = "Minneapolis, Minnesota",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/N19-1246",
    doi = "10.18653/v1/N19-1246",
    pages = "2368--2378",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/duo_rc

• Description de la configuration : la division ParaphraseRC du jeu de données DuoRC est utilisée. Dans ce cadre, deux résumés d'intrigue différents du même film sont collectés, l'un de Wikipedia et l'autre d'IMDb. Deux ensembles différents de crowdworkers posent et répondent à des questions sur l'intrigue du film, où les "questionneurs" ne sont affichés que sur la page Wikipedia, et les "répondeurs" ne sont affichés que sur la page IMDb. Les questions marquées comme sans réponse sont rejetées.

• Taille du téléchargement : 1.14 MiB

• Taille du jeu de données : 15.04 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{saha-etal-2018-duorc,
    title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
    author = "Saha, Amrita  and
      Aralikatte, Rahul  and
      Khapra, Mitesh M.  and
      Sankaranarayanan, Karthik",
    booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
    month = jul,
    year = "2018",
    address = "Melbourne, Australia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/P18-1156",
    doi = "10.18653/v1/P18-1156",
    pages = "1683--1693",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/course

• Description de la configuration : Le jeu de données RACE (Reading Comprehension Dataset From Examinations) est collecté à partir des examens de compréhension de la lecture en anglais pour les élèves chinois des collèges et lycées. La division du secondaire (qui est plus difficile) est utilisée et les questions implicites de style "remplir les blancs" (qui ne sont pas naturelles pour cette tâche) sont filtrées.

• Taille du téléchargement : 1.49 MiB

• Taille du jeu de données : 3.53 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{lai-etal-2017-race,
    title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
    author = "Lai, Guokun  and
      Xie, Qizhe  and
      Liu, Hanxiao  and
      Yang, Yiming  and
      Hovy, Eduard",
    booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
    month = sep,
    year = "2017",
    address = "Copenhagen, Denmark",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D17-1082",
    doi = "10.18653/v1/D17-1082",
    pages = "785--794",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/relation_extraction

• Description de la configuration : étant donné un jeu de données remplissant des cases, les relations entre les entités sont systématiquement transformées en paires question-réponse à l'aide de modèles. Par exemple, la relation "educated_at(x, y)" entre deux entités x et y apparaissant dans une phrase peut être exprimée comme "Où x a été éduqué?" avec la réponse y. Plusieurs modèles pour chaque type de relation sont collectés. La division de référence zéroshot de l'ensemble de données (généralisation aux relations invisibles) est utilisée, et seuls les exemples positifs sont conservés.

• Taille du téléchargement : 830.88 KiB

• Taille du jeu de données : 3.71 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{levy-etal-2017-zero,
    title = "Zero-Shot Relation Extraction via Reading Comprehension",
    author = "Levy, Omer  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Zettlemoyer, Luke",
    booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
    month = aug,
    year = "2017",
    address = "Vancouver, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/K17-1034",
    doi = "10.18653/v1/K17-1034",
    pages = "333--342",
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."

mrqa/textbook_qa

• Description de la configuration : TextbookQA est collecté à partir des leçons des manuels de sciences de la vie, de sciences de la terre et de sciences physiques du collège. Les questions qui sont accompagnées d'un diagramme ou qui sont des questions « vrai ou faux » ne sont pas incluses.

• Taille du téléchargement : 1.79 MiB

• Taille du jeu de données : 14.04 MiB

• Mise en cache automatique ( documentation ): Oui

• Fractionnements :

• Exemples ( tfds.as_dataframe ):

• Citation :

@inproceedings{kembhavi2017you,
    title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
    author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
    booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
    pages={4999--5007},
    year={2017}
}

@inproceedings{fisch-etal-2019-mrqa,
    title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
    author = "Fisch, Adam  and
      Talmor, Alon  and
      Jia, Robin  and
      Seo, Minjoon  and
      Choi, Eunsol  and
      Chen, Danqi",
    booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/D19-5801",
    doi = "10.18653/v1/D19-5801",
    pages = "1--13",
}

Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."