- الوصف :
تركز المهمة المشتركة MRQA 2019 على التعميم في الإجابة على الأسئلة. يجب أن يقوم نظام الإجابة على الأسئلة الفعال بأكثر من مجرد إقحام من مجموعة التدريب للإجابة على أمثلة الاختبار المستمدة من نفس التوزيع: يجب أن يكون قادرًا أيضًا على استقراء الأمثلة خارج التوزيع - وهو تحدٍ أصعب بكثير.
تتكيف MRQA وتوحد مجموعات بيانات متعددة للإجابة على الأسئلة (مجموعات فرعية مختارة بعناية من مجموعات البيانات الحالية) في نفس التنسيق (تنسيق SQuAD). من بينها ، تم توفير ست مجموعات بيانات للتدريب ، وست مجموعات بيانات متاحة للاختبار. تم الاحتفاظ بأجزاء صغيرة من مجموعات بيانات التدريب كبيانات في المجال يمكن استخدامها للتطوير. تحتوي مجموعات بيانات الاختبار على بيانات خارج المجال فقط. تم إصدار هذا المعيار كجزء من مهمة MRQA 2019 المشتركة.
يمكن العثور على مزيد من المعلومات على: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a>
.
وثائق إضافية : استكشف في الأوراق باستخدام الرمز
الصفحة الرئيسية https://mrqa.github.io/2019/shared.html
كود المصدر :
tfds.text.mrqa.MRQA
إصدارات :
-
1.0.0
(افتراضي): الإصدار الأولي.
-
هيكل الميزة :
FeaturesDict({
'answers': Sequence(string),
'context': string,
'context_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'detected_answers': Sequence({
'char_spans': Sequence({
'end': int32,
'start': int32,
}),
'text': string,
'token_spans': Sequence({
'end': int32,
'start': int32,
}),
}),
'qid': string,
'question': string,
'question_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'subset': string,
})
- وثائق الميزة :
ميزة | فصل | شكل | نوع | وصف |
---|---|---|---|---|
الميزات | ||||
الإجابات | تسلسل (موتر) | (لا أحد،) | سلسلة | |
سياق الكلام | موتر | سلسلة | ||
Context_tokens | تسلسل | |||
Context_tokens / offsets | موتر | int32 | ||
Context_tokens / الرموز المميزة | موتر | سلسلة | ||
الكشف عن الإجابات | تسلسل | |||
الكشف عن الإجابات / char_spans | تسلسل | |||
الكشف عن الإجابات / char_spans / النهاية | موتر | int32 | ||
الكشف عن الإجابة / char_spans / البدء | موتر | int32 | ||
الكشف عن الإجابات / النص | موتر | سلسلة | ||
الكشف عن الإجابات / الرموز المميزة | تسلسل | |||
الكشف عن الإجابات / الرموز المميزة / نهاية | موتر | int32 | ||
الكشف عن الإجابات / الرموز المميزة / البدء | موتر | int32 | ||
قيد | موتر | سلسلة | ||
سؤال | موتر | سلسلة | ||
أسئلة | تسلسل | |||
question_tokens / تعويضات | موتر | int32 | ||
question_tokens / الرموز | موتر | سلسلة | ||
مجموعة فرعية | موتر | سلسلة |
المفاتيح الخاضعة للإشراف (انظر المستند
as_supervised
):None
الشكل ( tfds.show_examples ): غير مدعوم.
مرقا / فرقة (التكوين الافتراضي)
وصف التكوين : تُستخدم مجموعة بيانات SQuAD (مجموعة بيانات الإجابة على الأسئلة في ستانفورد) كأساس لتنسيق المهمة المشتركة. يتم عرض Crowdworkers على فقرات من ويكيبيديا ويطلب منهم كتابة أسئلة مع إجابات استخلاصية.
حجم التحميل :
29.66 MiB
حجم مجموعة البيانات :
271.43 MiB
التخزين المؤقت التلقائي ( التوثيق ): لا
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'train' | 86.588 |
'validation' | 10507 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{rajpurkar-etal-2016-squad,
title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
author = "Rajpurkar, Pranav and
Zhang, Jian and
Lopyrev, Konstantin and
Liang, Percy",
booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2016",
address = "Austin, Texas",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D16-1264",
doi = "10.18653/v1/D16-1264",
pages = "2383--2392",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / news_qa
وصف التكوين : تقوم مجموعتان من العاملين في الحشد بطرح الأسئلة والإجابة عليها بناءً على المقالات الإخبارية لشبكة CNN. يرى "المستجوبون" عنوان المقالة وملخصها فقط بينما يرى "المجيبون" المقالة كاملة. يتم تجاهل الأسئلة التي ليس لها إجابة أو التي تم وضع علامة عليها في مجموعة البيانات لتكون بدون اتفاق توضيحي.
حجم التحميل :
56.83 MiB
حجم مجموعة البيانات :
654.25 MiB
التخزين المؤقت التلقائي ( التوثيق ): لا
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'train' | 74160 |
'validation' | 4212 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{trischler-etal-2017-newsqa,
title = "{N}ews{QA}: A Machine Comprehension Dataset",
author = "Trischler, Adam and
Wang, Tong and
Yuan, Xingdi and
Harris, Justin and
Sordoni, Alessandro and
Bachman, Philip and
Suleman, Kaheer",
booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/W17-2623",
doi = "10.18653/v1/W17-2623",
pages = "191--200",
}
#
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / trivia_qa
وصف التكوين : يتم الحصول على أزواج الأسئلة والأجوبة من مواقع الويب التوافه والاختبارية. يتم استخدام إصدار الويب من TriviaQA ، حيث يتم استرداد السياقات من نتائج استعلام بحث Bing.
حجم التحميل :
383.14 MiB
حجم مجموعة البيانات :
772.75 MiB
التخزين المؤقت التلقائي ( التوثيق ): لا
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'train' | 61688 |
'validation' | 7785 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{joshi-etal-2017-triviaqa,
title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
author = "Joshi, Mandar and
Choi, Eunsol and
Weld, Daniel and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P17-1147",
doi = "10.18653/v1/P17-1147",
pages = "1601--1611",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / search_qa
وصف التكوين : تم الحصول على أزواج الأسئلة والأجوبة من لعبة Jeopardy! برنامج تلفزيوني. تتكون السياقات من مقتطفات مسترجعة من استعلام بحث Google.
حجم التحميل :
699.86 MiB
حجم مجموعة البيانات :
1.38 GiB
التخزين المؤقت التلقائي ( التوثيق ): لا
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'train' | 117384 |
'validation' | 16980 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@article{dunn2017searchqa,
title={Searchqa: A new q\&a dataset augmented with context from a search engine},
author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
journal={arXiv preprint arXiv:1704.05179},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / hotpot_qa
وصف التكوين : يظهر Crowdworkers فقرتين مرتبطتين بالكيان من ويكيبيديا ويطلب منهم كتابة والإجابة على الأسئلة التي تتطلب تفكيرًا متعدد القفزات لحلها. في الإعداد الأصلي ، يتم خلط هذه الفقرات مع فقرات مشتتة إضافية لجعل الاستدلال أكثر صعوبة. هنا ، لم يتم تضمين الفقرات المشتتة.
حجم التحميل :
111.98 MiB
حجم مجموعة البيانات :
272.87 MiB
التخزين المؤقت التلقائي ( التوثيق ): لا
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'train' | 72928 |
'validation' | 5،901 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{yang-etal-2018-hotpotqa,
title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
author = "Yang, Zhilin and
Qi, Peng and
Zhang, Saizheng and
Bengio, Yoshua and
Cohen, William and
Salakhutdinov, Ruslan and
Manning, Christopher D.",
booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
month = oct # "-" # nov,
year = "2018",
address = "Brussels, Belgium",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D18-1259",
doi = "10.18653/v1/D18-1259",
pages = "2369--2380",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقع / أسئلة_طبيعية
وصف التكوين : يتم جمع الأسئلة من استعلامات البحث عن المعلومات إلى محرك بحث Google بواسطة مستخدمين حقيقيين في ظل الظروف الطبيعية. الأجوبة على الأسئلة مشروحة في صفحة ويكيبيديا المسترجعة من قبل الحشود. يتم جمع نوعين من التعليقات التوضيحية: 1) المربع المحيط بتنسيق HTML الذي يحتوي على معلومات كافية لاستنتاج إجابة السؤال بالكامل (إجابة طويلة) ، و 2) الفترة الفرعية أو الفترات الفرعية داخل المربع المحيط الذي يشتمل على الإجابة الفعلية (إجابة قصيرة) ). يتم استخدام الأمثلة التي تحتوي على إجابات قصيرة فقط ، ويتم استخدام الإجابة الطويلة كسياق.
حجم التحميل :
121.15 MiB
حجم مجموعة البيانات :
339.03 MiB
التخزين المؤقت التلقائي ( التوثيق ): لا
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'train' | 104.071 |
'validation' | 12،836 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@article{kwiatkowski-etal-2019-natural,
title = "Natural Questions: A Benchmark for Question Answering Research",
author = "Kwiatkowski, Tom and
Palomaki, Jennimaria and
Redfield, Olivia and
Collins, Michael and
Parikh, Ankur and
Alberti, Chris and
Epstein, Danielle and
Polosukhin, Illia and
Devlin, Jacob and
Lee, Kenton and
Toutanova, Kristina and
Jones, Llion and
Kelcey, Matthew and
Chang, Ming-Wei and
Dai, Andrew M. and
Uszkoreit, Jakob and
Le, Quoc and
Petrov, Slav",
journal = "Transactions of the Association for Computational Linguistics",
volume = "7",
year = "2019",
address = "Cambridge, MA",
publisher = "MIT Press",
url = "https://aclanthology.org/Q19-1026",
doi = "10.1162/tacl_a_00276",
pages = "452--466",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / bio_asq
وصف التكوين : يحتوي BioASQ ، وهو تحدي على الفهرسة الدلالية الطبية الحيوية على نطاق واسع والإجابة على الأسئلة ، على أزواج الأسئلة والأجوبة التي تم إنشاؤها بواسطة خبراء المجال. ثم يتم ربطها يدويًا بمقالات علمية متعددة ذات صلة (PubMed). يتم تنزيل الملخص الكامل لكل مقالة مرتبطة واستخدامه كسياقات فردية (على سبيل المثال ، يمكن ربط سؤال واحد بمقالات متعددة ومستقلة لإنشاء أزواج متعددة من سياق ضمان الجودة). يتم تجاهل الملخصات التي لا تحتوي بالضبط على الإجابة.
حجم التحميل :
2.54 MiB
حجم مجموعة البيانات :
6.70 MiB
التخزين المؤقت التلقائي ( الوثائق ): نعم
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'test' | 1،504 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@article{tsatsaronis2015overview,
title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
journal={BMC bioinformatics},
volume={16},
number={1},
pages={1--28},
year={2015},
publisher={Springer}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقع / قطرة
وصف التكوين : تم جمع أمثلة DROP (الاستدلال المنفصل فوق محتوى الفقرات) بشكل مشابه لـ SQuAD ، حيث يُطلب من عمال الحشود إنشاء أزواج من الأسئلة والإجابات من فقرات ويكيبيديا. تركز الأسئلة على التفكير الكمي ، وتحتوي مجموعة البيانات الأصلية على إجابات رقمية غير استخلاصية بالإضافة إلى إجابات نصية مستخرجة. يتم استخدام مجموعة الأسئلة الاستخراجية.
حجم التحميل :
578.25 KiB
حجم مجموعة البيانات :
5.41 MiB
التخزين المؤقت التلقائي ( الوثائق ): نعم
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'test' | 1،503 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{dua-etal-2019-drop,
title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
author = "Dua, Dheeru and
Wang, Yizhong and
Dasigi, Pradeep and
Stanovsky, Gabriel and
Singh, Sameer and
Gardner, Matt",
booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
month = jun,
year = "2019",
address = "Minneapolis, Minnesota",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/N19-1246",
doi = "10.18653/v1/N19-1246",
pages = "2368--2378",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / duo_rc
وصف التكوين : يتم استخدام تقسيم ParaphraseRC لمجموعة بيانات DuoRC. في هذا الإعداد ، يتم جمع ملخّصين مختلفين عن نفس الفيلم - أحدهما من Wikipedia والآخر من IMDb. تقوم مجموعتان مختلفتان من العاملين في الحشد بطرح الأسئلة والإجابة عليها حول حبكة الفيلم ، حيث يتم عرض "المستجوبين" فقط على صفحة ويكيبيديا ، ويتم عرض "المجيبون" على صفحة IMDb فقط. يتم تجاهل الأسئلة التي تم تمييزها على أنها غير قابلة للإجابة.
حجم التحميل :
1.14 MiB
حجم مجموعة البيانات :
15.04 MiB
التخزين المؤقت التلقائي ( الوثائق ): نعم
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'test' | 1،501 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{saha-etal-2018-duorc,
title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
author = "Saha, Amrita and
Aralikatte, Rahul and
Khapra, Mitesh M. and
Sankaranarayanan, Karthik",
booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2018",
address = "Melbourne, Australia",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P18-1156",
doi = "10.18653/v1/P18-1156",
pages = "1683--1693",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقع / عرق
وصف التكوين : يتم جمع مجموعة بيانات الاستيعاب من الامتحانات (RACE) من اختبارات فهم القراءة باللغة الإنجليزية لطلاب المدارس الصينية المتوسطة والثانوية. يتم استخدام تقسيم المدرسة الثانوية (وهو أكثر تحديًا) ويتم أيضًا تصفية أسئلة أسلوب "ملء الفراغ" الضمنية (والتي تعتبر غير طبيعية لهذه المهمة).
حجم التحميل :
1.49 MiB
حجم مجموعة البيانات :
3.53 MiB
التخزين المؤقت التلقائي ( الوثائق ): نعم
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'test' | 674 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{lai-etal-2017-race,
title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
author = "Lai, Guokun and
Xie, Qizhe and
Liu, Hanxiao and
Yang, Yiming and
Hovy, Eduard",
booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
month = sep,
year = "2017",
address = "Copenhagen, Denmark",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D17-1082",
doi = "10.18653/v1/D17-1082",
pages = "785--794",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / علاقة_استخراج
وصف التكوين : بالنظر إلى مجموعة البيانات التي تملأ الخانات الزمنية ، يتم تحويل العلاقات بين الكيانات بشكل منهجي إلى أزواج للإجابة على الأسئلة باستخدام القوالب. على سبيل المثال ، يمكن التعبير عن العلاقة المتعلمة (س ، ص) بين كيانين س وص ظاهرين في جملة على النحو التالي: "أين تلقى تعليم س؟" مع الإجابة ذ. يتم جمع قوالب متعددة لكل نوع من أنواع العلاقات. يتم استخدام الانقسام المعياري الصفري لمجموعة البيانات (التعميم على العلاقات غير المرئية) ، ويتم الاحتفاظ بالأمثلة الإيجابية فقط.
حجم التحميل :
830.88 KiB
حجم مجموعة البيانات :
3.71 MiB
التخزين المؤقت التلقائي ( الوثائق ): نعم
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'test' | 2948 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{levy-etal-2017-zero,
title = "Zero-Shot Relation Extraction via Reading Comprehension",
author = "Levy, Omer and
Seo, Minjoon and
Choi, Eunsol and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/K17-1034",
doi = "10.18653/v1/K17-1034",
pages = "333--342",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
مرقا / textbook_qa
وصف التكوين : يتم جمع TextbookQA من دروس المدرسة الإعدادية في كتب علوم الحياة وعلوم الأرض والعلوم الفيزيائية. لا يتم تضمين الأسئلة المصاحبة للرسم التخطيطي ، أو الأسئلة "صواب أو خطأ".
حجم التحميل :
1.79 MiB
حجم مجموعة البيانات :
14.04 MiB
التخزين المؤقت التلقائي ( الوثائق ): نعم
الانقسامات :
انشق، مزق | أمثلة |
---|---|
'test' | 1،503 |
- أمثلة ( tfds.as_dataframe ):
- الاقتباس :
@inproceedings{kembhavi2017you,
title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
pages={4999--5007},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."