- Açıklama :
MRQA 2019 Paylaşılan Görev, soru yanıtlamada genellemeye odaklanır. Etkili bir soru yanıtlama sistemi, aynı dağıtımdan alınan test örneklerini yanıtlamak için yalnızca eğitim setinden enterpolasyon yapmaktan daha fazlasını yapmalıdır: ayrıca dağıtım dışı örneklere de tahminde bulunabilmelidir - bu çok daha zor bir iştir.
MRQA, birden fazla farklı soru yanıtlama veri setini (mevcut veri setlerinin dikkatlice seçilmiş alt kümeleri) aynı biçime (SQuAD biçimi) uyarlar ve birleştirir. Bunların arasında eğitim için altı veri seti ve test için altı veri seti kullanıma sunuldu. Eğitim veri kümelerinin küçük bölümleri, geliştirme için kullanılabilecek alan içi veriler olarak tutuldu. Test veri kümeleri yalnızca alan dışı verileri içerir. Bu kıyaslama, MRQA 2019 Paylaşılan Görevinin bir parçası olarak yayınlandı.
Daha fazla bilgi şu adreste bulunabilir: <a href="https://mrqa.github.io/2019/shared.html">https://mrqa.github.io/2019/shared.html</a>
.
Ana sayfa : https://mrqa.github.io/2019/shared.html
Kaynak kodu :
tfds.text.mrqa.MRQA
sürümler :
-
1.0.0
(varsayılan): İlk sürüm.
-
Özellik yapısı :
FeaturesDict({
'answers': Sequence(string),
'context': string,
'context_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'detected_answers': Sequence({
'char_spans': Sequence({
'end': int32,
'start': int32,
}),
'text': string,
'token_spans': Sequence({
'end': int32,
'start': int32,
}),
}),
'qid': string,
'question': string,
'question_tokens': Sequence({
'offsets': int32,
'tokens': string,
}),
'subset': string,
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
ÖzelliklerDict | ||||
Yanıtlar | Sıra(Tensor) | (Hiçbiri,) | sicim | |
bağlam | tensör | sicim | ||
bağlam_belirteçleri | Sekans | |||
bağlam_belirteçleri/ofsetler | tensör | int32 | ||
bağlam_belirteçler/belirteçler | tensör | sicim | ||
tespit edilen_cevaplar | Sekans | |||
tespit_yanıtları/char_spans | Sekans | |||
tespit_yanıtları/char_spans/end | tensör | int32 | ||
Detected_answers/char_spans/start | tensör | int32 | ||
algılanan_cevaplar/metin | tensör | sicim | ||
tespit_yanıtları/token_spans | Sekans | |||
tespit_yanıtları/token_spans/end | tensör | int32 | ||
Detected_answers/token_spans/start | tensör | int32 | ||
qid | tensör | sicim | ||
soru | tensör | sicim | ||
soru_belirteçleri | Sekans | |||
soru_belirteçleri/ofsetler | tensör | int32 | ||
soru_belirteçleri/belirteçleri | tensör | sicim | ||
altküme | tensör | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):None
Şekil ( tfds.show_examples ): Desteklenmiyor.
mrqa/squad (varsayılan yapılandırma)
Yapılandırma açıklaması : SQuAD (Stanford Question Answering Dataset) veri kümesi, paylaşılan görev formatı için temel olarak kullanılır. Crowdworkers'a Wikipedia'dan paragraflar gösteriliyor ve onlardan çıkarıcı yanıtlar içeren sorular yazmaları isteniyor.
İndirme boyutu :
29.66 MiB
Veri kümesi boyutu :
271.43 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'train' | 86.588 |
'validation' | 10.507 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{rajpurkar-etal-2016-squad,
title = "{SQ}u{AD}: 100,000+ Questions for Machine Comprehension of Text",
author = "Rajpurkar, Pranav and
Zhang, Jian and
Lopyrev, Konstantin and
Liang, Percy",
booktitle = "Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2016",
address = "Austin, Texas",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D16-1264",
doi = "10.18653/v1/D16-1264",
pages = "2383--2392",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/news_qa
Yapılandırma açıklaması : İki grup kitle çalışanı, CNN haber makalelerine dayalı olarak sorular sorar ve yanıtlar. “Soru soran”lar sadece makalenin başlığını ve özetini görürken, “cevap verenler” makalenin tamamını görür. Yanıtı olmayan veya veri kümesinde açıklamacı anlaşması olmadan işaretlenen sorular atılır.
İndirme boyutu :
56.83 MiB
Veri kümesi boyutu :
654.25 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'train' | 74.160 |
'validation' | 4.212 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{trischler-etal-2017-newsqa,
title = "{N}ews{QA}: A Machine Comprehension Dataset",
author = "Trischler, Adam and
Wang, Tong and
Yuan, Xingdi and
Harris, Justin and
Sordoni, Alessandro and
Bachman, Philip and
Suleman, Kaheer",
booktitle = "Proceedings of the 2nd Workshop on Representation Learning for {NLP}",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/W17-2623",
doi = "10.18653/v1/W17-2623",
pages = "191--200",
}
#
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/trivia_qa
Yapılandırma açıklaması : Soru ve cevap çiftleri, trivia ve quiz-league web sitelerinden alınır. Bağlamların bir Bing arama sorgusunun sonuçlarından alındığı TriviaQA'nın web sürümü kullanılır.
İndirme boyutu :
383.14 MiB
Veri kümesi boyutu :
772.75 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'train' | 61.688 |
'validation' | 7.785 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{joshi-etal-2017-triviaqa,
title = "{T}rivia{QA}: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension",
author = "Joshi, Mandar and
Choi, Eunsol and
Weld, Daniel and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P17-1147",
doi = "10.18653/v1/P17-1147",
pages = "1601--1611",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/arama_qa
Yapılandırma açıklaması : Soru ve yanıt çiftleri, Jeopardy! Televizyon şovu. Bağlamlar, bir Google arama sorgusundan alınan parçacıklardan oluşur.
İndirme boyutu :
699.86 MiB
Veri kümesi boyutu :
1.38 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'train' | 117.384 |
'validation' | 16.980 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@article{dunn2017searchqa,
title={Searchqa: A new q\&a dataset augmented with context from a search engine},
author={Dunn, Matthew and Sagun, Levent and Higgins, Mike and Guney, V Ugur and Cirik, Volkan and Cho, Kyunghyun},
journal={arXiv preprint arXiv:1704.05179},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/hotpot_qa
Yapılandırma açıklaması : Crowdworker'lara Wikipedia'dan varlığa bağlı iki paragraf gösterilir ve onlardan çözmek için çok sekmeli akıl yürütme gerektiren sorular yazmaları ve yanıtlamaları istenir. Orijinal ayarda, çıkarımı zorlaştırmak için bu paragraflar ek dikkat dağıtıcı paragraflarla karıştırılır. Burada dikkat dağıtıcı paragraflara yer verilmemiştir.
İndirme boyutu :
111.98 MiB
Veri kümesi boyutu :
272.87 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'train' | 72.928 |
'validation' | 5.901 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{yang-etal-2018-hotpotqa,
title = "{H}otpot{QA}: A Dataset for Diverse, Explainable Multi-hop Question Answering",
author = "Yang, Zhilin and
Qi, Peng and
Zhang, Saizheng and
Bengio, Yoshua and
Cohen, William and
Salakhutdinov, Ruslan and
Manning, Christopher D.",
booktitle = "Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing",
month = oct # "-" # nov,
year = "2018",
address = "Brussels, Belgium",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D18-1259",
doi = "10.18653/v1/D18-1259",
pages = "2369--2380",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/natural_questions
Yapılandırma açıklaması : Google arama motoruna yapılan bilgi arama sorgularından gelen sorular, gerçek kullanıcılar tarafından doğal koşullar altında toplanır. Soruların yanıtları, kalabalık çalışanlar tarafından alınan bir Wikipedia sayfasında açıklamalıdır. İki tür ek açıklama toplanır: 1) sorunun yanıtını tamamen anlamak için yeterli bilgiyi içeren HTML sınırlayıcı kutusu (Uzun Yanıt) ve 2) asıl yanıtı oluşturan sınırlayıcı kutu içindeki alt açıklık veya alt açıklıklar (Kısa Yanıt) ). Yalnızca kısa yanıtları olan örnekler kullanılır ve bağlam olarak uzun yanıt kullanılır.
İndirme boyutu :
121.15 MiB
Veri kümesi boyutu :
339.03 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'train' | 104.071 |
'validation' | 12.836 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@article{kwiatkowski-etal-2019-natural,
title = "Natural Questions: A Benchmark for Question Answering Research",
author = "Kwiatkowski, Tom and
Palomaki, Jennimaria and
Redfield, Olivia and
Collins, Michael and
Parikh, Ankur and
Alberti, Chris and
Epstein, Danielle and
Polosukhin, Illia and
Devlin, Jacob and
Lee, Kenton and
Toutanova, Kristina and
Jones, Llion and
Kelcey, Matthew and
Chang, Ming-Wei and
Dai, Andrew M. and
Uszkoreit, Jakob and
Le, Quoc and
Petrov, Slav",
journal = "Transactions of the Association for Computational Linguistics",
volume = "7",
year = "2019",
address = "Cambridge, MA",
publisher = "MIT Press",
url = "https://aclanthology.org/Q19-1026",
doi = "10.1162/tacl_a_00276",
pages = "452--466",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/bio_asq
Yapılandırma açıklaması : Büyük ölçekli biyomedikal semantik indeksleme ve soru yanıtlama konusunda bir zorluk olan BioASQ, alan uzmanları tarafından oluşturulan soru ve yanıt çiftlerini içerir. Daha sonra, birden çok ilgili bilim (PubMed) makalesine manuel olarak bağlanırlar. Bağlantılı makalelerin her birinin tam özeti indirilir ve ayrı bağlamlar olarak kullanılır (örn. tek bir soru, birden çok KG bağlamı çifti oluşturmak için birden çok bağımsız makaleye bağlanabilir). Cevabı tam olarak içermeyen özetler elenir.
İndirme boyutu :
2.54 MiB
Veri kümesi boyutu :
6.70 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 1.504 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@article{tsatsaronis2015overview,
title={An overview of the BIOASQ large-scale biomedical semantic indexing and question answering competition},
author={Tsatsaronis, George and Balikas, Georgios and Malakasiotis, Prodromos and Partalas, Ioannis and Zschunke, Matthias and Alvers, Michael R and Weissenborn, Dirk and Krithara, Anastasia and Petridis, Sergios and Polychronopoulos, Dimitris and others},
journal={BMC bioinformatics},
volume={16},
number={1},
pages={1--28},
year={2015},
publisher={Springer}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/bırak
Yapılandırma açıklaması : DROP (Discrete Reasoning Over the content of Paragraphs) örnekleri, kalabalık çalışanlardan Wikipedia paragraflarından soru-cevap çiftleri oluşturmalarının istendiği SQuAD'e benzer şekilde toplandı. Sorular nicel akıl yürütmeye odaklanır ve orijinal veri kümesi, çıkarımsal olmayan sayısal yanıtların yanı sıra çıkarımsal metin yanıtları içerir. Çıkarımsal olan soru seti kullanılır.
İndirme boyutu :
578.25 KiB
Veri kümesi boyutu :
5.41 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 1.503 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{dua-etal-2019-drop,
title = "{DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs",
author = "Dua, Dheeru and
Wang, Yizhong and
Dasigi, Pradeep and
Stanovsky, Gabriel and
Singh, Sameer and
Gardner, Matt",
booktitle = "Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers)",
month = jun,
year = "2019",
address = "Minneapolis, Minnesota",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/N19-1246",
doi = "10.18653/v1/N19-1246",
pages = "2368--2378",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/duo_rc
Yapılandırma açıklaması : DuoRC veri kümesinin ParaphraseRC bölümü kullanılır. Bu ortamda, aynı filmin biri Wikipedia'dan, diğeri IMDb'den olmak üzere iki farklı olay örgüsü özeti toplanır. İki farklı grup çalışan, filmin konusu hakkında sorular sorar ve yanıtlar; burada "sorgu soranlara" yalnızca Wikipedia sayfası ve "cevap verenlere" yalnızca IMDb sayfası gösterilir. Cevaplanamaz olarak işaretlenen sorular atılır.
İndirme boyutu :
1.14 MiB
Veri kümesi boyutu :
15.04 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 1.501 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{saha-etal-2018-duorc,
title = "{D}uo{RC}: Towards Complex Language Understanding with Paraphrased Reading Comprehension",
author = "Saha, Amrita and
Aralikatte, Rahul and
Khapra, Mitesh M. and
Sankaranarayanan, Karthik",
booktitle = "Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)",
month = jul,
year = "2018",
address = "Melbourne, Australia",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/P18-1156",
doi = "10.18653/v1/P18-1156",
pages = "1683--1693",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/ırk
Yapılandırma açıklaması : Sınavlardan Okuduğunu Anlama Veri Kümesi (RACE), Çinli ortaokul ve lise öğrencileri için İngilizce okuduğunu anlama sınavlarından toplanır. Lise ayrımı (daha zorlayıcı olan) kullanılır ve aynı zamanda (bu görev için doğal olmayan) örtülü "boşluğu doldur" tarzı sorular filtrelenir.
İndirme boyutu :
1.49 MiB
Veri kümesi boyutu :
3.53 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 674 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{lai-etal-2017-race,
title = "{RACE}: Large-scale {R}e{A}ding Comprehension Dataset From Examinations",
author = "Lai, Guokun and
Xie, Qizhe and
Liu, Hanxiao and
Yang, Yiming and
Hovy, Eduard",
booktitle = "Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing",
month = sep,
year = "2017",
address = "Copenhagen, Denmark",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D17-1082",
doi = "10.18653/v1/D17-1082",
pages = "785--794",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/relation_extraction
Yapılandırma açıklaması : Alan dolduran bir veri kümesi verildiğinde, varlıklar arasındaki ilişkiler şablonlar kullanılarak sistematik olarak soru-cevap çiftlerine dönüştürülür. Örneğin, bir cümlede geçen x ve y iki varlığı arasındaki education_at(x, y) ilişkisi “x nerede eğitim gördü?” şeklinde ifade edilebilir. cevap y ile Her ilişki türü için birden çok şablon toplanır. Veri kümesinin sıfır atış kıyaslama bölünmesi (görünmeyen ilişkilere genelleme) kullanılır ve yalnızca olumlu örnekler tutulur.
İndirme boyutu :
830.88 KiB
Veri kümesi boyutu :
3.71 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 2.948 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{levy-etal-2017-zero,
title = "Zero-Shot Relation Extraction via Reading Comprehension",
author = "Levy, Omer and
Seo, Minjoon and
Choi, Eunsol and
Zettlemoyer, Luke",
booktitle = "Proceedings of the 21st Conference on Computational Natural Language Learning ({C}o{NLL} 2017)",
month = aug,
year = "2017",
address = "Vancouver, Canada",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/K17-1034",
doi = "10.18653/v1/K17-1034",
pages = "333--342",
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."
mrqa/ders kitabı_qa
Yapılandırma açıklaması : TextbookQA, ortaokul Hayat Bilgisi, Yer Bilimi ve Fizik Bilimi ders kitaplarından derlenmiştir. Diyagramla birlikte verilen veya “Doğru veya Yanlış” soruları olan sorular dahil edilmemiştir.
İndirme boyutu :
1.79 MiB
Veri kümesi boyutu :
14.04 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 1.503 |
- Örnekler ( tfds.as_dataframe ):
- Alıntı :
@inproceedings{kembhavi2017you,
title={Are you smarter than a sixth grader? textbook question answering for multimodal machine comprehension},
author={Kembhavi, Aniruddha and Seo, Minjoon and Schwenk, Dustin and Choi, Jonghyun and Farhadi, Ali and Hajishirzi, Hannaneh},
booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern recognition},
pages={4999--5007},
year={2017}
}
@inproceedings{fisch-etal-2019-mrqa,
title = "{MRQA} 2019 Shared Task: Evaluating Generalization in Reading Comprehension",
author = "Fisch, Adam and
Talmor, Alon and
Jia, Robin and
Seo, Minjoon and
Choi, Eunsol and
Chen, Danqi",
booktitle = "Proceedings of the 2nd Workshop on Machine Reading for Question Answering",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/D19-5801",
doi = "10.18653/v1/D19-5801",
pages = "1--13",
}
Note that each MRQA dataset has its own citation. Please see the source to see
the correct citation for each contained dataset."