ai2_arc_with_ir

  • Açıklama :

7.787 gerçek ilkokul düzeyinde, çoktan seçmeli bilim sorularından oluşan yeni bir veri seti, gelişmiş soru yanıtlama konusunda araştırmayı teşvik etmek için bir araya getirildi. Veri kümesi, bir Zorluk Kümesi ve bir Kolay Küme olarak bölünmüştür; burada ilki, yalnızca hem alma tabanlı bir algoritma hem de bir kelime birlikte oluşum algoritması tarafından yanlış yanıtlanan soruları içerir. Ayrıca, görevle ilgili 14 milyondan fazla bilim cümlesinden oluşan bir külliyat ve bu veri kümesi için üç nöral temel modelin bir uygulamasını da dahil ediyoruz. ARC'yi toplum için bir meydan okuma olarak görüyoruz.

Orijinal veri kümesiyle karşılaştırıldığında, bu, UnifiedQA ile aynı şekilde bilgi alma yoluyla elde edilen bağlam cümlelerini ekler (bkz: https://arxiv.org/abs/2005.00700 ).

FeaturesDict({
    'answerKey': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'choices': Sequence({
        'label': ClassLabel(shape=(), dtype=int64, num_classes=5),
        'text': Text(shape=(), dtype=string),
    }),
    'id': Text(shape=(), dtype=string),
    'paragraph': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
cevap anahtarı SınıfEtiketi int64
seçimler Sekans
seçenekler/etiket SınıfEtiketi int64
seçimler/metin Metin sicim
İD Metin sicim
paragraf Metin sicim
soru Metin sicim
@article{allenai:arc,
      author    = {Peter Clark  and Isaac Cowhey and Oren Etzioni and Tushar Khot and
                    Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      title     = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
      journal   = {arXiv:1803.05457v1},
      year      = {2018},
}
@article{2020unifiedqa,
    title={UnifiedQA: Crossing Format Boundaries With a Single QA System},
    author={D. Khashabi and S. Min and T. Khot and A. Sabhwaral and O. Tafjord and P. Clark and H. Hajishirzi},
    journal={arXiv preprint},
    year={2020}
}

ai2_arc_with_ir/ARC-Challenge-IR (varsayılan yapılandırma)

  • Yapılandırma açıklaması : Zorluk 2590 "zor" soru kümesi (hem geri alma hem de birlikte oluşum yönteminin doğru yanıtlayamadığı sorular)

  • Veri kümesi boyutu : 3.76 MiB

  • bölmeler :

Bölmek örnekler
'test' 1.172
'train' 1.119
'validation' 299

ai2_arc_with_ir/ARC-Kolay-IR

  • Yapılandırma açıklaması : ARC Mücadelesi için 5197 sorudan oluşan Kolay Set.

  • Veri kümesi boyutu : 7.49 MiB

  • bölmeler :

Bölmek örnekler
'test' 2.376
'train' 2.251
'validation' 570