ai2_arc_with_ir

• विवरण :

उन्नत प्रश्न-उत्तर में अनुसंधान को प्रोत्साहित करने के लिए 7,787 वास्तविक ग्रेड-स्कूल स्तर, बहुविकल्पीय विज्ञान प्रश्नों का एक नया डेटासेट इकट्ठा किया गया। डेटासेट को एक चुनौती सेट और एक आसान सेट में विभाजित किया गया है, जहां पूर्व में केवल पुनर्प्राप्ति-आधारित एल्गोरिदम और शब्द सह-घटना एल्गोरिदम दोनों द्वारा गलत उत्तर दिए गए प्रश्न शामिल हैं। हम कार्य के लिए प्रासंगिक 14 मिलियन से अधिक विज्ञान वाक्यों का संग्रह भी शामिल कर रहे हैं, और इस डेटासेट के लिए तीन न्यूरल बेसलाइन मॉडल का कार्यान्वयन कर रहे हैं। हम ARC को समुदाय के लिए एक चुनौती के रूप में प्रस्तुत करते हैं।

मूल डेटासेट की तुलना में, यह सूचना पुनर्प्राप्ति के माध्यम से उसी तरह से प्राप्त संदर्भ वाक्य जोड़ता है जैसे यूनिफाइड क्यूए (देखें: https://arxiv.org/abs/2005.00700 )।

• अतिरिक्त दस्तावेज़ीकरण : north_east कोड वाले पेपर्स पर एक्सप्लोर करें

• होमपेज : https://allenai.org/data/arc

• स्रोत कोड : tfds.datasets.ai2_arc_with_ir.Builder

• संस्करण :

  • 1.0.0 (डिफ़ॉल्ट): कोई रिलीज़ नोट नहीं।

• डाउनलोड आकार : 3.68 MiB

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ

• फ़ीचर संरचना :

FeaturesDict({
    'answerKey': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'choices': Sequence({
        'label': ClassLabel(shape=(), dtype=int64, num_classes=5),
        'text': Text(shape=(), dtype=string),
    }),
    'id': Text(shape=(), dtype=string),
    'paragraph': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
})

• फ़ीचर दस्तावेज़ीकरण :

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• चित्र ( tfds.show_examples ): समर्थित नहीं है।

• उद्धरण :

@article{allenai:arc,
      author    = {Peter Clark  and Isaac Cowhey and Oren Etzioni and Tushar Khot and
                    Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord},
      title     = {Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge},
      journal   = {arXiv:1803.05457v1},
      year      = {2018},
}
@article{2020unifiedqa,
    title={UnifiedQA: Crossing Format Boundaries With a Single QA System},
    author={D. Khashabi and S. Min and T. Khot and A. Sabhwaral and O. Tafjord and P. Clark and H. Hajishirzi},
    journal={arXiv preprint},
    year={2020}
}

ai2_arc_with_ir/ARC-Challenge-IR (डिफ़ॉल्ट कॉन्फ़िगरेशन)

• कॉन्फिग विवरण : 2590 "कठिन" प्रश्नों का चैलेंज सेट (वे जो पुनर्प्राप्ति और सह-घटना विधि दोनों सही उत्तर देने में विफल होते हैं)

• डेटासेट का आकार : 3.76 MiB

• विभाजन :

• उदाहरण ( tfds.as_dataframe ):

ai2_arc_with_ir/ARC-Easy-IR

• कॉन्फिग विवरण : एआरसी चैलेंज के लिए 5197 प्रश्नों का आसान सेट।

• डेटासेट का आकार : 7.49 MiB

• विभाजन :

• उदाहरण ( tfds.as_dataframe ):