تكافؤ الجواب

• الوصف :

تحتوي مجموعة بيانات "تكافؤ الإجابات" على تقييمات بشرية حول تنبؤات النماذج من عدة نماذج في مجموعة بيانات SQuAD. تحدد التقييمات ما إذا كانت الإجابة المتوقعة "مكافئة" للإجابة الذهبية (مع مراعاة كل من السؤال والسياق).

وبشكل أكثر تحديدًا ، نعني بكلمة "مكافئ" أن الإجابة المتوقعة تحتوي على الأقل على نفس المعلومات مثل الإجابة الذهبية ولا تضيف معلومات زائدة عن الحاجة. تحتوي مجموعة البيانات على تعليقات توضيحية لـ: * تنبؤات من BiDAF على SQuAD dev * تنبؤات من XLNet على SQuAD dev * تنبؤات من Luke على SQuAD dev * تنبؤات من Albert على تدريب SQuAD وتطوير واختبار أمثلة

• الصفحة الرئيسية : https://github.com/google-research-datasets/answer-equivalence-dataset

• كود المصدر : tfds.datasets.answer_equivalence.Builder

• إصدارات :

  • 1.0.0 (افتراضي): الإصدار الأولي.

• حجم التحميل : 45.86 MiB

• حجم مجموعة البيانات : 47.24 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• الانقسامات :

• هيكل الميزة :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• وثائق الميزة :

• المفاتيح الخاضعة للإشراف (انظر المستند as_supervised ): None

• الشكل ( tfds.show_examples ): غير مدعوم.

• أمثلة ( tfds.as_dataframe ):

• الاقتباس :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}