আসকা

• বর্ণনা :

ASQA হল প্রথম দীর্ঘ-ফর্মের প্রশ্নের উত্তর দেওয়ার ডেটাসেট যা অস্পষ্ট ফ্যাক্টয়েড প্রশ্নগুলিতে ফোকাস করে। পূর্ববর্তী লং-ফর্ম উত্তর ডেটাসেট থেকে ভিন্ন, প্রতিটি প্রশ্ন লং-ফর্ম উত্তর এবং উত্তোলনমূলক প্রশ্ন-উত্তর জোড়া দিয়ে টীকা করা হয়, যেগুলি উত্পন্ন উত্তরণ দ্বারা উত্তরযোগ্য হওয়া উচিত। একটি উৎপন্ন দীর্ঘ-ফর্ম উত্তর ROUGE এবং QA উভয় নির্ভুলতা ব্যবহার করে মূল্যায়ন করা হবে। আমরা দেখিয়েছি যে এই মূল্যায়ন মেট্রিকগুলি মানুষের বিচারের সাথে ভালভাবে সম্পর্কিত। এই সংগ্রহস্থলে আমরা মূল্যায়ন কোড সহ ASQA ডেটাসেট প্রকাশ করি: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

• হোমপেজ : https://github.com/google-research/language/tree/master/language/asqa

• সোর্স কোড : tfds.datasets.asqa.Builder

• সংস্করণ :

  • 1.0.0 (ডিফল্ট): প্রাথমিক প্রকাশ।
  • 2.0.0 : নমুনা আইডি int32 (ওভারফ্লোয়িং) থেকে int64-এ যায়।

• ডাউনলোড সাইজ : 17.86 MiB

• ডেটাসেটের আকার : 14.50 MiB

• স্বয়ংক্রিয় ক্যাশে ( ডকুমেন্টেশন ): হ্যাঁ

• বিভাজন :

• বৈশিষ্ট্য গঠন :

FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=string),
            'wikipage': Text(shape=(), dtype=string),
        }),
        'long_answer': Text(shape=(), dtype=string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=string),
        'question': Text(shape=(), dtype=string),
        'short_answers': Sequence(Text(shape=(), dtype=string)),
        'wikipage': Text(shape=(), dtype=string),
    }),
    'sample_id': int64,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=string),
        'url': Text(shape=(), dtype=string),
    }),
})

• বৈশিষ্ট্য ডকুমেন্টেশন :

• তত্ত্বাবধান করা কী (দেখুন as_supervised doc ): None

• চিত্র ( tfds.show_examples ): সমর্থিত নয়।

• উদাহরণ ( tfds.as_dataframe ):

• উদ্ধৃতি :

@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}