tydi_qa

• คำอธิบาย :

TyDi QA เป็นชุดข้อมูลการตอบคำถามที่ครอบคลุม 11 ภาษาที่มีความหลากหลายทางการพิมพ์ พร้อมคำถาม-คำตอบ 204K คู่ ภาษาของ TyDi QA มีความหลากหลายในแง่ของการจำแนก - ชุดของลักษณะทางภาษาที่แต่ละภาษาแสดงออก - ซึ่งเราคาดหวังให้แบบจำลองทำงานได้ดีในชุดนี้จะสรุปเป็นภาษาต่าง ๆ จำนวนมากในโลก มันมีปรากฏการณ์ทางภาษาที่จะไม่พบในองค์กรภาษาอังกฤษเท่านั้น เพื่อให้งานค้นหาข้อมูลที่เป็นจริงและหลีกเลี่ยงผลกระทบเบื้องต้น คำถามจะถูกเขียนโดยผู้ที่ต้องการทราบคำตอบ แต่ยังไม่ทราบคำตอบ (ไม่เหมือนกับ SQuAD และผู้สืบทอด) และข้อมูลจะถูกรวบรวมโดยตรงในแต่ละภาษา โดยไม่ต้องใช้การแปล (ไม่เหมือน MLQA และ XQuAD)

แยกการฝึกอบรม:

'train': นี่คืองาน GoldP จากกระดาษ TyDi QA ต้นฉบับ [ https://arxiv.org/abs/2003.05002 ] ที่มีข้อมูลการฝึกอบรมที่ติดป้ายกำกับภาษาต้นฉบับ

'translate-train-*': การแยกเหล่านี้คือการแปลอัตโนมัติจากภาษาอังกฤษเป็นภาษาเป้าหมายแต่ละภาษาที่ใช้ในบรรทัดฐานของ translate-train ในกระดาษ XTREME [ https://arxiv.org/abs/2003.11080 ] สิ่งนี้จงใจละเว้นข้อมูลการฝึกอบรม TyDiQA-GoldP ที่ไม่ใช่ภาษาอังกฤษเพื่อจำลองสถานการณ์การเรียนรู้การถ่ายโอนซึ่งไม่มีข้อมูลภาษาต้นฉบับและผู้สร้างระบบต้องใช้ข้อมูลภาษาอังกฤษที่มีป้ายกำกับบวกกับระบบการแปลด้วยคอมพิวเตอร์ที่มีอยู่

โดยทั่วไป คุณควรใช้ทั้งรถไฟหรือรถไฟแปลแยก แต่ไม่ใช่ทั้งสองอย่าง

• เอกสารประกอบเพิ่มเติม : สำรวจเอกสารด้วยรหัส north_east

• คำอธิบาย การกำหนดค่า: งาน Gold Passage (GoldP) ( https://github.com/google-research-datasets/tydiqa/tree/master/gold_passage_baseline )

• หน้าแรก : https://github.com/google-research-datasets/tydiqa

• รหัสที่มา : tfds.question_answering.TydiQA

• รุ่น :

  • 3.0.0 (ค่าเริ่มต้น): แก้ไขปัญหาเกี่ยวกับตัวอย่างจำนวนหนึ่งที่ช่วงคำตอบไม่ตรงแนวเนื่องจากการลบพื้นที่สีขาวตามบริบท การเปลี่ยนแปลงนี้ส่งผลกระทบประมาณ 25% ของตัวอย่างรถไฟและผู้พัฒนา

• ขนาดการดาวน์โหลด : 121.30 MiB

• ขนาดชุดข้อมูล : 98.35 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• โครงสร้างคุณลักษณะ :

FeaturesDict({
    'answers': Sequence({
        'answer_start': int32,
        'text': Text(shape=(), dtype=string),
    }),
    'context': Text(shape=(), dtype=string),
    'id': string,
    'question': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• เอกสารคุณสมบัติ :

• คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

• รูปภาพ ( tfds.show_examples ): ไม่รองรับ

• ตัวอย่าง ( tfds.as_dataframe ):

• การอ้างอิง :

@article{tydiqa,
   title = {TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
  author = {Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}
    year = {2020},
 journal = {Transactions of the Association for Computational Linguistics}
}

tydi_qa/goldp (การกำหนดค่าเริ่มต้น)