wiki40b

• คำอธิบาย :

ข้อความล้างข้อมูลสำหรับหน้าภาษาวิกิพีเดียมากกว่า 40 ภาษาที่สอดคล้องกับเอนทิตี ชุดข้อมูลมีการแบ่งการฝึก/การพัฒนา/การทดสอบตามภาษา ชุดข้อมูลจะถูกล้างข้อมูลโดยการกรองหน้าเพื่อลบหน้าแก้ความกำกวม หน้าเปลี่ยนเส้นทาง หน้าที่ถูกลบ และหน้าที่ไม่ใช่เอนทิตี แต่ละตัวอย่างประกอบด้วย wikidata id ของเอนทิตี และบทความ Wikipedia ฉบับเต็มหลังการประมวลผลเพจ ซึ่งจะลบส่วนที่ไม่ใช่เนื้อหาและออบเจ็กต์ที่มีโครงสร้างออก โมเดลภาษาที่ได้รับการฝึกในคลังข้อมูลนี้ - รวมถึงโมเดลภาษาเดียว 41 รุ่น และโมเดลหลายภาษา 2 รุ่น - สามารถดูได้ที่ https://tfhub.dev/google/collections/wiki40b-lm/1

• เอกสารประกอบเพิ่มเติม : สำรวจในเอกสารด้วยรหัส north_east

• หน้าแรก : https://research.google/pubs/pub49029/

• ซอร์สโค้ด : tfds.text.Wiki40b

• รุ่น :

  • 1.3.0 (ค่าเริ่มต้น): ไม่มีบันทึกประจำรุ่น

• ขนาดการดาวน์โหลด : Unknown size

• โครงสร้างคุณสมบัติ :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• เอกสารคุณสมบัติ :

• คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

• รูปภาพ ( tfds.show_examples ): ไม่รองรับ

• การอ้างอิง :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (การกำหนดค่าเริ่มต้น)

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ en

• ขนาดชุดข้อมูล : 9.91 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ar

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ar

• ขนาดชุดข้อมูล : 833.20 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/zh-cn

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ zh-cn

• ขนาดชุดข้อมูล : 985.53 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/zh-tw

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ zh-tw

• ขนาดชุดข้อมูล : 986.45 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

วิกิ40b/nl

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ nl

• ขนาดชุดข้อมูล : 961.82 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/fr

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ fr

• ขนาดชุดข้อมูล : 3.37 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/de

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ de

• ขนาดชุดข้อมูล : 4.78 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/it

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับมัน

• ขนาดชุดข้อมูล : 2.00 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ja

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ja

• ขนาดชุดข้อมูล : 2.19 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ko

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ko

• ขนาดชุดข้อมูล : 453.98 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/pl

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ pl

• ขนาดชุดข้อมูล : 1.03 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/pt

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับจุด

• ขนาดชุดข้อมูล : 1.08 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ru

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ru

• ขนาดชุดข้อมูล : 4.13 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/es

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ es

• ขนาดชุดข้อมูล : 2.70 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/th

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ th

• ขนาดชุดข้อมูล : 326.29 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/tr

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ tr

• ขนาดชุดข้อมูล : 308.87 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/bg

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ bg

• ขนาดชุดข้อมูล : 433.20 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/แคลิฟอร์เนีย

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับแคลิฟอร์เนีย

• ขนาดชุดข้อมูล : 753.00 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/cs

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ cs

• ขนาดชุดข้อมูล : 631.84 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

วิกิ40b/ดา

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ da

• ขนาดชุดข้อมูล : 240.51 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ การตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (train)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/el

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ el

• ขนาดชุดข้อมูล : 524.77 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/et

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ et

• ขนาดชุดข้อมูล : 184.07 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ การตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (train)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ฟะ

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ fa

• ขนาดชุดข้อมูล : 482.55 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/fi

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ fi

• ขนาดชุดข้อมูล : 534.13 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/เขา

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับเขา

• ขนาดชุดข้อมูล : 869.51 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/สวัสดี

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ hi

• ขนาดชุดข้อมูล : 277.56 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ชม

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B ต่อชั่วโมง

• ขนาดชุดข้อมูล : 235.58 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ การตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (train)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/hu

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ hu

• ขนาดชุดข้อมูล : 634.25 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/id

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ id

• ขนาดชุดข้อมูล : 334.06 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

วิกิ40b/lt

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ lt

• ขนาดชุดข้อมูล : 140.46 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

วิกิ40b/เลเวล

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับระดับ

• ขนาดชุดข้อมูล : 80.07 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ms

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ms

• ขนาดชุดข้อมูล : 142.49 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ การตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (train)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ไม่ใช่

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับหมายเลข

• ขนาดชุดข้อมูล : 382.03 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/ro

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ ro

• ขนาดชุดข้อมูล : 319.68 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sk

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sk

• ขนาดชุดข้อมูล : 170.20 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ การตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (train)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sl

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sl

• ขนาดชุดข้อมูล : 157.38 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่ (ทดสอบ การตรวจสอบ) เฉพาะเมื่อ shuffle_files=False (train)

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sr

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sr.

• ขนาดชุดข้อมูล : 582.20 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/sv

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ sv

• ขนาดชุดข้อมูล : 613.62 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/tl

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ tl

• ขนาดชุดข้อมูล : 29.04 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/สหราชอาณาจักร

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับสหราชอาณาจักร

• ขนาดชุดข้อมูล : 1.67 GiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):

wiki40b/vi

• คำอธิบายการกำหนดค่า : ชุดข้อมูล Wiki40B สำหรับ vi

• ขนาดชุดข้อมูล : 497.70 MiB

• แคชอัตโนมัติ ( เอกสาร ): No

• แยก :

• ตัวอย่าง ( tfds.as_dataframe ):