wiki40b

• Açıklama :

Varlıklara karşılık gelen sayfaların 40'tan fazla Vikipedi dili sürümü için temizleme metni. Veri kümelerinde dil başına eğitim/geliştirme/test bölümleri bulunur. Veri kümesi, belirsizliği giderme sayfalarını, yönlendirme sayfalarını, silinmiş sayfaları ve varlık olmayan sayfaları kaldırmak için sayfa filtreleme yoluyla temizlenir. Her örnek, varlığın wikidata kimliğini ve içerik dışı bölümleri ve yapılandırılmış nesneleri kaldıran sayfa işleme sonrasında tam Vikipedi makalesini içerir. Bu derlemede eğitilen dil modelleri (41 tek dilli model ve 2 çok dilli model dahil) https://tfhub.dev/google/collections/wiki40b-lm/1 adresinde bulunabilir.

• Ek Belgeler : north_east Kodlu Makaleleri Keşfedin

• Ana sayfa : https://research.google/pubs/pub49029/

• Kaynak kodu : tfds.text.Wiki40b

• Sürümler :

  • 1.3.0 (varsayılan): Sürüm notu yok.

• İndirme boyutu : Unknown size

• Özellik yapısı :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• Özellik belgeleri :

• Denetlenen anahtarlar ( as_supervised belgesine bakın): None

• Şekil ( tfds.show_examples ): Desteklenmiyor.

• Alıntı :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (varsayılan yapılandırma)

• Yapılandırma açıklaması : en için Wiki40B veri kümesi.

• Veri kümesi boyutu : 9.91 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/ar

• Yapılandırma açıklaması : ar için Wiki40B veri kümesi.

• Veri kümesi boyutu : 833.20 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/zh-cn

• Yapılandırma açıklaması : zh-cn için Wiki40B veri kümesi.

• Veri kümesi boyutu : 985.53 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/zh-tw

• Yapılandırma açıklaması : zh-tw için Wiki40B veri kümesi.

• Veri kümesi boyutu : 986.45 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/nl

• Yapılandırma açıklaması : nl için Wiki40B veri kümesi.

• Veri kümesi boyutu : 961.82 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/fr

• Yapılandırma açıklaması : fr için Wiki40B veri kümesi.

• Veri kümesi boyutu : 3.37 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/de

• Yapılandırma açıklaması : de için Wiki40B veri kümesi.

• Veri kümesi boyutu : 4.78 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/it

• Yapılandırma açıklaması : Bunun için Wiki40B veri kümesi.

• Veri kümesi boyutu : 2.00 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/ja

• Yapılandırma açıklaması : ja için Wiki40B veri kümesi.

• Veri kümesi boyutu : 2.19 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/ko

• Yapılandırma açıklaması : ko için Wiki40B veri kümesi.

• Veri kümesi boyutu : 453.98 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/pl

• Yapılandırma açıklaması : pl için Wiki40B veri kümesi.

• Veri kümesi boyutu : 1.03 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/pt

• Yapılandırma açıklaması : pt için Wiki40B veri kümesi.

• Veri kümesi boyutu : 1.08 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/ru

• Yapılandırma açıklaması : ru için Wiki40B veri kümesi.

• Veri kümesi boyutu : 4.13 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/es

• Yapılandırma açıklaması : es için Wiki40B veri kümesi.

• Veri kümesi boyutu : 2.70 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/th

• Yapılandırma açıklaması : th için Wiki40B veri kümesi.

• Veri kümesi boyutu : 326.29 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/tr

• Yapılandırma açıklaması : tr için Wiki40B veri kümesi.

• Veri kümesi boyutu : 308.87 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/bg

• Yapılandırma açıklaması : bg için Wiki40B veri kümesi.

• Veri kümesi boyutu : 433.20 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/ca

• Yapılandırma açıklaması : Yaklaşık Wiki40B veri kümesi.

• Veri kümesi boyutu : 753.00 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/cs

• Yapılandırma açıklaması : CS için Wiki40B veri kümesi.

• Veri kümesi boyutu : 631.84 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/da

• Yapılandırma açıklaması : da için Wiki40B veri kümesi.

• Veri kümesi boyutu : 240.51 MiB

• Otomatik önbelleğe alınmış ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/el

• Yapılandırma açıklaması : el için Wiki40B veri kümesi.

• Veri kümesi boyutu : 524.77 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/et

• Yapılandırma açıklaması : et için Wiki40B veri kümesi.

• Veri kümesi boyutu : 184.07 MiB

• Otomatik önbelleğe alınmış ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/fa

• Yapılandırma açıklaması : fa için Wiki40B veri kümesi.

• Veri kümesi boyutu : 482.55 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/fi

• Yapılandırma açıklaması : fi için Wiki40B veri kümesi.

• Veri kümesi boyutu : 534.13 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/o

• Yapılandırma açıklaması : he için Wiki40B veri kümesi.

• Veri kümesi boyutu : 869.51 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/merhaba

• Yapılandırma açıklaması : hi için Wiki40B veri kümesi.

• Veri kümesi boyutu : 277.56 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/saat

• Yapılandırma açıklaması : Saat için Wiki40B veri kümesi.

• Veri kümesi boyutu : 235.58 MiB

• Otomatik önbelleğe alınmış ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/hu

• Yapılandırma açıklaması : hu için Wiki40B veri kümesi.

• Veri kümesi boyutu : 634.25 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/id

• Yapılandırma açıklaması : Kimlik için Wiki40B veri kümesi.

• Veri kümesi boyutu : 334.06 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/lt

• Yapılandırma açıklaması : lt. için Wiki40B veri kümesi.

• Veri kümesi boyutu : 140.46 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Evet

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/lv

• Yapılandırma açıklaması : lv için Wiki40B veri kümesi.

• Veri kümesi boyutu : 80.07 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Evet

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/ms

• Yapılandırma açıklaması : MS için Wiki40B veri kümesi.

• Veri kümesi boyutu : 142.49 MiB

• Otomatik önbelleğe alınmış ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/hayır

• Yapılandırma açıklaması : Hayır için Wiki40B veri kümesi.

• Veri kümesi boyutu : 382.03 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/ro

• Yapılandırma açıklaması : ro için Wiki40B veri kümesi.

• Veri kümesi boyutu : 319.68 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/sk

• Yapılandırma açıklaması : sk için Wiki40B veri kümesi.

• Veri kümesi boyutu : 170.20 MiB

• Otomatik önbelleğe alınmış ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/sl

• Yapılandırma açıklaması : sl için Wiki40B veri kümesi.

• Veri kümesi boyutu : 157.38 MiB

• Otomatik önbelleğe alınmış ( dokümantasyon ): Evet (test, doğrulama), Yalnızca shuffle_files=False (tren) olduğunda

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/sr

• Yapılandırma açıklaması : sr için Wiki40B veri kümesi.

• Veri kümesi boyutu : 582.20 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/sv

• Yapılandırma açıklaması : sv için Wiki40B veri kümesi.

• Veri kümesi boyutu : 613.62 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/tl

• Yapılandırma açıklaması : tl için Wiki40B veri kümesi.

• Veri kümesi boyutu : 29.04 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Evet

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/İngiltere

• Yapılandırma açıklaması : Birleşik Krallık için Wiki40B veri kümesi.

• Veri kümesi boyutu : 1.67 GiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):

wiki40b/vi

• Yapılandırma açıklaması : vi için Wiki40B veri kümesi.

• Veri kümesi boyutu : 497.70 MiB

• Otomatik önbelleğe alınmış ( belgeler ): Hayır

• Bölünmeler :

• Örnekler ( tfds.as_dataframe ):