wiki40b

• Descripción :

El texto de limpieza para más de 40 ediciones de páginas en idiomas de Wikipedia corresponde a entidades. Los conjuntos de datos tienen divisiones de entrenamiento/desarrollo/prueba por idioma. El conjunto de datos se limpia mediante filtrado de páginas para eliminar páginas de desambiguación, páginas de redireccionamiento, páginas eliminadas y páginas sin entidad. Cada ejemplo contiene la identificación de wikidata de la entidad y el artículo completo de Wikipedia después del procesamiento de la página que elimina secciones sin contenido y objetos estructurados. Los modelos de lenguaje entrenados en este corpus, incluidos 41 modelos monolingües y 2 modelos multilingües, se pueden encontrar en https://tfhub.dev/google/collections/wiki40b-lm/1

• Documentación adicional : Explorar en artículos con código north_east

• Página de inicio : https://research.google/pubs/pub49029/

• Código fuente : tfds.text.Wiki40b

• Versiones :

  • 1.3.0 (predeterminado): sin notas de la versión.

• Tamaño de descarga : Unknown size

• Estructura de características :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• Documentación de funciones :

• Claves supervisadas (ver documento as_supervised ): None

• Figura ( tfds.show_examples ): no compatible.

• Cita :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (configuración predeterminada)

• Descripción de la configuración : conjunto de datos Wiki40B para en.

• Tamaño del conjunto de datos : 9.91 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/ar

• Descripción de la configuración : conjunto de datos Wiki40B para ar.

• Tamaño del conjunto de datos : 833.20 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/zh-cn

• Descripción de la configuración : conjunto de datos Wiki40B para zh-cn.

• Tamaño del conjunto de datos : 985.53 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/zh-tw

• Descripción de la configuración : conjunto de datos Wiki40B para zh-tw.

• Tamaño del conjunto de datos : 986.45 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/nl

• Descripción de la configuración : conjunto de datos Wiki40B para nl.

• Tamaño del conjunto de datos : 961.82 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/es

• Descripción de la configuración : conjunto de datos Wiki40B para fr.

• Tamaño del conjunto de datos : 3.37 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/de

• Descripción de la configuración : conjunto de datos Wiki40B para de.

• Tamaño del conjunto de datos : 4.78 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/es

• Descripción de la configuración : conjunto de datos Wiki40B para ello.

• Tamaño del conjunto de datos : 2.00 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/ja

• Descripción de la configuración : conjunto de datos Wiki40B para ja.

• Tamaño del conjunto de datos : 2.19 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/ko

• Descripción de la configuración : conjunto de datos Wiki40B para ko.

• Tamaño del conjunto de datos : 453.98 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/pl

• Descripción de la configuración : conjunto de datos Wiki40B para pl.

• Tamaño del conjunto de datos : 1.03 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/pt

• Descripción de la configuración : conjunto de datos Wiki40B para pt.

• Tamaño del conjunto de datos : 1.08 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/ru

• Descripción de la configuración : conjunto de datos Wiki40B para ru.

• Tamaño del conjunto de datos : 4.13 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/es

• Descripción de la configuración : conjunto de datos Wiki40B para es.

• Tamaño del conjunto de datos : 2.70 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/th

• Descripción de la configuración : conjunto de datos Wiki40B para th.

• Tamaño del conjunto de datos : 326.29 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/tr

• Descripción de la configuración : conjunto de datos Wiki40B para tr.

• Tamaño del conjunto de datos : 308.87 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/bg

• Descripción de la configuración : conjunto de datos Wiki40B para bg.

• Tamaño del conjunto de datos : 433.20 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/ca

• Descripción de la configuración : conjunto de datos Wiki40B para ca.

• Tamaño del conjunto de datos : 753.00 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/cs

• Descripción de la configuración : conjunto de datos Wiki40B para cs.

• Tamaño del conjunto de datos : 631.84 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/da

• Descripción de la configuración : conjunto de datos Wiki40B para da.

• Tamaño del conjunto de datos : 240.51 MiB

• Almacenamiento en caché automático ( documentación ): Sí (prueba, validación), solo cuando shuffle_files=False (entrenamiento)

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/el

• Descripción de la configuración : conjunto de datos Wiki40B para el.

• Tamaño del conjunto de datos : 524.77 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/et

• Descripción de la configuración : conjunto de datos Wiki40B para et.

• Tamaño del conjunto de datos : 184.07 MiB

• Almacenamiento en caché automático ( documentación ): Sí (prueba, validación), solo cuando shuffle_files=False (entrenamiento)

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/fa

• Descripción de la configuración : conjunto de datos Wiki40B para fa.

• Tamaño del conjunto de datos : 482.55 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/fi

• Descripción de la configuración : conjunto de datos Wiki40B para fi.

• Tamaño del conjunto de datos : 534.13 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/él

• Descripción de la configuración : conjunto de datos Wiki40B para él.

• Tamaño del conjunto de datos : 869.51 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/hola

• Descripción de la configuración : conjunto de datos Wiki40B para hola.

• Tamaño del conjunto de datos : 277.56 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/hora

• Descripción de la configuración : conjunto de datos Wiki40B para hr.

• Tamaño del conjunto de datos : 235.58 MiB

• Almacenamiento en caché automático ( documentación ): Sí (prueba, validación), solo cuando shuffle_files=False (entrenamiento)

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/hu

• Descripción de la configuración : conjunto de datos Wiki40B para hu.

• Tamaño del conjunto de datos : 634.25 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/id

• Descripción de la configuración : conjunto de datos Wiki40B para id.

• Tamaño del conjunto de datos : 334.06 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/lt

• Descripción de la configuración : conjunto de datos Wiki40B para lt.

• Tamaño del conjunto de datos : 140.46 MiB

• Almacenamiento en caché automático ( documentación ): Sí

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/lv

• Descripción de la configuración : conjunto de datos Wiki40B para lv.

• Tamaño del conjunto de datos : 80.07 MiB

• Almacenamiento en caché automático ( documentación ): Sí

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/ms

• Descripción de la configuración : conjunto de datos Wiki40B para ms.

• Tamaño del conjunto de datos : 142.49 MiB

• Almacenamiento en caché automático ( documentación ): Sí (prueba, validación), solo cuando shuffle_files=False (entrenamiento)

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/no

• Descripción de la configuración : conjunto de datos Wiki40B para el no.

• Tamaño del conjunto de datos : 382.03 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/ro

• Descripción de la configuración : conjunto de datos Wiki40B para ro.

• Tamaño del conjunto de datos : 319.68 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/sk

• Descripción de la configuración : conjunto de datos Wiki40B para sk.

• Tamaño del conjunto de datos : 170.20 MiB

• Almacenamiento en caché automático ( documentación ): Sí (prueba, validación), solo cuando shuffle_files=False (entrenamiento)

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/sl

• Descripción de la configuración : conjunto de datos Wiki40B para sl.

• Tamaño del conjunto de datos : 157.38 MiB

• Almacenamiento en caché automático ( documentación ): Sí (prueba, validación), solo cuando shuffle_files=False (entrenamiento)

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/sr

• Descripción de la configuración : conjunto de datos Wiki40B para sr.

• Tamaño del conjunto de datos : 582.20 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/sv

• Descripción de la configuración : conjunto de datos Wiki40B para sv.

• Tamaño del conjunto de datos : 613.62 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/tl

• Descripción de la configuración : conjunto de datos Wiki40B para tl.

• Tamaño del conjunto de datos : 29.04 MiB

• Almacenamiento en caché automático ( documentación ): Sí

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/reino Unido

• Descripción de la configuración : conjunto de datos Wiki40B para el Reino Unido.

• Tamaño del conjunto de datos : 1.67 GiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

wiki40b/vi

• Descripción de la configuración : conjunto de datos Wiki40B para vi.

• Tamaño del conjunto de datos : 497.70 MiB

• Almacenamiento en caché automático ( documentación ): No

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):