la_pila_openwebtext2

Referencias:

texto_sin formato

Utilice el siguiente comando para cargar este conjunto de datos en TFDS:

ds = tfds.load('huggingface:the_pile_openwebtext2/plain_text')
  • Descripción : 
OpenWebText2 is an enhanced version of the original OpenWebTextCorpus covering all Reddit submissions from 2005 up until April 2020, with further months becoming available after the corresponding PushShift dump files are released.
  • Licencia : Ninguna licencia conocida
  • Versión : 1.0.0
  • Divisiones :
Dividir Ejemplos
'train' 17103059
  • Características : 
{
    "title": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "text": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    }
}