c4

• Descrizione :

Una versione colossale e pulita del corpus di scansione web di Common Crawl.

Basato sul set di dati Common Crawl: https://commoncrawl.org

Per generare questo set di dati, seguire le istruzioni da t5 .

A causa del sovraccarico della pulizia del set di dati, si consiglia di prepararlo con un servizio distribuito come Cloud Dataflow. Maggiori informazioni su https://www.tensorflow.org/datasets/beam_datasets

• Documentazione aggiuntiva : Esplora documenti con codice north_east

• Home page : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• Codice sorgente : tfds.text.C4

• Versioni :

  • 2.2.0 : Nessuna nota di rilascio.
  • 2.2.1 : Nessuna nota di rilascio.
  • 2.3.0 : Nessuna nota di rilascio.
  • 2.3.1 : Nessuna nota di rilascio.
  • 3.1.0 (impostazione predefinita): nessuna nota di rilascio.

• Istruzioni per il download manuale : questo set di dati richiede di scaricare manualmente i dati di origine in download_config.manual_dir (il valore predefinito ~/tensorflow_datasets/downloads/manual/ ):
  Stai utilizzando una configurazione C4 che richiede il download manuale di alcuni file. Per c4/webtextlike , scarica OpenWebText.zip da https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ

• Cache automatica ( documentazione ): No

• Struttura delle caratteristiche :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (Vedi as_supervised doc ): None

• Figura ( tfds.show_examples ): non supportato.

• Citazione :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (configurazione predefinita)

• Descrizione della configurazione : set di dati C4 inglese.

• Dimensione del download : 201.98 KiB

• Dimensione del set di dati: 806.87 GiB

• Divisioni :

• Esempi ( tfds.as_dataframe ):

c4/en.noclean

• Descrizione della configurazione : disabilita tutte le operazioni di pulizia (deduplicazione, rimozione basata su parolacce, ecc.)

• Dimensione del download : 177.11 KiB

• Dimensione del set di dati: 6.21 TiB

• Divisioni :

• Esempi ( tfds.as_dataframe ):

c4/realnewslike

• Descrizione della configurazione : filtra dalla configurazione predefinita per includere solo i contenuti dei domini utilizzati nel set di dati "RealNews" (Zellers et al., 2019).

• Dimensione del download : 340.29 KiB

• Dimensione del set di dati: 36.91 GiB

• Divisioni :

• Esempi ( tfds.as_dataframe ):

c4/webtextlike

• Descrizione della configurazione : filtra dalla configurazione predefinita per includere solo il contenuto degli URL in OpenWebText ( https://github.com/jcpeterson/openwebtext ).

• Dimensione del download : 2.04 MiB

• Dimensione del set di dati: 17.93 GiB

• Divisioni :

• Esempi ( tfds.as_dataframe ):

c4/multilingue

• Descrizione della configurazione : Multilingual C4 (mC4) ha 101 lingue ed è generato da 86 dump di Common Crawl.

• Dimensione del download : 13.60 MiB

• Dimensione del set di dati: 38.49 TiB

• Divisioni :

• Esempi ( tfds.as_dataframe ):