Referencias:
es
Utilice el siguiente comando para cargar este conjunto de datos en TFDS:
ds = tfds.load('huggingface:c4/en')
- Descripción :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- Licencia : Ninguna licencia conocida
- Versión : 0.0.0
- Divisiones :
Dividir | Ejemplos |
---|---|
'train' | 364868892 |
'validation' | 364608 |
- Características :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
es.noblocklist
Utilice el siguiente comando para cargar este conjunto de datos en TFDS:
ds = tfds.load('huggingface:c4/en.noblocklist')
- Descripción :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- Licencia : Ninguna licencia conocida
- Versión : 0.0.0
- Divisiones :
Dividir | Ejemplos |
---|---|
'train' | 393391519 |
'validation' | 393226 |
- Características :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
noticias reales como
Utilice el siguiente comando para cargar este conjunto de datos en TFDS:
ds = tfds.load('huggingface:c4/realnewslike')
- Descripción :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- Licencia : Ninguna licencia conocida
- Versión : 0.0.0
- Divisiones :
Dividir | Ejemplos |
---|---|
'train' | 13799838 |
'validation' | 13863 |
- Características :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
es.noclean
Utilice el siguiente comando para cargar este conjunto de datos en TFDS:
ds = tfds.load('huggingface:c4/en.noclean')
- Descripción :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- Licencia : Ninguna licencia conocida
- Versión : 0.0.0
- Divisiones :
Dividir | Ejemplos |
---|---|
'train' | 1063805381 |
'validation' | 1065029 |
- Características :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}