सन्दर्भ:
एन
इस डेटासेट को TFDS में लोड करने के लिए निम्नलिखित कमांड का उपयोग करें:
ds = tfds.load('huggingface:c4/en')
- विवरण :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- लाइसेंस : कोई ज्ञात लाइसेंस नहीं
- संस्करण : 0.0.0
- विभाजन :
विभाजित करना | उदाहरण |
---|---|
'train' | 364868892 |
'validation' | 364608 |
- विशेषताएँ :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
en.noblocklist
इस डेटासेट को TFDS में लोड करने के लिए निम्नलिखित कमांड का उपयोग करें:
ds = tfds.load('huggingface:c4/en.noblocklist')
- विवरण :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- लाइसेंस : कोई ज्ञात लाइसेंस नहीं
- संस्करण : 0.0.0
- विभाजन :
विभाजित करना | उदाहरण |
---|---|
'train' | 393391519 |
'validation' | 393226 |
- विशेषताएँ :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
वास्तविक समाचार जैसा
इस डेटासेट को TFDS में लोड करने के लिए निम्नलिखित कमांड का उपयोग करें:
ds = tfds.load('huggingface:c4/realnewslike')
- विवरण :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- लाइसेंस : कोई ज्ञात लाइसेंस नहीं
- संस्करण : 0.0.0
- विभाजन :
विभाजित करना | उदाहरण |
---|---|
'train' | 13799838 |
'validation' | 13863 |
- विशेषताएँ :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}
en.noclean
इस डेटासेट को TFDS में लोड करने के लिए निम्नलिखित कमांड का उपयोग करें:
ds = tfds.load('huggingface:c4/en.noclean')
- विवरण :
A colossal, cleaned version of Common Crawl's web crawl corpus.
Based on Common Crawl dataset: "https://commoncrawl.org".
This is the processed version of Google's C4 dataset by AllenAI.
- लाइसेंस : कोई ज्ञात लाइसेंस नहीं
- संस्करण : 0.0.0
- विभाजन :
विभाजित करना | उदाहरण |
---|---|
'train' | 1063805381 |
'validation' | 1065029 |
- विशेषताएँ :
{
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"timestamp": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"url": {
"dtype": "string",
"id": null,
"_type": "Value"
}
}