مراجع:
cs-en
برای بارگذاری این مجموعه داده در TFDS از دستور زیر استفاده کنید:
ds = tfds.load('huggingface:wmt14/cs-en')
- توضیحات :
Translate dataset based on the data from statmt.org.
Versions exists for the different years using a combination of multiple data
sources. The base `wmt_translate` allows you to create your own config to choose
your own data/language pair by creating a custom `datasets.translate.wmt.WmtConfig`.
config = datasets.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
datasets.Split.TRAIN: ["commoncrawl_frde"],
datasets.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = datasets.builder("wmt_translate", config=config)
- مجوز : مجوز شناخته شده ای وجود ندارد
- نسخه : 1.0.0
- تقسیمات :
تقسیم کنید | نمونه ها |
---|---|
'test' | 3003 |
'train' | 953621 |
'validation' | 3000 |
- ویژگی ها :
{
"translation": {
"languages": [
"cs",
"en"
],
"id": null,
"_type": "Translation"
}
}
de-en
برای بارگذاری این مجموعه داده در TFDS از دستور زیر استفاده کنید:
ds = tfds.load('huggingface:wmt14/de-en')
- توضیحات :
Translate dataset based on the data from statmt.org.
Versions exists for the different years using a combination of multiple data
sources. The base `wmt_translate` allows you to create your own config to choose
your own data/language pair by creating a custom `datasets.translate.wmt.WmtConfig`.
config = datasets.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
datasets.Split.TRAIN: ["commoncrawl_frde"],
datasets.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = datasets.builder("wmt_translate", config=config)
- مجوز : مجوز شناخته شده ای وجود ندارد
- نسخه : 1.0.0
- تقسیمات :
تقسیم کنید | نمونه ها |
---|---|
'test' | 3003 |
'train' | 4508785 |
'validation' | 3000 |
- ویژگی ها :
{
"translation": {
"languages": [
"de",
"en"
],
"id": null,
"_type": "Translation"
}
}
fr-en
برای بارگذاری این مجموعه داده در TFDS از دستور زیر استفاده کنید:
ds = tfds.load('huggingface:wmt14/fr-en')
- توضیحات :
Translate dataset based on the data from statmt.org.
Versions exists for the different years using a combination of multiple data
sources. The base `wmt_translate` allows you to create your own config to choose
your own data/language pair by creating a custom `datasets.translate.wmt.WmtConfig`.
config = datasets.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
datasets.Split.TRAIN: ["commoncrawl_frde"],
datasets.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = datasets.builder("wmt_translate", config=config)
- مجوز : مجوز شناخته شده ای وجود ندارد
- نسخه : 1.0.0
- تقسیمات :
تقسیم کنید | نمونه ها |
---|---|
'test' | 3003 |
'train' | 40836715 |
'validation' | 3000 |
- ویژگی ها :
{
"translation": {
"languages": [
"fr",
"en"
],
"id": null,
"_type": "Translation"
}
}
سلام
برای بارگذاری این مجموعه داده در TFDS از دستور زیر استفاده کنید:
ds = tfds.load('huggingface:wmt14/hi-en')
- توضیحات :
Translate dataset based on the data from statmt.org.
Versions exists for the different years using a combination of multiple data
sources. The base `wmt_translate` allows you to create your own config to choose
your own data/language pair by creating a custom `datasets.translate.wmt.WmtConfig`.
config = datasets.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
datasets.Split.TRAIN: ["commoncrawl_frde"],
datasets.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = datasets.builder("wmt_translate", config=config)
- مجوز : مجوز شناخته شده ای وجود ندارد
- نسخه : 1.0.0
- تقسیمات :
تقسیم کنید | نمونه ها |
---|---|
'test' | 2507 |
'train' | 32863 |
'validation' | 520 |
- ویژگی ها :
{
"translation": {
"languages": [
"hi",
"en"
],
"id": null,
"_type": "Translation"
}
}
ru-en
برای بارگذاری این مجموعه داده در TFDS از دستور زیر استفاده کنید:
ds = tfds.load('huggingface:wmt14/ru-en')
- توضیحات :
Translate dataset based on the data from statmt.org.
Versions exists for the different years using a combination of multiple data
sources. The base `wmt_translate` allows you to create your own config to choose
your own data/language pair by creating a custom `datasets.translate.wmt.WmtConfig`.
config = datasets.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
datasets.Split.TRAIN: ["commoncrawl_frde"],
datasets.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = datasets.builder("wmt_translate", config=config)
- مجوز : مجوز شناخته شده ای وجود ندارد
- نسخه : 1.0.0
- تقسیمات :
تقسیم کنید | نمونه ها |
---|---|
'test' | 3003 |
'train' | 1486965 |
'validation' | 3000 |
- ویژگی ها :
{
"translation": {
"languages": [
"ru",
"en"
],
"id": null,
"_type": "Translation"
}
}