- Açıklama :
Veri kümesini statmt.org'daki verilere göre çevirin.
Sürümler, birden çok veri kaynağının bir kombinasyonu kullanılarak farklı yıllar için mevcuttur. Temel wmt_translate
, özel bir tfds.translate.wmt.WmtConfig
oluşturarak kendi veri/dil çiftinizi seçmek için kendi yapılandırmanızı oluşturmanıza olanak tanır.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Ana Sayfa : http://www.statmt.org/wmt17/translation-task.html
Kaynak kodu :
tfds.translate.Wmt17Translate
sürümler :
-
1.0.0
(varsayılan): Sürüm notu yok.
-
Manuel indirme talimatları : Bu veri kümesi, kaynak verileri manuel olarak download_config.manual_dir içine
download_config.manual_dir
gerektirir (varsayılan olarak~/tensorflow_datasets/downloads/manual/
):
Buradaki wmt yapılandırmalarından bazıları manuel indirme gerektirir. İndirilmesi gereken tam yolu (ve dosya adını) görmek için lütfen wmt.py'ye bakın.Şekil ( tfds.show_examples ): Desteklenmiyor.
Alıntı :
@InProceedings{bojar-EtAl:2017:WMT1,
author = {Bojar, Ond
{r}ej and Chatterjee, Rajen and Federmann, Christian and Graham, Yvette and Haddow, Barry and Huang, Shujian and Huck, Matthias and Koehn, Philipp and Liu, Qun and Logacheva, Varvara and Monz, Christof and Negri, Matteo and Post, Matt and Rubino, Raphael and Specia, Lucia and Turchi, Marco},
title = {Findings of the 2017 Conference on Machine Translation (WMT17)},
booktitle = {Proceedings of the Second Conference on Machine Translation, Volume 2: Shared Task Papers},
month = {September},
year = {2017},
address = {Copenhagen, Denmark},
publisher = {Association for Computational Linguistics},
pages = {169--214},
url = {http://www.aclweb.org/anthology/W17-4717}
}
wmt17_translate/cs-en (varsayılan yapılandırma)
Yapılandırma açıklaması : WMT 2017 cs-en çeviri görevi veri kümesi.
İndirme boyutu :
1.66 GiB
Veri kümesi boyutu :
2.91 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.005 |
'train' | 15.851.649 |
'validation' | 2.999 |
- Özellik yapısı :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
cs | Metin | sicim | ||
tr | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('cs', 'en')
Örnekler ( tfds.as_dataframe ):
wmt17_translate/de-en
Yapılandırma açıklaması : WMT 2017 de-en çeviri görevi veri kümesi.
İndirme boyutu :
1.81 GiB
Veri kümesi boyutu :
1.73 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.004 |
'train' | 5.906.184 |
'validation' | 2.999 |
- Özellik yapısı :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
de | Metin | sicim | ||
tr | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('de', 'en')
Örnekler ( tfds.as_dataframe ):
wmt17_translate/fi-tr
Yapılandırma açıklaması : WMT 2017 fi-en çeviri görevi veri kümesi.
İndirme boyutu :
414.10 MiB
Veri kümesi boyutu :
769.87 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 6.004 |
'train' | 2.656.542 |
'validation' | 6.000 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
fi | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('fi', 'en')
Örnekler ( tfds.as_dataframe ):
wmt17_translate/lv-tr
Yapılandırma açıklaması : WMT 2017 lv-en çeviri görevi veri kümesi.
İndirme boyutu :
161.69 MiB
Veri kümesi boyutu :
562.26 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 2.001 |
'train' | 3.567.528 |
'validation' | 2.003 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'lv': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
lv | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('lv', 'en')
Örnekler ( tfds.as_dataframe ):
wmt17_translate/ru-tr
Yapılandırma açıklaması : WMT 2017 ru-en çeviri görevi veri kümesi.
İndirme boyutu :
1.06 GiB
Veri kümesi boyutu :
11.18 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.001 |
'train' | 25.782.720 |
'validation' | 2.998 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
ru | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('ru', 'en')
Örnekler ( tfds.as_dataframe ):
wmt17_translate/tr-tr
Yapılandırma açıklaması : WMT 2017 tr-en çeviri görevi veri kümesi.
İndirme boyutu :
59.32 MiB
Veri kümesi boyutu :
63.74 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.007 |
'train' | 205.756 |
'validation' | 3.000 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'tr': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
tr | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('tr', 'en')
Örnekler ( tfds.as_dataframe ):
wmt17_translate/zh-tr
Yapılandırma açıklaması : WMT 2017 zh-en çeviri görevi veri kümesi.
İndirme boyutu :
884.32 MiB
Veri kümesi boyutu :
6.43 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 2.001 |
'train' | 25.136.609 |
'validation' | 2.002 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
zh | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('zh', 'en')
Örnekler ( tfds.as_dataframe ):