- Açıklama :
Veri kümesini statmt.org'daki verilere göre çevirin.
Sürümler, birden çok veri kaynağının bir kombinasyonu kullanılarak farklı yıllar için mevcuttur. Temel wmt_translate
, özel bir tfds.translate.wmt.WmtConfig
oluşturarak kendi veri/dil çiftinizi seçmek için kendi yapılandırmanızı oluşturmanıza olanak tanır.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Ana Sayfa : http://www.statmt.org/wmt15/translation-task.html
Kaynak kodu :
tfds.translate.Wmt15Translate
sürümler :
-
1.0.0
(varsayılan): Sürüm notu yok.
-
Manuel indirme talimatları : Bu veri kümesi, kaynak verileri manuel olarak download_config.manual_dir içine
download_config.manual_dir
gerektirir (varsayılan olarak~/tensorflow_datasets/downloads/manual/
):
Buradaki wmt yapılandırmalarından bazıları manuel indirme gerektirir. İndirilmesi gereken tam yolu (ve dosya adını) görmek için lütfen wmt.py'ye bakın.Otomatik önbelleğe alınmış ( belgeleme ): Hayır
Şekil ( tfds.show_examples ): Desteklenmiyor.
Alıntı :
@InProceedings{bojar-EtAl:2015:WMT,
author = {Bojar, Ond
{r}ej and Chatterjee, Rajen and Federmann, Christian and Haddow, Barry and Huck, Matthias and Hokamp, Chris and Koehn, Philipp and Logacheva, Varvara and Monz, Christof and Negri, Matteo and Post, Matt and Scarton, Carolina and Specia, Lucia and Turchi, Marco},
title = {Findings of the 2015 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
month = {September},
year = {2015},
address = {Lisbon, Portugal},
publisher = {Association for Computational Linguistics},
pages = {1--46},
url = {http://aclweb.org/anthology/W15-3001}
}
wmt15_translate/cs-en (varsayılan yapılandırma)
Yapılandırma açıklaması : WMT 2015 cs-en çeviri görevi veri kümesi.
İndirme boyutu :
1.62 GiB
Veri kümesi boyutu :
2.89 GiB
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 2.656 |
'train' | 15.793.126 |
'validation' | 3.003 |
- Özellik yapısı :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
cs | Metin | sicim | ||
tr | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('cs', 'en')
Örnekler ( tfds.as_dataframe ):
wmt15_translate/de-en
Yapılandırma açıklaması : WMT 2015 de-en çeviri görevi veri kümesi.
İndirme boyutu :
1.62 GiB
Veri kümesi boyutu :
1.37 GiB
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 2.169 |
'train' | 4.522.998 |
'validation' | 3.003 |
- Özellik yapısı :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
de | Metin | sicim | ||
tr | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('de', 'en')
Örnekler ( tfds.as_dataframe ):
wmt15_translate/fi-tr
Yapılandırma açıklaması : WMT 2015 fi-en çeviri görevi veri kümesi.
İndirme boyutu :
260.51 MiB
Veri kümesi boyutu :
623.22 MiB
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 1.370 |
'train' | 2.073.394 |
'validation' | 1.500 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
fi | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('fi', 'en')
Örnekler ( tfds.as_dataframe ):
wmt15_translate/fr-tr
Yapılandırma açıklaması : WMT 2015 fr-en çeviri görevi veri kümesi.
İndirme boyutu :
6.24 GiB
Veri kümesi boyutu :
14.65 GiB
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 1.500 |
'train' | 40.853.298 |
'validation' | 4.503 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
fr | Metin | sicim |
Denetimli anahtarlar (Bkz
as_supervised
doc ):('fr', 'en')
Örnekler ( tfds.as_dataframe ):
wmt15_translate/ru-tr
Yapılandırma açıklaması : WMT 2015 ru-en çeviri görevi veri kümesi.
İndirme boyutu :
1.02 GiB
Veri kümesi boyutu :
843.90 MiB
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 2.818 |
'train' | 2.495.081 |
'validation' | 3.003 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
ru | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('ru', 'en')
Örnekler ( tfds.as_dataframe ):