- Açıklama :
Veri kümesini statmt.org'daki verilere göre çevirin.
Sürümler, birden çok veri kaynağının bir kombinasyonu kullanılarak farklı yıllar için mevcuttur. Temel wmt_translate
, özel bir tfds.translate.wmt.WmtConfig
oluşturarak kendi veri/dil çiftinizi seçmek için kendi yapılandırmanızı oluşturmanıza olanak tanır.
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
Ana Sayfa : http://www.statmt.org/wmt14/translation-task.html
Kaynak kodu :
tfds.translate.Wmt14Translate
sürümler :
-
1.0.0
(varsayılan): Sürüm notu yok.
-
Manuel indirme talimatları : Bu veri kümesi, kaynak verileri manuel olarak download_config.manual_dir içine
download_config.manual_dir
gerektirir (varsayılan olarak~/tensorflow_datasets/downloads/manual/
):
Buradaki wmt yapılandırmalarından bazıları manuel indirme gerektirir. İndirilmesi gereken tam yolu (ve dosya adını) görmek için lütfen wmt.py'ye bakın.Şekil ( tfds.show_examples ): Desteklenmiyor.
Alıntı :
@InProceedings{bojar-EtAl:2014:W14-33,
author = {Bojar, Ondrej and Buck, Christian and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Leveling, Johannes and Monz, Christof and Pecina, Pavel and Post, Matt and Saint-Amand, Herve and Soricut, Radu and Specia, Lucia and Tamchyna, Ale
{s} },
title = {Findings of the 2014 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Ninth Workshop on Statistical Machine Translation},
month = {June},
year = {2014},
address = {Baltimore, Maryland, USA},
publisher = {Association for Computational Linguistics},
pages = {12--58},
url = {http://www.aclweb.org/anthology/W/W14/W14-3302}
}
wmt14_translate/cs-en (varsayılan yapılandırma)
Yapılandırma açıklaması : WMT 2014 cs-en çeviri görevi veri kümesi.
İndirme boyutu :
1.58 GiB
Veri kümesi boyutu :
2.89 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.003 |
'train' | 15.786.979 |
'validation' | 3.000 |
- Özellik yapısı :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
cs | Metin | sicim | ||
tr | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('cs', 'en')
Örnekler ( tfds.as_dataframe ):
wmt14_translate/de-en
Yapılandırma açıklaması : WMT 2014 de-en çeviri görevi veri kümesi.
İndirme boyutu :
1.58 GiB
Veri kümesi boyutu :
1.36 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.003 |
'train' | 4.508.785 |
'validation' | 3.000 |
- Özellik yapısı :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
de | Metin | sicim | ||
tr | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('de', 'en')
Örnekler ( tfds.as_dataframe ):
wmt14_translate/fr-tr
Yapılandırma açıklaması : WMT 2014 fr-en çeviri görevi veri kümesi.
İndirme boyutu :
6.20 GiB
Veri kümesi boyutu :
14.65 GiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.003 |
'train' | 40.836.876 |
'validation' | 3.000 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
fr | Metin | sicim |
Denetimli anahtarlar (Bkz
as_supervised
doc ):('fr', 'en')
Örnekler ( tfds.as_dataframe ):
wmt14_translate/hi-tr
Yapılandırma açıklaması : WMT 2014 hi-en çeviri görevi veri kümesi.
İndirme boyutu :
44.65 MiB
Veri kümesi boyutu :
77.53 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Evet
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 2.507 |
'train' | 313.748 |
'validation' | 520 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'hi': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
merhaba | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('hi', 'en')
Örnekler ( tfds.as_dataframe ):
wmt14_translate/ru-tr
Yapılandırma açıklaması : WMT 2014 ru-en çeviri görevi veri kümesi.
İndirme boyutu :
998.38 MiB
Veri kümesi boyutu :
839.40 MiB
Otomatik önbelleğe alınmış ( belgeleme ): Hayır
bölmeler :
Bölmek | örnekler |
---|---|
'test' | 3.003 |
'train' | 2.486.965 |
'validation' | 3.000 |
- Özellik yapısı :
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- Özellik belgeleri :
Özellik | Sınıf | Şekil | Dtipi | Tanım |
---|---|---|---|---|
Tercüme | ||||
tr | Metin | sicim | ||
ru | Metin | sicim |
Denetlenen anahtarlar (Bkz
as_supervised
doc ):('ru', 'en')
Örnekler ( tfds.as_dataframe ):