wmt15_translate

• Descrizione :

Traduci il set di dati in base ai dati di statmt.org.

Esistono versioni per i diversi anni utilizzando una combinazione di più fonti di dati. La base wmt_translate ti consente di creare la tua configurazione per scegliere la tua coppia dati/lingua creando un tfds.translate.wmt.WmtConfig personalizzato.

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

• Documentazione aggiuntiva : Esplora documenti con codice north_east

• Pagina iniziale : http://www.statmt.org/wmt15/translation-task.html

• Codice sorgente : tfds.translate.Wmt15Translate

• Versioni :

  • 1.0.0 (impostazione predefinita): nessuna nota di rilascio.

• Istruzioni per il download manuale : questo set di dati richiede di scaricare manualmente i dati di origine in download_config.manual_dir (il valore predefinito ~/tensorflow_datasets/downloads/manual/ ):
  Alcune delle configurazioni wmt qui richiedono un download manuale. Si prega di guardare in wmt.py per vedere il percorso esatto (e il nome del file) che deve essere scaricato.

• Cache automatica ( documentazione ): No

• Figura ( tfds.show_examples ): non supportato.

• Citazione :

@InProceedings{bojar-EtAl:2015:WMT,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Haddow, Barry  and  Huck, Matthias  and  Hokamp, Chris  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Scarton, Carolina  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2015 Workshop on Statistical Machine Translation},
  booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
  month     = {September},
  year      = {2015},
  address   = {Lisbon, Portugal},
  publisher = {Association for Computational Linguistics},
  pages     = {1--46},
  url       = {http://aclweb.org/anthology/W15-3001}
}

wmt15_translate/cs-en (configurazione predefinita)

• Descrizione della configurazione : set di dati dell'attività di traduzione cs-en WMT 2015.

• Dimensione del download : 1.62 GiB

• Dimensione del set di dati: 2.89 GiB

• Divisioni :

• Struttura delle caratteristiche :

Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (vedi as_supervised doc ): ('cs', 'en')

• Esempi ( tfds.as_dataframe ):

wmt15_translate/de-en

• Descrizione della configurazione : set di dati dell'attività di traduzione de-en WMT 2015.

• Dimensione del download : 1.62 GiB

• Dimensione del set di dati: 1.37 GiB

• Divisioni :

• Struttura delle caratteristiche :

Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (Vedi as_supervised doc ): ('de', 'en')

• Esempi ( tfds.as_dataframe ):

wmt15_translate/fi-it

• Descrizione della configurazione : set di dati dell'attività di traduzione fi-en WMT 2015.

• Dimensione del download : 260.51 MiB

• Dimensione del set di dati: 623.22 MiB

• Divisioni :

• Struttura delle caratteristiche :

Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (vedi as_supervised doc ): ('fi', 'en')

• Esempi ( tfds.as_dataframe ):

wmt15_translate/fr-en

• Descrizione della configurazione : set di dati dell'attività di traduzione fr-en WMT 2015.

• Dimensione del download : 6.24 GiB

• Dimensione del set di dati: 14.65 GiB

• Divisioni :

• Struttura delle caratteristiche :

Translation({
    'en': Text(shape=(), dtype=string),
    'fr': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (Vedi as_supervised doc ): ('fr', 'en')

• Esempi ( tfds.as_dataframe ):

wmt15_translate/ru-en

• Descrizione della configurazione : set di dati dell'attività di traduzione ru-en WMT 2015.

• Dimensione del download : 1.02 GiB

• Dimensione del set di dati: 843.90 MiB

• Divisioni :

• Struttura delle caratteristiche :

Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• Documentazione delle funzionalità :

• Chiavi supervisionate (vedi as_supervised doc ): ('ru', 'en')

• Esempi ( tfds.as_dataframe ):