wmt15_translate

• opis :

Przetłumacz zestaw danych na podstawie danych z statmt.org.

Wersje istnieją dla różnych lat przy użyciu kombinacji wielu źródeł danych. Podstawowy wmt_translate umożliwia utworzenie własnej konfiguracji w celu wybrania własnej pary danych/języka poprzez utworzenie niestandardowego tfds.translate.wmt.WmtConfig .

config = tfds.translate.wmt.WmtConfig(
    version="0.0.1",
    language_pair=("fr", "de"),
    subsets={
        tfds.Split.TRAIN: ["commoncrawl_frde"],
        tfds.Split.VALIDATION: ["euelections_dev2019"],
    },
)
builder = tfds.builder("wmt_translate", config=config)

• Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na north_east

• Strona główna : http://www.statmt.org/wmt15/translation-task.html

• Kod źródłowy : tfds.translate.Wmt15Translate

• Wersje :

  • 1.0.0 (domyślnie): Brak informacji o wersji.

• Instrukcje ręcznego pobierania : ten zestaw danych wymaga ręcznego pobrania danych źródłowych do katalogu download_config.manual_dir (domyślnie ~/tensorflow_datasets/downloads/manual/ ):
  Niektóre konfiguracje wmt tutaj wymagają ręcznego pobrania. Zajrzyj do pliku wmt.py, aby zobaczyć dokładną ścieżkę (i nazwę pliku), który należy pobrać.

• Automatyczne buforowanie ( dokumentacja ): Nie

• Rysunek ( tfds.show_examples ): Nieobsługiwany.

• Cytat :

@InProceedings{bojar-EtAl:2015:WMT,
  author    = {Bojar, Ond
{r}ej  and  Chatterjee, Rajen  and  Federmann, Christian  and  Haddow, Barry  and  Huck, Matthias  and  Hokamp, Chris  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Post, Matt  and  Scarton, Carolina  and  Specia, Lucia  and  Turchi, Marco},
  title     = {Findings of the 2015 Workshop on Statistical Machine Translation},
  booktitle = {Proceedings of the Tenth Workshop on Statistical Machine Translation},
  month     = {September},
  year      = {2015},
  address   = {Lisbon, Portugal},
  publisher = {Association for Computational Linguistics},
  pages     = {1--46},
  url       = {http://aclweb.org/anthology/W15-3001}
}

wmt15_translate/cs-en (domyślna konfiguracja)

• Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2015 cs-en.

• Rozmiar pliku do pobrania : 1.62 GiB

• Rozmiar zestawu danych : 2.89 GiB

• Podziały :

• Struktura funkcji :

Translation({
    'cs': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Dokumentacja funkcji :

• Nadzorowane klucze (zobacz as_supervised doc ): ('cs', 'en')

• Przykłady ( tfds.as_dataframe ):

wmt15_translate/de-en

• Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2015 de-en.

• Rozmiar pliku do pobrania : 1.62 GiB

• Rozmiar zestawu danych : 1.37 GiB

• Podziały :

• Struktura funkcji :

Translation({
    'de': Text(shape=(), dtype=string),
    'en': Text(shape=(), dtype=string),
})

• Dokumentacja funkcji :

• Nadzorowane klucze (Zobacz as_supervised doc ): ('de', 'en')

• Przykłady ( tfds.as_dataframe ):

wmt15_translate/fi-en

• Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2015 fi-en.

• Rozmiar pliku do pobrania : 260.51 MiB

• Rozmiar zestawu danych : 623.22 MiB

• Podziały :

• Struktura funkcji :

Translation({
    'en': Text(shape=(), dtype=string),
    'fi': Text(shape=(), dtype=string),
})

• Dokumentacja funkcji :

• Nadzorowane klucze (Zobacz as_supervised doc ): ('fi', 'en')

• Przykłady ( tfds.as_dataframe ):

wmt15_translate/fr-en

• Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2015 fr-en.

• Rozmiar pliku do pobrania : 6.24 GiB

• Rozmiar zestawu danych : 14.65 GiB

• Podziały :

• Struktura funkcji :

Translation({
    'en': Text(shape=(), dtype=string),
    'fr': Text(shape=(), dtype=string),
})

• Dokumentacja funkcji :

• Nadzorowane klucze (zobacz as_supervised doc ): ('fr', 'en')

• Przykłady ( tfds.as_dataframe ):

wmt15_translate/ru-en

• Opis konfiguracji: zestaw danych zadania tłumaczenia WMT 2015 ru-en.

• Rozmiar pliku do pobrania : 1.02 GiB

• Rozmiar zbioru danych : 843.90 MiB

• Podziały :

• Struktura funkcji :

Translation({
    'en': Text(shape=(), dtype=string),
    'ru': Text(shape=(), dtype=string),
})

• Dokumentacja funkcji :

• Nadzorowane klucze (Zobacz as_supervised doc ): ('ru', 'en')

• Przykłady ( tfds.as_dataframe ):