- Описание :
Параллельные корпуса веб-масштаба для официальных европейских языков.
Дополнительная документация : изучить документы с кодом
Домашняя страница : https://paracrawl.eu/releases.html
Исходный код :
tfds.datasets.para_crawl.Builder
Версии :
-
1.2.0
(по умолчанию): нет примечаний к выпуску.
-
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@misc {paracrawl,
title = "ParaCrawl",
year = "2018",
url = "http://paracrawl.eu/download.html."
}
para_crawl/enbg (конфигурация по умолчанию)
Описание конфигурации : набор данных перевода с английского на bg.
Размер загрузки :
98.94 MiB
Размер набора данных :
362.46 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 1 039 885 |
- Структура функции :
Translation({
'bg': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
бг | Текст | нить | ||
en | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'bg')
Примеры ( tfds.as_dataframe ):
para_crawl/encs
Описание конфига : набор данных перевода с английского на cs.
Размер загрузки :
187.31 MiB
Размер набора данных :
666.34 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 2 981 949 |
- Структура функции :
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
cs | Текст | нить | ||
en | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'cs')
Примеры ( tfds.as_dataframe ):
para_crawl/энда
Описание конфигурации : набор данных перевода с английского на да.
Размер загрузки :
174.34 MiB
Размер набора данных :
619.77 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 2 414 895 |
- Структура функции :
Translation({
'da': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
да | Текст | нить | ||
en | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('en', 'da')
Примеры ( tfds.as_dataframe ):
para_crawl/ende
Описание конфигурации : набор данных для перевода с английского на de.
Размер загрузки :
1.22 GiB
Размер набора данных :
4.04 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 16 264 448 |
- Структура функции :
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
де | Текст | нить | ||
en | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'de')
Примеры ( tfds.as_dataframe ):
para_crawl/enel
Описание конфига : Набор данных перевода с английского на эл.
Размер загрузки :
184.59 MiB
Размер набора данных :
698.75 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 1 985 233 |
- Структура функции :
Translation({
'el': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
Эль | Текст | нить | ||
en | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'el')
Примеры ( tfds.as_dataframe ):
para_crawl/enes
Описание конфигурации : набор данных перевода с английского на английский.
Размер загрузки :
1.82 GiB
Размер набора данных :
6.23 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 21 987 267 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'es': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
эс | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'es')
Примеры ( tfds.as_dataframe ):
para_crawl/enet
Описание конфига : набор данных перевода с английского на др.
Размер загрузки :
66.91 MiB
.Размер набора данных :
209.16 MiB
.Автокэширование ( документация ): только когда
shuffle_files=False
(поезд)Сплиты :
Расколоть | Примеры |
---|---|
'train' | 853 422 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'et': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
эт | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('en', 'et')
Примеры ( tfds.as_dataframe ):
para_crawl/enfi
Описание конфигурации : Набор данных для перевода с английского на fi.
Размер загрузки :
151.83 MiB
Размер набора данных :
543.85 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 2 156 069 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
фи | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'fi')
Примеры ( tfds.as_dataframe ):
para_crawl/enfr
Описание конфигурации : Набор данных для перевода с английского на фр.
Размер загрузки :
2.63 GiB
Размер набора данных :
9.04 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 31 374 161 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
фр | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'fr')
Примеры ( tfds.as_dataframe ):
para_crawl/энга
Описание конфигурации : Набор данных для перевода с английского на ga.
Размер загрузки :
28.03 MiB
Размер набора данных :
107.09 MiB
.Автоматическое кэширование ( документация ): Да
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 357 399 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'ga': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
Га | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'ga')
Примеры ( tfds.as_dataframe ):
para_crawl/enhr
Описание конфигурации : набор данных для перевода с английского на hr.
Размер загрузки :
80.97 MiB
Размер набора данных :
256.37 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 1 002 053 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'hr': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
час | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'hr')
Примеры ( tfds.as_dataframe ):
para_crawl/enhu
Описание конфигурации : Набор данных для перевода с английского на hu.
Размер загрузки :
114.24 MiB
Размер набора данных :
421.40 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 1 901 342 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'hu': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
Ху | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'hu')
Примеры ( tfds.as_dataframe ):
para_crawl/enit
Описание конфига : Перевод датасета с английского на него.
Размер загрузки :
1017.30 MiB
Размер набора данных :
3.36 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 12 162 239 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'it': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
Это | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('en', 'it')
Примеры ( tfds.as_dataframe ):
para_crawl/enlt
Описание конфигурации : Набор данных для перевода с английского на lt.
Размер загрузки :
63.28 MiB
Размер набора данных :
204.70 MiB
.Автокэширование ( документация ): только когда
shuffle_files=False
(поезд)Сплиты :
Расколоть | Примеры |
---|---|
'train' | 844 643 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'lt': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
л | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'lt')
Примеры ( tfds.as_dataframe ):
para_crawl/enlv
Описание конфигурации : набор данных перевода с английского на lv.
Размер загрузки :
45.17 MiB
Размер набора данных :
147.09 MiB
.Автокэширование ( документация ): только когда
shuffle_files=False
(поезд)Сплиты :
Расколоть | Примеры |
---|---|
'train' | 553 060 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'lv': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
lv | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'lv')
Примеры ( tfds.as_dataframe ):
para_crawl/enmt
Описание конфигурации : Набор данных для перевода с английского на mt.
Размер загрузки :
18.15 MiB
.Размер набора данных :
54.36 MiB
.Автоматическое кэширование ( документация ): Да
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 195 502 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'mt': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
метр | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'mt')
Примеры ( tfds.as_dataframe ):
para_crawl/ennl
Описание конфигурации : Набор данных перевода с английского на nl.
Размер загрузки :
400.63 MiB
Размер набора данных :
1.40 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 5 659 268 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'nl': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
нл | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'nl')
Примеры ( tfds.as_dataframe ):
para_crawl/enpl
Описание конфига : набор данных перевода с английского на пл.
Размер загрузки :
257.90 MiB
Размер набора данных :
885.63 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 3 503 276 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'pl': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
пл | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'pl')
Примеры ( tfds.as_dataframe ):
para_crawl/enpt
Описание конфигурации : набор данных перевода с английского на pt.
Размер загрузки :
608.62 MiB
Размер набора данных :
2.05 GiB
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 8 141 940 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'pt': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
пт | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'pt')
Примеры ( tfds.as_dataframe ):
para_crawl/enro
Описание конфигурации : Набор данных для перевода с английского на ro.
Размер загрузки :
153.24 MiB
Размер набора данных :
534.34 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 1 952 043 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'ro': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
Ро | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('en', 'ro')
Примеры ( tfds.as_dataframe ):
para_crawl/ensk
Описание конфига : набор данных перевода с английского на ск.
Размер загрузки :
96.61 MiB
Размер набора данных :
352.91 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 1 591 831 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'sk': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
ск | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'sk')
Примеры ( tfds.as_dataframe ):
para_crawl/ensl
Описание конфига : набор данных перевода с английского на сл.
Размер загрузки :
62.02 MiB
Размер набора данных :
187.66 MiB
.Автокэширование ( документация ): только когда
shuffle_files=False
(поезд)Сплиты :
Расколоть | Примеры |
---|---|
'train' | 660 161 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'sl': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
сл | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('en', 'sl')
Примеры ( tfds.as_dataframe ):
para_crawl/env
Описание конфига : Набор данных перевода с английского на св.
Размер загрузки :
262.76 MiB
Размер набора данных :
905.72 MiB
.Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 3 476 729 |
- Структура функции :
Translation({
'en': Text(shape=(), dtype=string),
'sv': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
Перевод | ||||
en | Текст | нить | ||
св | Текст | нить |
Контролируемые ключи (см . документ
as_supervised
):('en', 'sv')
Примеры ( tfds.as_dataframe ):