- Описание :
Этот набор данных содержит машинные переводы английских обучающих данных PAWS. Переводы предоставлены тестом XTREME и охватывают следующие языки:
- Французский
- испанский
- Немецкий
- китайский язык
- Японский
- Корейский
Дополнительную информацию о PAWS см. в документах: PAWS: Противники перефразирования из скремблирования слов на https://arxiv.org/abs/1904.01130 и PAWS-X: Межъязыковой состязательный набор данных для идентификации перефразирования на https://arxiv. орг/абс/1908.11828
Для получения подробной информации, касающейся XTREME, см.: XTREME: массовый многоязычный многозадачный тест для оценки межъязыкового обобщения по адресу https://arxiv.org/abs/2003.11080 .
Домашняя страница : https://github.com/google-research/xtreme
Исходный код :
tfds.text.xtreme_pawsx.XtremePawsx
Версии :
-
1.0.0
(по умолчанию): нет примечаний к выпуску.
-
Автоматическое кэширование ( документация ): Да
Структура функции :
FeaturesDict({
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'sentence1': Text(shape=(), dtype=string),
'sentence2': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
ОсобенностиDict | ||||
этикетка | Метка класса | int64 | ||
предложение1 | Текст | нить | ||
предложение2 | Текст | нить |
Ключи под наблюдением (см . документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@article{hu2020xtreme,
author = {Junjie Hu and Sebastian Ruder and Aditya Siddhant and Graham Neubig and Orhan Firat and Melvin Johnson},
title = {XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization},
journal = {CoRR},
volume = {abs/2003.11080},
year = {2020},
archivePrefix = {arXiv},
eprint = {2003.11080}
}
xtreme_pawsx/de (конфигурация по умолчанию)
Описание конфига : переведено на де
Размер загрузки :
22.34 MiB
Размер набора данных :
14.19 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'train' | 49 340 |
- Примеры ( tfds.as_dataframe ):
xtreme_pawsx/es
Описание конфига : переведено на es
Размер загрузки :
22.27 MiB
Размер набора данных :
14.09 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'train' | 49 244 |
- Примеры ( tfds.as_dataframe ):
xtreme_pawsx/fr
Описание конфигурации : переведено на фр.
Размер загрузки :
22.70 MiB
Размер набора данных :
14.53 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'train' | 49 208 |
- Примеры ( tfds.as_dataframe ):
xtreme_pawsx/ja
Описание конфигурации : переведено на ja
Размер загрузки :
25.12 MiB
.Размер набора данных :
16.98 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'train' | 49 086 |
- Примеры ( tfds.as_dataframe ):
xtreme_pawsx/ko
Описание конфигурации : переведено на ko
Размер загрузки :
22.99 MiB
Размер набора данных :
14.86 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'train' | 49 298 |
- Примеры ( tfds.as_dataframe ):
xtreme_pawsx/ж
Описание конфига : Переведено на zh
Размер загрузки :
21.45 MiB
.Размер набора данных :
13.21 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'train' | 49 149 |
- Примеры ( tfds.as_dataframe ):