- 説明:
statmt.org のデータに基づいてデータセットを翻訳します。
複数のデータ ソースの組み合わせを使用して、さまざまな年のバージョンが存在します。ベースwmt_translate
を使用すると、カスタムtfds.translate.wmt.WmtConfig
を作成することにより、独自の構成を作成して独自のデータ/言語のペアを選択できます。
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
ソース コード:
tfds.translate.Wmt19Translate
バージョン:
-
1.0.0
(デフォルト): リリース ノートはありません。
-
手動ダウンロードの手順: このデータセットでは、ソース データを手動で
download_config.manual_dir
(デフォルトは~/tensorflow_datasets/downloads/manual/
) にダウンロードする必要があります。
ここにある wmt 構成の一部は、手動でダウンロードする必要があります。ダウンロードする必要がある正確なパス (およびファイル名) を確認するには、wmt.py を調べてください。図( tfds.show_examples ): サポートされていません。
引用:
@ONLINE {wmt19translate,
author = "Wikimedia Foundation",
title = "ACL 2019 Fourth Conference on Machine Translation (WMT19), Shared Task: Machine Translation of News",
url = "http://www.statmt.org/wmt19/translation-task.html"
}
wmt19_translate/cs-en (デフォルト設定)
構成の説明: WMT 2019 cs-en 翻訳タスク データセット。
ダウンロードサイズ:
1.88 GiB
データセットサイズ:
3.64 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'train' | 20,246,548 |
'validation' | 2,983 |
- 機能構造:
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
cs | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('cs', 'en')
例( tfds.as_dataframe ):
wmt19_translate/de-en
構成の説明: WMT 2019 de-en 翻訳タスク データセット。
ダウンロードサイズ:
9.71 GiB
データセットサイズ:
8.60 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'train' | 38,690,334 |
'validation' | 2,998 |
- 機能構造:
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
で | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('de', 'en')
例( tfds.as_dataframe ):
wmt19_translate/fi-ja
構成の説明: WMT 2019 fi-en 翻訳タスク データセット。
ダウンロードサイズ:
959.46 MiB
データセットサイズ:
1.46 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'train' | 6,587,448 |
'validation' | 3,000 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
フィ | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('fi', 'en')
例( tfds.as_dataframe ):
wmt19_translate/gu-en
構成の説明: WMT 2019 gu-en 翻訳タスク データセット。
ダウンロードサイズ:
37.03 MiB
データセットサイズ:
1.55 MiB
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'train' | 11,670 |
'validation' | 1,998 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'gu': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
グー | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('gu', 'en')
例( tfds.as_dataframe ):
wmt19_translate/kk-ja
構成の説明: WMT 2019 kk-en 翻訳タスク データセット。
ダウンロードサイズ:
39.58 MiB
データセットサイズ:
11.82 MiB
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'train' | 126,583 |
'validation' | 2,066 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'kk': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
kk | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('kk', 'en')
例( tfds.as_dataframe ):
wmt19_translate/lt-ja
構成の説明: WMT 2019 lt-en 翻訳タスク データセット。
ダウンロードサイズ:
392.20 MiB
データセットのサイズ:
537.26 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'train' | 2,344,893 |
'validation' | 2,000 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'lt': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
それ | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('lt', 'en')
例( tfds.as_dataframe ):
wmt19_translate/ru-ja
構成の説明: WMT 2019 ru-en 翻訳タスク データセット。
ダウンロードサイズ:
1.57 GiB
データセットサイズ:
13.95 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'train' | 38,492,126 |
'validation' | 3,000 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
ル | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('ru', 'en')
例( tfds.as_dataframe ):
wmt19_translate/zh-en
構成の説明: WMT 2019 zh-en 翻訳タスク データセット。
ダウンロードサイズ:
770.91 MiB
データセットサイズ:
6.49 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'train' | 25,986,436 |
'validation' | 3,981 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
zh | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('zh', 'en')
例( tfds.as_dataframe ):
wmt19_translate/fr-de
構成の説明: WMT 2019 fr-de 翻訳タスク データセット。
ダウンロードサイズ:
722.20 MiB
データセットサイズ:
2.39 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'train' | 9,824,476 |
'validation' | 1,512 |
- 機能構造:
Translation({
'de': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
で | 文章 | ストリング | ||
フランス | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('fr', 'de')
例( tfds.as_dataframe ):