- 説明:
statmt.org のデータに基づいてデータセットを翻訳します。
複数のデータ ソースの組み合わせを使用して、さまざまな年のバージョンが存在します。ベースwmt_translate
を使用すると、カスタムtfds.translate.wmt.WmtConfig
を作成することにより、独自の構成を作成して独自のデータ/言語のペアを選択できます。
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
追加のドキュメント:コード を使用したペーパーの探索
ソースコード:
tfds.translate.Wmt18Translate
バージョン:
-
1.0.0
(デフォルト): リリース ノートはありません。
-
手動ダウンロードの手順: このデータセットでは、ソース データを手動で
download_config.manual_dir
(デフォルトは~/tensorflow_datasets/downloads/manual/
) にダウンロードする必要があります。
ここにある wmt 構成の一部は、手動でダウンロードする必要があります。ダウンロードする必要がある正確なパス (およびファイル名) を確認するには、wmt.py を調べてください。図( tfds.show_examples ): サポートされていません。
引用:
@InProceedings{bojar-EtAl:2018:WMT1,
author = {Bojar, Ond
{r}ej and Federmann, Christian and Fishel, Mark
and Graham, Yvette and Haddow, Barry and Huck, Matthias and
Koehn, Philipp and Monz, Christof},
title = {Findings of the 2018 Conference on Machine Translation (WMT18)},
booktitle = {Proceedings of the Third Conference on Machine Translation,
Volume 2: Shared Task Papers},
month = {October},
year = {2018},
address = {Belgium, Brussels},
publisher = {Association for Computational Linguistics},
pages = {272--307},
url = {http://www.aclweb.org/anthology/W18-6401}
}
wmt18_translate/cs-en (デフォルト設定)
構成の説明: WMT 2018 cs-en 翻訳タスク データセット。
ダウンロードサイズ:
1.89 GiB
データセットサイズ:
3.84 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 2,983 |
'train' | 24,021,877 |
'validation' | 3,005 |
- 機能構造:
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
cs | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('cs', 'en')
例( tfds.as_dataframe ):
wmt18_translate/de-en
構成の説明: WMT 2018 de-en 翻訳タスク データセット。
ダウンロードサイズ:
3.55 GiB
データセットサイズ:
8.44 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 2,998 |
'train' | 42,271,874 |
'validation' | 3,004 |
- 機能構造:
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
で | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('de', 'en')
例( tfds.as_dataframe ):
wmt18_translate/et-ja
構成の説明: WMT 2018 et-en 翻訳タスク データセット。
ダウンロードサイズ:
499.91 MiB
データセットサイズ:
663.80 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 2,000 |
'train' | 2,175,873 |
'validation' | 2,000 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'et': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
ら | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('et', 'en')
例( tfds.as_dataframe ):
wmt18_translate/fi-ja
構成の説明: WMT 2018 fi-en 翻訳タスク データセット。
ダウンロードサイズ:
468.76 MiB
データセットサイズ:
889.40 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 3,000 |
'train' | 3,280,600 |
'validation' | 6,004 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
フィ | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('fi', 'en')
例( tfds.as_dataframe ):
wmt18_translate/ru-ja
構成の説明: WMT 2018 ru-en 翻訳タスク データセット。
ダウンロードサイズ:
1.63 GiB
データセットサイズ:
13.89 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 3,000 |
'train' | 37,858,512 |
'validation' | 3,001 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
ル | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('ru', 'en')
例( tfds.as_dataframe ):
wmt18_translate/tr-ja
構成の説明: WMT 2018 tr-en 翻訳タスク データセット。
ダウンロードサイズ:
59.32 MiB
データセットのサイズ:
63.78 MiB
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'test' | 3,000 |
'train' | 205,756 |
'validation' | 3,007 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'tr': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
トレ | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('tr', 'en')
例( tfds.as_dataframe ):
wmt18_translate/zh-en
構成の説明: WMT 2018 zh-en 翻訳タスク データセット。
ダウンロードサイズ:
831.45 MiB
データセットサイズ:
6.43 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 3,981 |
'train' | 25,162,209 |
'validation' | 2,001 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'zh': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
zh | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('zh', 'en')
例( tfds.as_dataframe ):