- 説明:
statmt.org のデータに基づいてデータセットを翻訳します。
複数のデータ ソースの組み合わせを使用して、さまざまな年のバージョンが存在します。ベースwmt_translate
を使用すると、カスタムtfds.translate.wmt.WmtConfig
を作成することにより、独自の構成を作成して独自のデータ/言語のペアを選択できます。
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
追加のドキュメント:コード を使用したペーパーの探索
ソース コード:
tfds.translate.Wmt16Translate
バージョン:
-
1.0.0
(デフォルト): リリース ノートはありません。
-
手動ダウンロードの手順: このデータセットでは、ソース データを手動で
download_config.manual_dir
(デフォルトは~/tensorflow_datasets/downloads/manual/
) にダウンロードする必要があります。
ここにある wmt 構成の一部は、手動でダウンロードする必要があります。ダウンロードする必要がある正確なパス (およびファイル名) を確認するには、wmt.py を調べてください。図( tfds.show_examples ): サポートされていません。
引用:
@InProceedings{bojar-EtAl:2016:WMT1,
author = {Bojar, Ond
{r}ej and Chatterjee, Rajen and Federmann, Christian and Graham, Yvette and Haddow, Barry and Huck, Matthias and Jimeno Yepes, Antonio and Koehn, Philipp and Logacheva, Varvara and Monz, Christof and Negri, Matteo and Neveol, Aurelie and Neves, Mariana and Popel, Martin and Post, Matt and Rubino, Raphael and Scarton, Carolina and Specia, Lucia and Turchi, Marco and Verspoor, Karin and Zampieri, Marcos},
title = {Findings of the 2016 Conference on Machine Translation},
booktitle = {Proceedings of the First Conference on Machine Translation},
month = {August},
year = {2016},
address = {Berlin, Germany},
publisher = {Association for Computational Linguistics},
pages = {131--198},
url = {http://www.aclweb.org/anthology/W/W16/W16-2301}
}
wmt16_translate/cs-en (デフォルト設定)
構成の説明: WMT 2016 cs-en 翻訳タスク データセット。
ダウンロードサイズ:
1.57 GiB
データセットサイズ:
7.56 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 2,999 |
'train' | 52,335,651 |
'validation' | 2,656 |
- 機能構造:
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
cs | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('cs', 'en')
例( tfds.as_dataframe ):
wmt16_translate/de-en
構成の説明: WMT 2016 de-en 翻訳タスク データセット。
ダウンロードサイズ:
1.57 GiB
データセットサイズ:
1.38 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 2,999 |
'train' | 4,548,885 |
'validation' | 2,169 |
- 機能構造:
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
で | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('de', 'en')
例( tfds.as_dataframe ):
wmt16_translate/fi-ja
構成の説明: WMT 2016 fi-en 翻訳タスク データセット。
ダウンロードサイズ:
260.51 MiB
データセットサイズ:
624.31 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 6,000 |
'train' | 2,073,394 |
'validation' | 1,370 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'fi': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
フィ | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('fi', 'en')
例( tfds.as_dataframe ):
wmt16_translate/ro-en
構成の説明: WMT 2016 ro-en 翻訳タスク データセット。
ダウンロードサイズ:
273.83 MiB
データセットのサイズ:
194.35 MiB
自動キャッシュ(ドキュメント): はい (テスト、検証)、
shuffle_files=False
の場合のみ (トレーニング)スプリット:
スプリット | 例 |
---|---|
'test' | 1,999 |
'train' | 610,320 |
'validation' | 1,999 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'ro': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
ロ | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('ro', 'en')
例( tfds.as_dataframe ):
wmt16_translate/ru-ja
構成の説明: WMT 2016 ru-en 翻訳タスク データセット。
ダウンロードサイズ:
993.38 MiB
データセットのサイズ:
854.44 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 2,998 |
'train' | 2,516,162 |
'validation' | 2,818 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
ル | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('ru', 'en')
例( tfds.as_dataframe ):
wmt16_translate/tr-ja
構成の説明: WMT 2016 tr-en 翻訳タスク データセット。
ダウンロードサイズ:
59.32 MiB
データセットサイズ:
63.21 MiB
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'test' | 3,000 |
'train' | 205,756 |
'validation' | 1,001 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'tr': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
トレ | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('tr', 'en')
例( tfds.as_dataframe ):