- 説明:
statmt.org のデータに基づいてデータセットを翻訳します。
複数のデータ ソースの組み合わせを使用して、さまざまな年のバージョンが存在します。ベースwmt_translate
を使用すると、カスタムtfds.translate.wmt.WmtConfig
を作成することにより、独自の構成を作成して独自のデータ/言語のペアを選択できます。
config = tfds.translate.wmt.WmtConfig(
version="0.0.1",
language_pair=("fr", "de"),
subsets={
tfds.Split.TRAIN: ["commoncrawl_frde"],
tfds.Split.VALIDATION: ["euelections_dev2019"],
},
)
builder = tfds.builder("wmt_translate", config=config)
追加のドキュメント:コード を使用したペーパーの探索
ソース コード:
tfds.translate.Wmt14Translate
バージョン:
-
1.0.0
(デフォルト): リリース ノートはありません。
-
手動ダウンロードの手順: このデータセットでは、ソース データを手動で
download_config.manual_dir
(デフォルトは~/tensorflow_datasets/downloads/manual/
) にダウンロードする必要があります。
ここにある wmt 構成の一部は、手動でダウンロードする必要があります。ダウンロードする必要がある正確なパス (およびファイル名) を確認するには、wmt.py を調べてください。図( tfds.show_examples ): サポートされていません。
引用:
@InProceedings{bojar-EtAl:2014:W14-33,
author = {Bojar, Ondrej and Buck, Christian and Federmann, Christian and Haddow, Barry and Koehn, Philipp and Leveling, Johannes and Monz, Christof and Pecina, Pavel and Post, Matt and Saint-Amand, Herve and Soricut, Radu and Specia, Lucia and Tamchyna, Ale
{s} },
title = {Findings of the 2014 Workshop on Statistical Machine Translation},
booktitle = {Proceedings of the Ninth Workshop on Statistical Machine Translation},
month = {June},
year = {2014},
address = {Baltimore, Maryland, USA},
publisher = {Association for Computational Linguistics},
pages = {12--58},
url = {http://www.aclweb.org/anthology/W/W14/W14-3302}
}
wmt14_translate/cs-en (デフォルト設定)
構成の説明: WMT 2014 cs-en 翻訳タスク データセット。
ダウンロードサイズ:
1.58 GiB
データセットサイズ:
2.89 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 3,003 |
'train' | 15,786,979 |
'validation' | 3,000 |
- 機能構造:
Translation({
'cs': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
cs | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('cs', 'en')
例( tfds.as_dataframe ):
wmt14_translate/de-en
構成の説明: WMT 2014 de-en 翻訳タスク データセット。
ダウンロードサイズ:
1.58 GiB
データセットサイズ:
1.36 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 3,003 |
'train' | 4,508,785 |
'validation' | 3,000 |
- 機能構造:
Translation({
'de': Text(shape=(), dtype=string),
'en': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
で | 文章 | ストリング | ||
ja | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('de', 'en')
例( tfds.as_dataframe ):
wmt14_translate/fr-ja
構成の説明: WMT 2014 fr-en 翻訳タスク データセット。
ダウンロードサイズ:
6.20 GiB
データセットサイズ:
14.65 GiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 3,003 |
'train' | 40,836,876 |
'validation' | 3,000 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'fr': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
フランス | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('fr', 'en')
例( tfds.as_dataframe ):
wmt14_translate/hi-en
構成の説明: WMT 2014 hi-en 翻訳タスク データセット。
ダウンロードサイズ:
44.65 MiB
データセットのサイズ:
77.53 MiB
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'test' | 2,507 |
'train' | 313,748 |
'validation' | 520 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'hi': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
こんにちは | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('hi', 'en')
例( tfds.as_dataframe ):
wmt14_translate/ru-ja
構成の説明: WMT 2014 ru-en 翻訳タスク データセット。
ダウンロードサイズ:
998.38 MiB
データセットサイズ:
839.40 MiB
自動キャッシュ(ドキュメント): いいえ
スプリット:
スプリット | 例 |
---|---|
'test' | 3,003 |
'train' | 2,486,965 |
'validation' | 3,000 |
- 機能構造:
Translation({
'en': Text(shape=(), dtype=string),
'ru': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
翻訳 | ||||
ja | 文章 | ストリング | ||
ル | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):('ru', 'en')
例( tfds.as_dataframe ):