ニュース解説

参考文献:

アークス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-cs')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 52128
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "cs"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アルデ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-de')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 68916
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-de

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-de')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 172706
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アーエン

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-en')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 83187
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

CS-ja

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-en')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 177278
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デエン

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-en')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 223153
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アールエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-es')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 78074
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-es

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-es')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 170489
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ディーエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-es')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 209839
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-es')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 238872
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-fr

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-fr')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 69157
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-fr

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-fr')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 148578
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デフランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-fr')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 185442
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-fr')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 209479
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-fr

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/es-fr')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 195241
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

あーそれ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-it')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 17227
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-it

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-it')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 30547
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

脱IT

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-it')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 38961
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンイット

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-it')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 40009
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

そうだね

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/es-it')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 41497
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

それを

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/fr-it')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 38485
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アルジャ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-ja')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 569
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-ja

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-ja')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 622
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デジャ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-ja')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 582
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンジャ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-ja')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 637
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エスジャ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/es-ja')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 602
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/fr-ja')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 519
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "ja"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-nl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-nl')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 9047
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-nl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-nl')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 17358
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

非nl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-nl')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 21439
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-nl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-nl')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 19399
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

es-nl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/es-nl')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 21012
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス-nl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/fr-nl')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 20898
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

それ-nl

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/it-nl')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 15428
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-pt

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 11433
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-pt

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 18356
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

部門

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 21884
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-pt

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 25929
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エスポイント

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/es-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 25551
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

fr-pt

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/fr-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 25642
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

それ-pt

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/it-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 11407
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

nl-pt

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/nl-pt')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 10598
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "nl",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

あるある

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 84455
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-ru

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 161133
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

でる

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 175905
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

えんる

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 190104
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エス・ル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/es-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 180217
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フロル

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/fr-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 160740
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

それる

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/it-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 27267
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ジャール

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ja-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 586
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ja",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

んるる

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/nl-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 19112
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "nl",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-ru

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/pt-ru')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 18458
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "pt",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ar-zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ar-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 66021
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

cs-zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/cs-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 45424
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "cs",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デ・ジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/de-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 59020
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

日本語

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/en-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 69206
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エス・ジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/es-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 65424
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "es",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/fr-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 59060
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "fr",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

それ-zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/it-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 14652
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "it",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ジャジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ja-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 570
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ja",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

nl-zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/nl-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 8433
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "nl",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

pt-zh

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/pt-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 10873
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "pt",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ル・ジ

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:news_commentary/ru-zh')
  • 説明：
A parallel corpus of News Commentaries provided by WMT for training SMT. The source is taken from CASMACAT: http://www.casmacat.eu/corpus/news-commentary.html

12 languages, 63 bitexts
total number of files: 61,928
total number of tokens: 49.66M
total number of sentence fragments: 1.93M
  • ライセンス: 不明なライセンス
  • バージョン: 11.0.0
  • 分割:
スプリット例
'train' 47687
  • 特徴：
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ru",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}