ted_iwlst2013

参考文献:

アーエン

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:ted_iwlst2013/ar-en')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 152838
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "ar",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

デエン

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:ted_iwlst2013/de-en')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 143836
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "de",
            "en"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンエス

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:ted_iwlst2013/en-es')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 157895
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

アンファ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-fa')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 80510
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "fa"
        ],
        "id": null,
        "_type": "Translation"
    }
}

フランス

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-fr')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 160420
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンイット

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-it')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 159391
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-nl

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-nl')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 145951
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

英語

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-pl')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 149120
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "pl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

en-pt

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-pt')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 155995
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンロ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-ro')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 158483
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ro"
        ],
        "id": null,
        "_type": "Translation"
    }
}

えんる

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-ru')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 133660
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "ru"
        ],
        "id": null,
        "_type": "Translation"
    }
}

英語/スペイン語

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-sl')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 14960
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "sl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

入口

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-tr')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 137028
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "tr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

日本語

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:ted_iwlst2013/en-zh')
  • 説明： 
A parallel corpus of TED talk subtitles provided by CASMACAT: http://www.casmacat.eu/corpus/ted2013.html. The files are originally provided by https://wit3.fbk.eu.

15 languages, 14 bitexts
total number of files: 28
total number of tokens: 67.67M
total number of sentence fragments: 3.81M
  • ライセンス: 不明なライセンス
  • バージョン: 1.1.0
  • 分割:
スプリット例
'train' 154579
  • 特徴： 
{
    "id": {
        "dtype": "string",
        "id": null,
        "_type": "Value"
    },
    "translation": {
        "languages": [
            "en",
            "zh"
        ],
        "id": null,
        "_type": "Translation"
    }
}