パラクロール

参考文献:

英語

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enbg')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 1039885
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "bg"
        ],
        "id": null,
        "_type": "Translation"
    }
}

encs

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/encs')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 2981949
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "cs"
        ],
        "id": null,
        "_type": "Translation"
    }
}

はてな

次のコマンドを使用して、このデータセットを TFDS にロードします。

ds = tfds.load('huggingface:para_crawl/enda')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 2414895
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "da"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンデ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/ende')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 16264448
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "de"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エネル

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enel')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 1985233
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "el"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エネス

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enes')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 21987267
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "es"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エネット

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enet')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 853422
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "et"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンフィ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enfi')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 2156069
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "fi"
        ],
        "id": null,
        "_type": "Translation"
    }
}

環境

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enfr')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 31374161
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "fr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンガ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enga')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 357399
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "ga"
        ],
        "id": null,
        "_type": "Translation"
    }
}

強化する

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enhr')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 1002053
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "hr"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンフ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enhu')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 1901342
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "hu"
        ],
        "id": null,
        "_type": "Translation"
    }
}

終了する

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enit')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 12162239
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "it"
        ],
        "id": null,
        "_type": "Translation"
    }
}

入る

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enlt')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 844643
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "lt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

環境

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enlv')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 553060
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "lv"
        ],
        "id": null,
        "_type": "Translation"
    }
}

許可しない

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enmt')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 195502
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "mt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ENL

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/ennl')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 5659268
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "nl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンプ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enpl')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 3503276
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "pl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

入る

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enpt')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 8141940
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "pt"
        ],
        "id": null,
        "_type": "Translation"
    }
}

えんろ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/enro')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 1952043
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "ro"
        ],
        "id": null,
        "_type": "Translation"
    }
}

エンスク

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/ensk')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 1591831
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "sk"
        ],
        "id": null,
        "_type": "Translation"
    }
}

レンズ

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/ensl')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 660161
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "sl"
        ],
        "id": null,
        "_type": "Translation"
    }
}

ENSV

次のコマンドを使用して、このデータセットを TFDS にロードします。 

ds = tfds.load('huggingface:para_crawl/ensv')
  • 説明： 
Web-Scale Parallel Corpora for Official European Languages.
  • ライセンス: 既知のライセンスはありません
  • バージョン: 1.0.0
  • 分割:
スプリット例
'train' 3476729
  • 特徴： 
{
    "translation": {
        "languages": [
            "en",
            "sv"
        ],
        "id": null,
        "_type": "Translation"
    }
}