c4

• 説明:

Common Crawl の Web クロール コーパスの巨大でクリーンなバージョン。

Common Crawl データセットに基づく: https://commoncrawl.org

このデータセットを生成するには、t5 の指示に従ってください。

データセットのクリーニングのオーバーヘッドがあるため、Cloud Dataflow などの分散サービスを使用して準備することをお勧めします。詳細については、 https: //www.tensorflow.org/datasets/beam_datasets をご覧ください。

• 追加のドキュメント:コードnorth_eastを使用したペーパーの探索

• ホームページ: https://github.com/google-research/text-to-text-transfer-transformer#datasets

• ソースコード: tfds.text.C4

• バージョン:

  • 2.2.0 : リリース ノートはありません。
  • 2.2.1 : リリース ノートはありません。
  • 2.3.0 : リリース ノートはありません。
  • 2.3.1 : リリース ノートはありません。
  • 3.1.0 (デフォルト): リリース ノートはありません。

• 手動ダウンロードの手順: このデータセットでは、ソース データを手動でdownload_config.manual_dir (デフォルトは~/tensorflow_datasets/downloads/manual/ ) にダウンロードする必要があります。
  一部のファイルを手動でダウンロードする必要がある C4 構成を使用しています。 c4/webtextlikeの場合、 https: //mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ から OpenWebText.zip をダウンロードします。

• 自動キャッシュ(ドキュメント): いいえ

• 機能構造:

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• 機能のドキュメント:

• 監視されたキー( as_supervised docを参照): None

• 図( tfds.show_examples ): サポートされていません。

• 引用：

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (デフォルト構成)

• 構成の説明: 英語の C4 データセット。

• ダウンロードサイズ: 201.98 KiB

• データセットサイズ: 806.87 GiB

• スプリット:

• 例( tfds.as_dataframe ):

c4/en.noclean

• 構成の説明: すべてのクリーニングを無効にします (重複排除、悪い言葉に基づく削除など)。

• ダウンロードサイズ: 177.11 KiB

• データセットのサイズ: 6.21 TiB

• スプリット:

• 例( tfds.as_dataframe ):

c4/リアルニュースライク

• 構成の説明: デフォルトの構成からフィルタリングして、「RealNews」データセットで使用されているドメインのコンテンツのみを含めます (Zellers et al., 2019)。

• ダウンロードサイズ: 340.29 KiB

• データセットサイズ: 36.91 GiB

• スプリット:

• 例( tfds.as_dataframe ):

c4/webtextlike

• 構成の説明: OpenWebText ( https://github.com/jcpeterson/openwebtext ) の URL からのコンテンツのみを含めるように、既定の構成からフィルター処理します。

• ダウンロードサイズ: 2.04 MiB

• データセットサイズ: 17.93 GiB

• スプリット:

• 例( tfds.as_dataframe ):

c4/多言語

• 構成の説明: 多言語 C4 (mC4) には 101 の言語があり、86 の共通クロール ダンプから生成されます。

• ダウンロードサイズ: 13.60 MiB

• データセットのサイズ: 38.49 TiB

• スプリット:

• 例( tfds.as_dataframe ):