ج4

• توضیحات :

یک نسخه عظیم و پاک شده از مجموعه خزیدن وب Common Crawl.

بر اساس مجموعه داده Common Crawl: https://commoncrawl.org

برای تولید این مجموعه داده، لطفاً دستورالعمل های t5 را دنبال کنید.

با توجه به هزینه های اضافی برای تمیز کردن مجموعه داده، توصیه می شود آن را با یک سرویس توزیع شده مانند Cloud Dataflow آماده کنید. اطلاعات بیشتر در https://www.tensorflow.org/datasets/beam_datasets

• اسناد اضافی : کاوش در کاغذها با کد north_east

• صفحه اصلی : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• کد منبع : tfds.text.C4

• نسخه ها :

  • 2.2.0 : بدون یادداشت انتشار.
  • 2.2.1 : بدون یادداشت انتشار.
  • 2.3.0 : بدون یادداشت انتشار.
  • 2.3.1 : بدون یادداشت انتشار.
  • 3.1.0 (پیش فرض): بدون یادداشت انتشار.

• دستورالعمل‌های دانلود دستی : این مجموعه داده از شما می‌خواهد که داده‌های منبع را به صورت دستی در download_config.manual_dir (پیش‌فرض ~/tensorflow_datasets/downloads/manual/ ):
  شما از یک پیکربندی C4 استفاده می کنید که نیاز به دانلود دستی برخی از فایل ها دارد. برای c4/webtextlike ، OpenWebText.zip را از https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ دانلود کنید

• ذخیره خودکار ( اسناد ): خیر

• ساختار ویژگی :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• مستندات ویژگی :

• کلیدهای نظارت شده (به as_supervised doc مراجعه کنید): None

• شکل ( tfds.show_examples ): پشتیبانی نمی شود.

• نقل قول :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (پیکربندی پیش فرض)

• توضیحات پیکربندی : مجموعه داده انگلیسی C4.

• حجم دانلود : 201.98 KiB

• حجم مجموعه داده : 806.87 GiB

• تقسیمات :

• مثال‌ها ( tfds.as_dataframe ):

c4/en.noclean

• توضیحات پیکربندی : تمام پاکسازی ها را غیرفعال می کند (حذف تکراری، حذف بر اساس کلمات بد، و غیره)

• حجم دانلود : 177.11 KiB

• اندازه مجموعه داده : 6.21 TiB

• تقسیمات :

• مثال‌ها ( tfds.as_dataframe ):

c4/realnewslike

• شرح پیکربندی : از پیکربندی پیش‌فرض فیلتر می‌شود تا فقط محتوای دامنه‌های مورد استفاده در مجموعه داده «RealNews» را شامل شود (Zellers و همکاران، 2019).

• حجم دانلود : 340.29 KiB

• حجم مجموعه داده : 36.91 GiB

• تقسیمات :

• مثال‌ها ( tfds.as_dataframe ):

c4/webtextlike

• توضیحات پیکربندی : از پیکربندی پیش‌فرض فیلتر می‌شود تا فقط محتوای URLهای موجود در OpenWebText ( https://github.com/jcpeterson/openwebtext ) را شامل شود.

• حجم دانلود : 2.04 MiB

• حجم مجموعه داده : 17.93 GiB

• تقسیمات :

• مثال‌ها ( tfds.as_dataframe ):

c4/چند زبانه

• توضیحات پیکربندی : C4 چند زبانه (mC4) دارای 101 زبان است و از 86 روگرفت Common Crawl ایجاد شده است.

• حجم دانلود : 13.60 MiB

• اندازه مجموعه داده : 38.49 TiB

• تقسیمات :

• مثال‌ها ( tfds.as_dataframe ):