c4

• Mô tả :

Một phiên bản khổng lồ, sạch sẽ của kho dữ liệu thu thập dữ liệu web của Common Crawl.

Dựa trên bộ dữ liệu Common Crawl: https://commoncrawl.org

Để tạo tập dữ liệu này, vui lòng làm theo hướng dẫn từ t5 .

Do chi phí làm sạch tập dữ liệu cao, bạn nên chuẩn bị tập dữ liệu bằng một dịch vụ phân tán như Cloud Dataflow. Thông tin thêm tại https://www.tensorflow.org/datasets/beam_datasets

• Tài liệu bổ sung : Khám phá trên giấy tờ với mã north_east

• Trang chủ : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• Mã nguồn : tfds.text.C4

• Phiên bản :

  • 2.2.0 : Không có ghi chú phát hành.
  • 2.2.1 : Không có ghi chú phát hành.
  • 2.3.0 : Không có ghi chú phát hành.
  • 2.3.1 : Không có ghi chú phát hành.
  • 3.1.0 (mặc định): Không có ghi chú phát hành.

• Hướng dẫn tải xuống thủ công : Bộ dữ liệu này yêu cầu bạn tải xuống dữ liệu nguồn theo cách thủ công vào download_config.manual_dir (mặc định là ~/tensorflow_datasets/downloads/manual/ ):
  Bạn đang sử dụng cấu hình C4 yêu cầu tải xuống một số tệp theo cách thủ công. Đối với c4/webtextlike , hãy tải xuống OpenWebText.zip từ https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ

• Tự động lưu vào bộ nhớ cache ( tài liệu ): Không

• Cấu trúc tính năng :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• Tài liệu tính năng :

• Các khóa được giám sát (Xem as_supervised doc ): None

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• trích dẫn :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (cấu hình mặc định)

• Mô tả cấu hình : Bộ dữ liệu tiếng Anh C4.

• Kích thước tải xuống : 201.98 KiB

• Kích thước tập dữ liệu: 806.87 GiB

• Chia tách :

• Ví dụ ( tfds.as_dataframe ):

c4/en.noclean

• Mô tả cấu hình : Tắt tất cả tính năng dọn dẹp (sao chép, loại bỏ dựa trên các từ xấu, v.v.)

• Kích thước tải xuống : 177.11 KiB

• Kích thước tập dữ liệu : 6.21 TiB

• Chia tách :

• Ví dụ ( tfds.as_dataframe ):

c4/realnewslike

• Mô tả cấu hình : Bộ lọc từ cấu hình mặc định để chỉ bao gồm nội dung từ các miền được sử dụng trong bộ dữ liệu 'RealNews' (Zellers et al., 2019).

• Kích thước tải xuống : 340.29 KiB

• Kích thước tập dữ liệu : 36.91 GiB

• Chia tách :

• Ví dụ ( tfds.as_dataframe ):

c4/webtextlike

• Mô tả cấu hình : Bộ lọc từ cấu hình mặc định để chỉ bao gồm nội dung từ các URL trong OpenWebText ( https://github.com/jcpeterson/openwebtext ).

• Kích thước tải xuống : 2.04 MiB

• Kích thước tập dữ liệu : 17.93 GiB

• Chia tách :

• Ví dụ ( tfds.as_dataframe ):

c4/đa ngôn ngữ

• Mô tả cấu hình : C4 đa ngôn ngữ (mC4) có 101 ngôn ngữ và được tạo từ 86 kết xuất Thu thập thông tin chung.

• Kích thước tải xuống : 13.60 MiB

• Kích thước tập dữ liệu : 38.49 TiB

• Chia tách :

• Ví dụ ( tfds.as_dataframe ):