cá heo

Sự miêu tả :

Dolma: Kho dữ liệu mở gồm ba nghìn tỷ mã thông báo dành cho nghiên cứu đào tạo trước mô hình ngôn ngữ

Trang chủ : https://github.com/allenai/dolma
Mã nguồn : tfds.datasets.dolma.Builder
Phiên bản :
- 1.0.0 (mặc định): Bản phát hành đầu tiên.
Kích thước tải xuống : Unknown size
Kích thước tập dữ liệu : Unknown size
Tự động lưu vào bộ nhớ đệm ( tài liệu ): Không xác định
Chia tách :

Tách ra	Ví dụ

Cấu trúc tính năng :

FeaturesDict({
    'added': Text(shape=(), dtype=string),
    'created': Text(shape=(), dtype=string),
    'id': Text(shape=(), dtype=string),
    'source': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

Tài liệu tính năng :

Tính năng	Lớp học	loại D
	Tính năngDict
đã thêm	Chữ	sợi dây
tạo	Chữ	sợi dây
nhận dạng	Chữ	sợi dây
nguồn	Chữ	sợi dây
chữ	Chữ	sợi dây

Khóa được giám sát (Xem as_supervised doc ): None
Hình ( tfds.show_examples ): Không được hỗ trợ.
Ví dụ ( tfds.as_dataframe ): Thiếu.
Trích dẫn :

@article{dolma,
  title = { {Dolma: An Open Corpus of Three Trillion Tokens for Language Model Pretraining Research} },
  author = {
    Luca Soldaini and Rodney Kinney and Akshita Bhagia and Dustin Schwenk and David Atkinson and
    Russell Authur and Ben Bogin and Khyathi Chandu and Jennifer Dumas and Yanai Elazar and
    Valentin Hofmann and Ananya Harsh Jha and Sachin Kumar and Li Lucy and Xinxi Lyu and Ian Magnusson and
    Jacob Morrison and Niklas Muennighoff and Aakanksha Naik and Crystal Nam and Matthew E. Peters and
    Abhilasha Ravichander and Kyle Richardson and Zejiang Shen and Emma Strubell and Nishant Subramani and
    Oyvind Tafjord and Evan Pete Walsh and Hannaneh Hajishirzi and Noah A. Smith and Luke Zettlemoyer and
    Iz Beltagy and Dirk Groeneveld and Jesse Dodge and Kyle Lo
},
  year = {2024},
  journal={arXiv preprint},
}