• Sự miêu tả :

RealToxicityPrompts: Đánh giá sự thoái hóa chất độc thần kinh trong các mô hình ngôn ngữ

RealToxicityPrompts là một tập hợp các lời nhắc bằng tiếng Anh (cụ thể là phần đầu câu) với nhiều mức độ độc hại khác nhau. Những lời nhắc này nhằm mục đích đưa ra dưới dạng ngữ cảnh cho mô hình ngôn ngữ tự hồi quy (tức là GPT-2) và được sử dụng để tạo các phần hoàn thành.

Thông tin chi tiết được trình bày trong bài báo gốc.

• Trang chủ : https://github.com/allenai/real-toxity-prompts

• Mã nguồn : tfds.datasets.real_toxicity_prompts.Builder

• Phiên bản :

  • 1.0.0 (mặc định): Bản phát hành đầu tiên.

• Kích thước tải xuống : 3.46 GiB

• Kích thước tập dữ liệu : 81.22 MiB

• Tự động lưu vào bộ nhớ đệm ( tài liệu ): Có

• Chia tách :

• Cấu trúc tính năng :

FeaturesDict({
    'begin': int32,
    'challenging': bool,
    'continuation': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
    'end': int32,
    'filename': Text(shape=(), dtype=string),
    'prompt': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
})

• Tài liệu tính năng :

• Khóa được giám sát (Xem as_supervised doc ): None

• Hình ( tfds.show_examples ): Không được hỗ trợ.

• Ví dụ ( tfds.as_dataframe ):

• Trích dẫn :

@article{gehman2020realtoxicityprompts,
  title={Realtoxicityprompts: Evaluating neural toxic degeneration in language models},
  author={Gehman, Samuel and Gururangan, Suchin and Sap, Maarten and Choi, Yejin and Smith, Noah A},
  journal={arXiv preprint arXiv:2009.11462},
  year={2020}
}