参考文献:
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:jigsaw_toxicity_pred')
- 説明：
This dataset consists of a large number of Wikipedia comments which have been labeled by human raters for toxic behavior.
- ライセンス: 「有害コメント分類」データセットは CC0 に基づいてリリースされ、基礎となるコメント テキストは Wikipedia の CC-SA-3.0 によって管理されます。
- バージョン: 1.1.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 63978 |
'train' | 159571 |
- 特徴：
{
"comment_text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"toxic": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"severe_toxic": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"obscene": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"threat": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"insult": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"identity_hate": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
}
}