참고자료:
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:jigsaw_toxicity_pred')
- 설명 :
This dataset consists of a large number of Wikipedia comments which have been labeled by human raters for toxic behavior.
- 라이센스 : "유해성 댓글 분류" 데이터 세트는 CC0에 따라 공개되며 기본 댓글 텍스트는 Wikipedia의 CC-SA-3.0에 의해 관리됩니다.
- 버전 : 1.1.0
- 분할 :
| 나뉘다 | 예 |
|---|---|
'test' | 63978 |
'train' | 159571 |
- 특징 :
{
"comment_text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"toxic": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"severe_toxic": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"obscene": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"threat": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"insult": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"identity_hate": {
"num_classes": 2,
"names": [
"false",
"true"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
}
}