참고자료:
접기1
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:persian_ner/fold1')
- 설명 :
The dataset includes 250,015 tokens and 7,682 Persian sentences in total. It is available in 3 folds to be used in turn as training and test sets. The NER tags are in IOB format.
- 라이센스 : Creative Commons Attribution 4.0 국제 라이센스
- 버전 : 1.1.0
- 분할 :
나뉘다 | 예 |
---|---|
'test' | 2560 |
'train' | 5121 |
- 특징 :
{
"tokens": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner_tags": {
"feature": {
"num_classes": 13,
"names": [
"O",
"I-event",
"I-fac",
"I-loc",
"I-org",
"I-pers",
"I-pro",
"B-event",
"B-fac",
"B-loc",
"B-org",
"B-pers",
"B-pro"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
폴드2
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:persian_ner/fold2')
- 설명 :
The dataset includes 250,015 tokens and 7,682 Persian sentences in total. It is available in 3 folds to be used in turn as training and test sets. The NER tags are in IOB format.
- 라이센스 : Creative Commons Attribution 4.0 국제 라이센스
- 버전 : 1.1.0
- 분할 :
나뉘다 | 예 |
---|---|
'test' | 2561 |
'train' | 5120 |
- 특징 :
{
"tokens": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner_tags": {
"feature": {
"num_classes": 13,
"names": [
"O",
"I-event",
"I-fac",
"I-loc",
"I-org",
"I-pers",
"I-pro",
"B-event",
"B-fac",
"B-loc",
"B-org",
"B-pers",
"B-pro"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
접기3
TFDS에 이 데이터세트를 로드하려면 다음 명령어를 사용하세요.
ds = tfds.load('huggingface:persian_ner/fold3')
- 설명 :
The dataset includes 250,015 tokens and 7,682 Persian sentences in total. It is available in 3 folds to be used in turn as training and test sets. The NER tags are in IOB format.
- 라이센스 : Creative Commons Attribution 4.0 국제 라이센스
- 버전 : 1.1.0
- 분할 :
나뉘다 | 예 |
---|---|
'test' | 2560 |
'train' | 5121 |
- 특징 :
{
"tokens": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner_tags": {
"feature": {
"num_classes": 13,
"names": [
"O",
"I-event",
"I-fac",
"I-loc",
"I-org",
"I-pers",
"I-pro",
"B-event",
"B-fac",
"B-loc",
"B-org",
"B-pers",
"B-pro"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}