参考文献:
ボクマール
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:norwegian_ner/bokmaal')
- 説明：
Named entities Recognition dataset for Norwegian.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1939年 |
'train' | 15696 |
'validation' | 2410 |
- 特徴：
{
"idx": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"tokens": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lemmas": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"pos_tags": {
"feature": {
"num_classes": 17,
"names": [
"NOUN",
"PUNCT",
"ADP",
"NUM",
"SYM",
"SCONJ",
"ADJ",
"PART",
"DET",
"CCONJ",
"PROPN",
"PRON",
"X",
"ADV",
"INTJ",
"VERB",
"AUX"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner_tags": {
"feature": {
"num_classes": 17,
"names": [
"O",
"B-OTH",
"I-OTH",
"E-OTH",
"S-OTH",
"B-ORG",
"I-ORG",
"E-ORG",
"S-ORG",
"B-PRS",
"I-PRS",
"E-PRS",
"S-PRS",
"B-GEO",
"I-GEO",
"E-GEO",
"S-GEO"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
ニーノスク
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:norwegian_ner/nynorsk')
- 説明：
Named entities Recognition dataset for Norwegian.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1511 |
'train' | 14174 |
'validation' | 1890年 |
- 特徴：
{
"idx": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"tokens": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lemmas": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"pos_tags": {
"feature": {
"num_classes": 17,
"names": [
"NOUN",
"PUNCT",
"ADP",
"NUM",
"SYM",
"SCONJ",
"ADJ",
"PART",
"DET",
"CCONJ",
"PROPN",
"PRON",
"X",
"ADV",
"INTJ",
"VERB",
"AUX"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner_tags": {
"feature": {
"num_classes": 17,
"names": [
"O",
"B-OTH",
"I-OTH",
"E-OTH",
"S-OTH",
"B-ORG",
"I-ORG",
"E-ORG",
"S-ORG",
"B-PRS",
"I-PRS",
"E-PRS",
"S-PRS",
"B-GEO",
"I-GEO",
"E-GEO",
"S-GEO"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}
サムノスク
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:norwegian_ner/samnorsk')
- 説明：
Named entities Recognition dataset for Norwegian.
- ライセンス: 不明なライセンス
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 3450 |
'train' | 34170 |
'validation' | 4300 |
- 特徴：
{
"idx": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"text": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"tokens": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"lemmas": {
"feature": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"pos_tags": {
"feature": {
"num_classes": 17,
"names": [
"NOUN",
"PUNCT",
"ADP",
"NUM",
"SYM",
"SCONJ",
"ADJ",
"PART",
"DET",
"CCONJ",
"PROPN",
"PRON",
"X",
"ADV",
"INTJ",
"VERB",
"AUX"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
},
"ner_tags": {
"feature": {
"num_classes": 17,
"names": [
"O",
"B-OTH",
"I-OTH",
"E-OTH",
"S-OTH",
"B-ORG",
"I-ORG",
"E-ORG",
"S-ORG",
"B-PRS",
"I-PRS",
"E-PRS",
"S-PRS",
"B-GEO",
"I-GEO",
"E-GEO",
"S-GEO"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"length": -1,
"id": null,
"_type": "Sequence"
}
}