参考文献:
コーラ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/cola')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1063 |
'train' | 8551 |
'validation' | 1043 |
- 特徴：
{
"sentence": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 2,
"names": [
"unacceptable",
"acceptable"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
sst2
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/sst2')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1821年 |
'train' | 67349 |
'validation' | 872 |
- 特徴：
{
"sentence": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 2,
"names": [
"negative",
"positive"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
mrpc
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/mrpc')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1725年 |
'train' | 3668 |
'validation' | 408 |
- 特徴：
{
"sentence1": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"sentence2": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 2,
"names": [
"not_equivalent",
"equivalent"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
qqp
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/qqp')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 390965 |
'train' | 363846 |
'validation' | 40430 |
- 特徴：
{
"question1": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"question2": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 2,
"names": [
"not_duplicate",
"duplicate"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
stsb
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/stsb')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1379年 |
'train' | 5749 |
'validation' | 1500 |
- 特徴：
{
"sentence1": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"sentence2": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"dtype": "float32",
"id": null,
"_type": "Value"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
メンリ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/mnli')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test_matched' | 9796 |
'test_mismatched' | 9847 |
'train' | 392702 |
'validation_matched' | 9815 |
'validation_mismatched' | 9832 |
- 特徴：
{
"premise": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"hypothesis": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 3,
"names": [
"entailment",
"neutral",
"contradiction"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
mnli_不一致
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/mnli_mismatched')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 9847 |
'validation' | 9832 |
- 特徴：
{
"premise": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"hypothesis": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 3,
"names": [
"entailment",
"neutral",
"contradiction"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
mnli_matched
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/mnli_matched')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 9796 |
'validation' | 9815 |
- 特徴：
{
"premise": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"hypothesis": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 3,
"names": [
"entailment",
"neutral",
"contradiction"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
クンリ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/qnli')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 5463 |
'train' | 104743 |
'validation' | 5463 |
- 特徴：
{
"question": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"sentence": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 2,
"names": [
"entailment",
"not_entailment"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
ＲＴＥ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/rte')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 3000 |
'train' | 2490 |
'validation' | 277 |
- 特徴：
{
"sentence1": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"sentence2": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 2,
"names": [
"entailment",
"not_entailment"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
ウィンリ
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/wnli')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 146 |
'train' | 635 |
'validation' | 71 |
- 特徴：
{
"sentence1": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"sentence2": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 2,
"names": [
"not_entailment",
"entailment"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}
斧
次のコマンドを使用して、このデータセットを TFDS にロードします。
ds = tfds.load('huggingface:glue/ax')
- 説明：
GLUE, the General Language Understanding Evaluation benchmark
(https://gluebenchmark.com/) is a collection of resources for training,
evaluating, and analyzing natural language understanding systems.
- ライセンス: 既知のライセンスはありません
- バージョン: 1.0.0
- 分割:
| スプリット | 例 |
|---|---|
'test' | 1104 |
- 特徴：
{
"premise": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"hypothesis": {
"dtype": "string",
"id": null,
"_type": "Value"
},
"label": {
"num_classes": 3,
"names": [
"entailment",
"neutral",
"contradiction"
],
"names_file": null,
"id": null,
"_type": "ClassLabel"
},
"idx": {
"dtype": "int32",
"id": null,
"_type": "Value"
}
}