- Descriptif :
L'ensemble de données contient 5 957 questions à choix multiples à 4 questions. En outre, ils fournissent 5 167 faits de connaissance communs issus de la foule et une version étendue des questions de formation/dév/test où chaque question est associée à son fait de base d'origine, un score de précision humaine, un score de clarté et un crowd-worker anonymisé. IDENTIFIANT.
Documentation complémentaire : Explorer sur Papers With Code
Page d' accueil : https://leaderboard.allenai.org/open_book_qa/submissions/get-started
Code source :
tfds.datasets.openbookqa.Builder
Versions :
-
0.1.0
(par défaut) : aucune note de version.
-
Taille du téléchargement :
1.38 MiB
Taille du jeu de données :
2.40 MiB
Mise en cache automatique ( documentation ): Oui
Fractionnements :
Diviser | Exemples |
---|---|
'test' | 500 |
'train' | 4 957 |
'validation' | 500 |
- Structure des fonctionnalités :
FeaturesDict({
'answerKey': ClassLabel(shape=(), dtype=int64, num_classes=4),
'clarity': float32,
'fact1': Text(shape=(), dtype=string),
'humanScore': float32,
'question': FeaturesDict({
'choice_A': Text(shape=(), dtype=string),
'choice_B': Text(shape=(), dtype=string),
'choice_C': Text(shape=(), dtype=string),
'choice_D': Text(shape=(), dtype=string),
'stem': Text(shape=(), dtype=string),
}),
'turkIdAnonymized': Text(shape=(), dtype=string),
})
- Documentation des fonctionnalités :
Caractéristique | Classer | Forme | Dtype | La description |
---|---|---|---|---|
FonctionnalitésDict | ||||
answerKey | Étiquette de classe | int64 | ||
clarté | Tenseur | float32 | ||
fait1 | Texte | chaîne de caractères | ||
score humain | Tenseur | float32 | ||
question | FonctionnalitésDict | |||
question/choix_A | Texte | chaîne de caractères | ||
question/choix_B | Texte | chaîne de caractères | ||
question/choix_C | Texte | chaîne de caractères | ||
question/choix_D | Texte | chaîne de caractères | ||
question/sujet | Texte | chaîne de caractères | ||
turkIdAnonymized | Texte | chaîne de caractères |
Touches supervisées (Voir
as_supervised
doc ):('question', 'answerKey')
Figure ( tfds.show_examples ) : non pris en charge.
Exemples ( tfds.as_dataframe ):
- Citation :
@article{mihaylov2018can,
title={Can a suit of armor conduct electricity? a new dataset for open book question answering},
author={Mihaylov, Todor and Clark, Peter and Khot, Tushar and Sabharwal, Ashish},
journal={arXiv preprint arXiv:1809.02789},
year={2018}
}