- Descriptif :
BLiMP est un défi lancé pour évaluer ce que les modèles linguistiques (LM) connaissent des phénomènes grammaticaux majeurs en anglais. BLiMP se compose de 67 sous-ensembles de données, chacun contenant 1000 paires minimales isolant des contrastes spécifiques dans la syntaxe, la morphologie ou la sémantique. Les données sont générées automatiquement selon des grammaires élaborées par des experts.
Documentation complémentaire : Explorer sur Papers With Code
Page d' accueil : https://github.com/alexwarstadt/blimp/tree/master/
Code source :
tfds.datasets.blimp.Builder
Versions :
-
0.1.0
(par défaut) : aucune note de version.
-
Mise en cache automatique ( documentation ): Oui
Fractionnements :
Diviser | Exemples |
---|---|
'train' | 1 000 |
- Structure des fonctionnalités :
FeaturesDict({
'UID': Text(shape=(), dtype=string),
'field': Text(shape=(), dtype=string),
'lexically_identical': bool,
'linguistics_term': Text(shape=(), dtype=string),
'one_prefix_method': bool,
'pair_id': int32,
'sentence_bad': Text(shape=(), dtype=string),
'sentence_good': Text(shape=(), dtype=string),
'simple_LM_method': bool,
'two_prefix_method': bool,
})
- Documentation des fonctionnalités :
Caractéristique | Classer | Forme | Dtype | La description |
---|---|---|---|---|
FonctionnalitésDict | ||||
UID | Texte | chaîne de caractères | ||
champ | Texte | chaîne de caractères | ||
lexicalement_identique | Tenseur | bourdonner | ||
terme_linguistique | Texte | chaîne de caractères | ||
one_prefix_method | Tenseur | bourdonner | ||
pair_id | Tenseur | int32 | ||
phrase_mauvais | Texte | chaîne de caractères | ||
phrase_bonne | Texte | chaîne de caractères | ||
méthode_LM_simple | Tenseur | bourdonner | ||
two_prefix_method | Tenseur | bourdonner |
Clés supervisées (Voir
as_supervised
doc ):None
Figure ( tfds.show_examples ) : non pris en charge.
Citation :
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
dirigeable/adjunct_island (configuration par défaut)
Description de la configuration : Cette configuration inclut le paradigme adjunct_island.
Taille du téléchargement :
350.86 KiB
Taille du jeu de données :
366.47 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/anaphor_gender_agreement
Description de la configuration : Cette configuration inclut le paradigme anaphor_gender_agreement.
Taille du téléchargement :
426.51 KiB
Taille du jeu de données :
332.31 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/anaphor_number_agreement
Description de la configuration : Cette configuration inclut le paradigme anaphor_number_agreement.
Taille du téléchargement :
440.29 KiB
Taille du jeu de données :
341.07 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/animate_subject_passive
Description de la configuration : Cette configuration inclut le paradigme animate_subject_passive.
Taille du téléchargement :
451.46 KiB
Taille du jeu de données :
345.50 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/animate_subject_trans
Description de la configuration : Cette configuration inclut le paradigme animate_subject_trans.
Taille du téléchargement :
422.95 KiB
Taille du jeu de données :
329.27 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/causatif
Description de la configuration : Cette configuration inclut le paradigme causal.
Taille du téléchargement :
309.73 KiB
Taille du jeu de données :
324.36 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/complexe_NP_island
Description de la configuration : Cette configuration inclut le paradigme complex_NP_island.
Taille du téléchargement :
383.17 KiB
Taille du jeu de données :
398.78 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/coordinate_structure_constraint_complex_left_branch
Description de la configuration : Cette configuration inclut le paradigme coordinate_structure_constraint_complex_left_branch.
Taille du téléchargement :
558.30 KiB
Taille du jeu de données :
410.43 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/coordinate_structure_constraint_object_extraction
Description de la configuration : Cette configuration inclut le paradigme coordinate_structure_constraint_object_extraction.
Taille du téléchargement :
357.47 KiB
Taille du jeu de données :
372.10 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_1
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_1.
Taille du téléchargement :
457.66 KiB
Taille du jeu de données :
356.93 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_2
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_2.
Taille du téléchargement :
477.40 KiB
Taille du jeu de données :
357.01 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_irregular_1
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_irregular_1.
Taille du téléchargement :
463.80 KiB
Taille du jeu de données :
365.08 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_irregular_2
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_irregular_2.
Taille du téléchargement :
479.35 KiB
Taille du jeu de données :
361.76 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_with_adj_2
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adj_2.
Taille du téléchargement :
514.46 KiB
Taille du jeu de données :
379.92 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_with_adj_irregular_1
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adj_irregular_1.
Taille du téléchargement :
487.95 KiB
Taille du jeu de données :
384.67 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_with_adj_irregular_2
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adj_irregular_2.
Taille du téléchargement :
516.14 KiB
Taille du jeu de données :
384.54 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/determiner_noun_agreement_with_adjective_1
Description de la configuration : Cette configuration inclut le paradigme determiner_noun_agreement_with_adjective_1.
Taille du téléchargement :
492.85 KiB
Taille du jeu de données :
385.25 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/distractor_agreement_relational_noun
Description de la configuration : Cette configuration inclut le paradigme distractor_agreement_relational_noun.
Taille du téléchargement :
513.33 KiB
Taille du jeu de données :
391.45 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/distractor_agreement_relative_clause
Description de la configuration : Cette configuration inclut le paradigme distractor_agreement_relative_clause.
Taille du téléchargement :
551.53 KiB
Taille du jeu de données :
416.14 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/drop_argument
Description de la configuration : Cette configuration inclut le paradigme drop_argument.
Taille du téléchargement :
297.07 KiB
Taille du jeu de données :
311.70 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/points de suspension_n_bar_1
Description de la configuration : Cette configuration inclut le paradigme ellipsis_n_bar_1.
Taille du téléchargement :
402.32 KiB
Taille du jeu de données :
417.06 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/points de suspension_n_bar_2
Description de la configuration : Cette configuration inclut le paradigme ellipsis_n_bar_2.
Taille du téléchargement :
417.53 KiB
Taille du jeu de données :
432.47 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/existential_there_object_raising
Description de la configuration : Cette configuration inclut le paradigme existential_there_object_raising.
Taille du téléchargement :
537.77 KiB
Taille du jeu de données :
423.00 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/existential_there_quantifiers_1
Description de la configuration : Cette configuration inclut le paradigme existential_there_quantifiers_1.
Taille du téléchargement :
348.95 KiB
Taille du jeu de données :
363.58 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/existential_there_quantifiers_2
Description de la configuration : Cette configuration inclut le paradigme existential_there_quantifiers_2.
Taille du téléchargement :
350.80 KiB
Taille du jeu de données :
365.43 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/existential_there_subject_raising
Description de la configuration : Cette configuration inclut le paradigme existential_there_subject_raising.
Taille du téléchargement :
385.21 KiB
Taille du jeu de données :
399.84 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/expletive_it_object_raising
Description de la configuration : Cette configuration inclut le paradigme expletive_it_object_raising.
Taille du téléchargement :
573.88 KiB
Taille du jeu de données :
437.58 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/inchoatif
Description de la configuration : Cette configuration inclut le paradigme inchoative.
Taille du téléchargement :
291.71 KiB
Taille du jeu de données :
306.34 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/intransitif
Description de la configuration : Cette configuration inclut le paradigme intransitif.
Taille du téléchargement :
298.33 KiB
Taille du jeu de données :
312.96 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/irregular_past_participle_adjectives
Description de la configuration : Cette configuration inclut le paradigme irregulary_past_participle_adjectives.
Taille du téléchargement :
434.10 KiB
Taille du jeu de données :
345.74 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/irregular_past_participle_verbs
Description de la configuration : Cette configuration inclut le paradigme irregulary_past_participle_verbs.
Taille du téléchargement :
410.27 KiB
Taille du jeu de données :
327.21 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/irregular_plural_subject_verb_agreement_1
Description de la configuration : Cette configuration inclut le paradigme irrégulier_pluriel_sujet_verbe_accord_1.
Taille du téléchargement :
449.91 KiB
Taille du jeu de données :
366.17 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/irregular_plural_subject_verb_agreement_2
Description de la configuration : Cette configuration inclut le paradigme irrégulier_pluriel_sujet_verbe_accord_2.
Taille du téléchargement :
442.75 KiB
Taille du jeu de données :
354.70 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/left_branch_island_echo_question
Description de la configuration : Cette configuration inclut le paradigme left_branch_island_echo_question.
Taille du téléchargement :
471.31 KiB
Taille du jeu de données :
348.84 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/left_branch_island_simple_question
Description de la configuration : Cette configuration inclut le paradigme left_branch_island_simple_question.
Taille du téléchargement :
335.40 KiB
Taille du jeu de données :
351.01 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/matrix_question_npi_licensor_present
Description de la configuration : Cette configuration inclut le paradigme matrix_question_npi_licensor_present.
Taille du téléchargement :
447.08 KiB
Taille du jeu de données :
354.14 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/npi_present_1
Description de la configuration : Cette configuration inclut le paradigme npi_present_1.
Taille du téléchargement :
427.75 KiB
Taille du jeu de données :
339.68 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/npi_present_2
Description de la configuration : Cette configuration inclut le paradigme npi_present_2.
Taille du téléchargement :
412.24 KiB
Taille du jeu de données :
329.11 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/only_npi_licensor_present
Description de la configuration : Cette configuration inclut le paradigme only_npi_licensor_present.
Taille du téléchargement :
448.41 KiB
Taille du jeu de données :
349.50 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/only_npi_scope
Description de la configuration : Cette configuration inclut le paradigme only_npi_scope.
Taille du téléchargement :
570.04 KiB
Taille du jeu de données :
408.52 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/passif_1
Description de la configuration : Cette configuration inclut le paradigme passive_1.
Taille du téléchargement :
332.30 KiB
Taille du jeu de données :
346.93 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/passif_2
Description de la configuration : Cette configuration inclut le paradigme passive_2.
Taille du téléchargement :
301.12 KiB
Taille du jeu de données :
315.75 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/principe_A_c_command
Description de la configuration : Cette configuration inclut le paradigme principe_A_c_commande.
Taille du téléchargement :
515.32 KiB
Taille du jeu de données :
388.54 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/principe_A_case_1
Description de la configuration : Cette configuration inclut le paradigme principe_A_cas_1.
Taille du téléchargement :
466.05 KiB
Taille du jeu de données :
370.87 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/principe_A_case_2
Description de la configuration : Cette configuration inclut le paradigme principe_A_cas_2.
Taille du téléchargement :
481.42 KiB
Taille du jeu de données :
370.88 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/principe_A_domain_1
Description de la configuration : Cette configuration inclut le paradigme principe_A_domaine_1.
Taille du téléchargement :
488.15 KiB
Taille du jeu de données :
371.62 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/principe_A_domain_2
Description de la configuration : Cette configuration inclut le paradigme principe_A_domaine_2.
Taille du téléchargement :
481.63 KiB
Taille du jeu de données :
365.92 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/principe_A_domain_3
Description de la configuration : Cette configuration inclut le paradigme principe_A_domaine_3.
Taille du téléchargement :
501.84 KiB
Taille du jeu de données :
359.74 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/principe_A_reconstruction
Description de la configuration : Cette configuration inclut le paradigme principe_A_reconstruction.
Taille du téléchargement :
337.40 KiB
Taille du jeu de données :
353.00 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/regular_plural_subject_verb_agreement_1
Description de la configuration : Cette configuration inclut le paradigme regular_plural_subject_verb_agreement_1.
Taille du téléchargement :
441.26 KiB
Taille du jeu de données :
359.56 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/regular_plural_subject_verb_agreement_2
Description de la configuration : Cette configuration inclut le paradigme regular_plural_subject_verb_agreement_2.
Taille du téléchargement :
445.78 KiB
Taille du jeu de données :
354.47 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/sentential_negation_npi_licensor_present
Description de la configuration : Cette configuration inclut le paradigme sentential_negation_npi_licensor_present.
Taille du téléchargement :
479.49 KiB
Taille du jeu de données :
372.30 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/sentential_negation_npi_scope
Description de la configuration : Cette configuration inclut le paradigme sentential_negation_npi_scope.
Taille du téléchargement :
600.52 KiB
Taille du jeu de données :
431.18 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/sentential_subject_island
Description de la configuration : Cette configuration inclut le paradigme sentential_subject_island.
Taille du téléchargement :
357.25 KiB
Taille du jeu de données :
372.86 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/superlative_quantifiers_1
Description de la configuration : Cette configuration inclut le paradigme superlative_quantifiers_1.
Taille du téléchargement :
372.25 KiB
Taille du jeu de données :
360.02 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/superlative_quantifiers_2
Description de la configuration : Cette configuration inclut le paradigme superlative_quantifiers_2.
Taille du téléchargement :
504.02 KiB
Taille du jeu de données :
360.07 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/tough_vs_raising_1
Description de la configuration : Cette configuration inclut le paradigme hard_vs_raising_1.
Taille du téléchargement :
334.99 KiB
Taille du jeu de données :
349.62 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/tough_vs_raising_2
Description de la configuration : Cette configuration inclut le paradigme hard_vs_raising_2.
Taille du téléchargement :
355.54 KiB
Taille du jeu de données :
370.17 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/transitif
Description de la configuration : Cette configuration inclut le paradigme transitif.
Taille du téléchargement :
449.50 KiB
Taille du jeu de données :
334.45 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_island
Description de la configuration : Cette configuration inclut le paradigme wh_island.
Taille du téléchargement :
438.12 KiB
Taille du jeu de données :
343.47 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_questions_object_gap
Description de la configuration : Cette configuration inclut le paradigme wh_questions_object_gap.
Taille du téléchargement :
378.35 KiB
Taille du jeu de données :
392.99 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_questions_subject_gap
Description de la configuration : Cette configuration inclut le paradigme wh_questions_subject_gap.
Taille du téléchargement :
380.84 KiB
Taille du jeu de données :
395.47 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_questions_subject_gap_long_distance
Description de la configuration : Cette configuration inclut le paradigme wh_questions_subject_gap_long_distance.
Taille du téléchargement :
451.82 KiB
Taille du jeu de données :
466.53 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_vs_that_no_gap
Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_no_gap.
Taille du téléchargement :
374.28 KiB
Taille du jeu de données :
388.91 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_vs_that_no_gap_long_distance
Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_no_gap_long_distance.
Taille du téléchargement :
431.08 KiB
Taille du jeu de données :
445.74 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_vs_that_with_gap
Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_with_gap.
Taille du téléchargement :
359.16 KiB
Taille du jeu de données :
373.79 KiB
Exemples ( tfds.as_dataframe ):
dirigeable/wh_vs_that_with_gap_long_distance
Description de la configuration : Cette configuration inclut le paradigme wh_vs_that_with_gap_long_distance.
Taille du téléchargement :
416.00 KiB
Taille du jeu de données :
430.63 KiB
Exemples ( tfds.as_dataframe ):