- Descripción :
BLiMP es un conjunto de desafíos para evaluar qué modelos de lenguaje (LM) saben sobre los principales fenómenos gramaticales en inglés. BLiMP consta de 67 subconjuntos de datos, cada uno de los cuales contiene 1000 pares mínimos que aíslan contrastes específicos en sintaxis, morfología o semántica. Los datos se generan automáticamente de acuerdo con gramáticas elaboradas por expertos.
Documentación adicional : Explore en Papers With Code
Página de inicio: https://github.com/alexwarstadt/blimp/tree/master/
Código fuente :
tfds.datasets.blimp.Builder
Versiones :
-
0.1.0
(predeterminado): Sin notas de la versión.
-
Almacenamiento automático en caché ( documentación ): Sí
Divisiones :
Separar | Ejemplos |
---|---|
'train' | 1,000 |
- Estructura de características :
FeaturesDict({
'UID': Text(shape=(), dtype=string),
'field': Text(shape=(), dtype=string),
'lexically_identical': bool,
'linguistics_term': Text(shape=(), dtype=string),
'one_prefix_method': bool,
'pair_id': int32,
'sentence_bad': Text(shape=(), dtype=string),
'sentence_good': Text(shape=(), dtype=string),
'simple_LM_method': bool,
'two_prefix_method': bool,
})
- Documentación de características :
Rasgo | Clase | Forma | Tipo D | Descripción |
---|---|---|---|---|
CaracterísticasDict | ||||
UID | Texto | cuerda | ||
campo | Texto | cuerda | ||
léxicamente_idéntico | Tensor | bool | ||
término_lingüístico | Texto | cuerda | ||
un_prefijo_método | Tensor | bool | ||
par_id | Tensor | int32 | ||
sentencia_mala | Texto | cuerda | ||
frase_buena | Texto | cuerda | ||
método_LM_simple | Tensor | bool | ||
método_dos_prefijos | Tensor | bool |
Claves supervisadas (Ver
as_supervised
doc ):None
Figura ( tfds.show_examples ): no compatible.
Cita :
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
dirigible no rígido/adjunct_island (configuración predeterminada)
Descripción de la configuración : esta configuración incluye el paradigma adjunct_island.
Tamaño de la descarga :
350.86 KiB
Tamaño del conjunto de datos :
366.47 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/anaphor_gender_agreement
Descripción de la configuración : esta configuración incluye el paradigma anaphor_gender_agreement.
Tamaño de la descarga :
426.51 KiB
Tamaño del conjunto de datos :
332.31 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/anaphor_number_agreement
Descripción de la configuración : esta configuración incluye el paradigma anaphor_number_agreement.
Tamaño de la descarga :
440.29 KiB
Tamaño del conjunto de datos :
341.07 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/animar_sujeto_pasivo
Descripción de la configuración : esta configuración incluye el paradigma animate_subject_passive.
Tamaño de la descarga :
451.46 KiB
Tamaño del conjunto de datos :
345.50 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/animate_subject_trans
Descripción de la configuración : esta configuración incluye el paradigma animate_subject_trans.
Tamaño de la descarga :
422.95 KiB
Tamaño del conjunto de datos :
329.27 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/causante
Descripción de la configuración : esta configuración incluye el causativo del paradigma.
Tamaño de la descarga :
309.73 KiB
Tamaño del conjunto de datos :
324.36 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/complex_NP_island
Descripción de la configuración : esta configuración incluye el paradigma complex_NP_island.
Tamaño de la descarga :
383.17 KiB
Tamaño del conjunto de datos :
398.78 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/estructura_coordenada_restricción_complejo_rama_izquierda
Descripción de la configuración : esta configuración incluye el paradigma coordina_structure_constraint_complex_left_branch.
Tamaño de la descarga :
558.30 KiB
Tamaño del conjunto de datos :
410.43 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/estructura_coordinada_restricción_objeto_extracción
Descripción de la configuración : esta configuración incluye el paradigma coordina_structure_constraint_object_extraction.
Tamaño de la descarga :
357.47 KiB
Tamaño del conjunto de datos :
372.10 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_1
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_1.
Tamaño de la descarga :
457.66 KiB
Tamaño del conjunto de datos :
356.93 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_2
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_2.
Tamaño de la descarga :
477.40 KiB
Tamaño del conjunto de datos :
357.01 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_irregular_1
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_irregular_1.
Tamaño de la descarga :
463.80 KiB
Tamaño del conjunto de datos :
365.08 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_irregular_2
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_irregular_2.
Tamaño de la descarga :
479.35 KiB
Tamaño del conjunto de datos :
361.76 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_con_adj_2
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adj_2.
Tamaño de la descarga :
514.46 KiB
Tamaño del conjunto de datos :
379.92 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_con_adj_irregular_1
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adj_irregular_1.
Tamaño de la descarga :
487.95 KiB
Tamaño del conjunto de datos :
384.67 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_con_adj_irregular_2
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adj_irregular_2.
Tamaño de la descarga :
516.14 KiB
Tamaño del conjunto de datos :
384.54 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/determinante_sustantivo_acuerdo_con_adjetivo_1
Descripción de la configuración : esta configuración incluye el paradigma determiner_noun_agreement_with_adjective_1.
Tamaño de la descarga :
492.85 KiB
Tamaño del conjunto de datos :
385.25 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible/distractor_agreement_relational_noun
Descripción de la configuración : esta configuración incluye el paradigma distractor_agreement_relational_noun.
Tamaño de la descarga :
513.33 KiB
Tamaño del conjunto de datos :
391.45 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/distractor_agreement_relative_clause
Descripción de la configuración : esta configuración incluye el paradigma distractor_agreement_relative_clause.
Tamaño de la descarga :
551.53 KiB
Tamaño del conjunto de datos :
416.14 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/drop_argument
Descripción de la configuración : esta configuración incluye el paradigma drop_argument.
Tamaño de la descarga :
297.07 KiB
Tamaño del conjunto de datos :
311.70 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/elipsis_n_bar_1
Descripción de la configuración : esta configuración incluye el paradigma ellipsis_n_bar_1.
Tamaño de la descarga :
402.32 KiB
Tamaño del conjunto de datos :
417.06 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/elipsis_n_bar_2
Descripción de la configuración : esta configuración incluye el paradigma ellipsis_n_bar_2.
Tamaño de la descarga :
417.53 KiB
Tamaño del conjunto de datos :
432.47 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/existencial_allí_objeto_levantamiento
Descripción de la configuración : esta configuración incluye el paradigma existencial_there_object_raising.
Tamaño de la descarga :
537.77 KiB
Tamaño del conjunto de datos :
423.00 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible/existencial_hay_cuantificadores_1
Descripción de la configuración : esta configuración incluye el paradigma existencial_there_quantifiers_1.
Tamaño de la descarga :
348.95 KiB
Tamaño del conjunto de datos :
363.58 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible/existencial_hay_cuantificadores_2
Descripción de la configuración : esta configuración incluye el paradigma existencial_there_quantifiers_2.
Tamaño de la descarga :
350.80 KiB
Tamaño del conjunto de datos :
365.43 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible/existencial_allí_sujeto_levantamiento
Descripción de la configuración : esta configuración incluye el paradigma existencial_there_subject_raising.
Tamaño de la descarga :
385.21 KiB
Tamaño del conjunto de datos :
399.84 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible dirigible/improperio_es_objeto_levantando
Descripción de la configuración : esta configuración incluye el paradigma expletive_it_object_raising.
Tamaño de la descarga :
573.88 KiB
Tamaño del conjunto de datos :
437.58 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/incoativo
Descripción de la configuración : esta configuración incluye el paradigma inchoativo.
Tamaño de la descarga :
291.71 KiB
Tamaño del conjunto de datos :
306.34 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/intransitivo
Descripción de la configuración : esta configuración incluye el paradigma intransitivo.
Tamaño de la descarga :
298.33 KiB
Tamaño del conjunto de datos :
312.96 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/irregular_past_participle_adjectives
Descripción de la configuración : esta configuración incluye el paradigma irregular_past_participle_adjectives.
Tamaño de la descarga :
434.10 KiB
Tamaño del conjunto de datos :
345.74 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/irregular_past_participle_verbs
Descripción de la configuración : esta configuración incluye el paradigma irregular_past_participle_verbs.
Tamaño de la descarga :
410.27 KiB
Tamaño del conjunto de datos :
327.21 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/irregular_plural_subject_verb_agreement_1
Descripción de la configuración : esta configuración incluye el paradigma irregular_plural_subject_verb_agreement_1.
Tamaño de la descarga :
449.91 KiB
Tamaño del conjunto de datos :
366.17 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/irregular_plural_subject_verb_agreement_2
Descripción de la configuración : esta configuración incluye el paradigma irregular_plural_subject_verb_agreement_2.
Tamaño de la descarga :
442.75 KiB
Tamaño del conjunto de datos :
354.70 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/left_branch_island_echo_question
Descripción de la configuración : esta configuración incluye el paradigma left_branch_island_echo_question.
Tamaño de la descarga :
471.31 KiB
Tamaño del conjunto de datos :
348.84 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/left_branch_island_simple_question
Descripción de la configuración : esta configuración incluye el paradigma left_branch_island_simple_question.
Tamaño de la descarga :
335.40 KiB
Tamaño del conjunto de datos :
351.01 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/matrix_question_npi_licensor_present
Descripción de la configuración : esta configuración incluye el paradigma matrix_question_npi_licensor_present.
Tamaño de la descarga :
447.08 KiB
Tamaño del conjunto de datos :
354.14 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/npi_present_1
Descripción de la configuración : esta configuración incluye el paradigma npi_present_1.
Tamaño de la descarga :
427.75 KiB
Tamaño del conjunto de datos :
339.68 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/npi_present_2
Descripción de la configuración : esta configuración incluye el paradigma npi_present_2.
Tamaño de la descarga :
412.24 KiB
Tamaño del conjunto de datos :
329.11 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/only_npi_licensor_present
Descripción de la configuración : esta configuración incluye el paradigma only_npi_licensor_present.
Tamaño de la descarga :
448.41 KiB
Tamaño del conjunto de datos :
349.50 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/only_npi_scope
Descripción de la configuración : esta configuración incluye el paradigma only_npi_scope.
Tamaño de la descarga :
570.04 KiB
Tamaño del conjunto de datos :
408.52 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/pasivo_1
Descripción de la configuración : esta configuración incluye el paradigma pasivo_1.
Tamaño de la descarga :
332.30 KiB
Tamaño del conjunto de datos :
346.93 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/passive_2
Descripción de la configuración : esta configuración incluye el paradigma pasivo_2.
Tamaño de la descarga :
301.12 KiB
Tamaño del conjunto de datos :
315.75 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/principio_A_c_comando
Descripción de la configuración : esta configuración incluye el principio del paradigma_A_c_command.
Tamaño de la descarga :
515.32 KiB
Tamaño del conjunto de datos :
388.54 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/principio_A_caso_1
Descripción de la configuración : esta configuración incluye el paradigma principio_A_caso_1.
Tamaño de la descarga :
466.05 KiB
Tamaño del conjunto de datos :
370.87 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/principio_A_caso_2
Descripción de la configuración : esta configuración incluye el paradigma principio_A_caso_2.
Tamaño de la descarga :
481.42 KiB
Tamaño del conjunto de datos :
370.88 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/principio_A_dominio_1
Descripción de la configuración : esta configuración incluye el principio de paradigma_A_domain_1.
Tamaño de la descarga :
488.15 KiB
Tamaño del conjunto de datos :
371.62 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/principio_A_dominio_2
Descripción de la configuración : esta configuración incluye el paradigma principio_A_dominio_2.
Tamaño de la descarga :
481.63 KiB
Tamaño del conjunto de datos :
365.92 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/principio_A_dominio_3
Descripción de la configuración : esta configuración incluye el principio de paradigma_A_domain_3.
Tamaño de la descarga :
501.84 KiB
Tamaño del conjunto de datos :
359.74 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/principio_A_reconstrucción
Descripción de la configuración : esta configuración incluye el paradigma principio_A_reconstrucción.
Tamaño de la descarga :
337.40 KiB
Tamaño del conjunto de datos :
353.00 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/regular_plural_sujeto_verbo_acuerdo_1
Descripción de la configuración : esta configuración incluye el paradigma regular_plural_subject_verb_agreement_1.
Tamaño de la descarga :
441.26 KiB
Tamaño del conjunto de datos :
359.56 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/regular_plural_sujeto_verbo_acuerdo_2
Descripción de la configuración : esta configuración incluye el paradigma regular_plural_subject_verb_agreement_2.
Tamaño de la descarga :
445.78 KiB
Tamaño del conjunto de datos :
354.47 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/sentential_negation_npi_licensor_present
Descripción de la configuración : esta configuración incluye el paradigma sentential_negation_npi_licensor_present.
Tamaño de la descarga :
479.49 KiB
Tamaño del conjunto de datos :
372.30 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible/sentential_negation_npi_scope
Descripción de la configuración : esta configuración incluye el paradigma sentential_negation_npi_scope.
Tamaño de la descarga :
600.52 KiB
Tamaño del conjunto de datos :
431.18 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/sentential_subject_island
Descripción de la configuración : esta configuración incluye el paradigma sentential_subject_island.
Tamaño de la descarga :
357.25 KiB
Tamaño del conjunto de datos :
372.86 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/superlative_quantifiers_1
Descripción de la configuración : esta configuración incluye el paradigma superlative_quantifiers_1.
Tamaño de la descarga :
372.25 KiB
Tamaño del conjunto de datos :
360.02 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/superlative_quantifiers_2
Descripción de la configuración : esta configuración incluye el paradigma superlative_quantifiers_2.
Tamaño de la descarga :
504.02 KiB
Tamaño del conjunto de datos :
360.07 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/tough_vs_raising_1
Descripción de la configuración : esta configuración incluye el paradigmaough_vs_raising_1.
Tamaño de la descarga :
334.99 KiB
Tamaño del conjunto de datos :
349.62 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/difícil_contra_elevación_2
Descripción de la configuración : esta configuración incluye el paradigmaough_vs_raising_2.
Tamaño de la descarga :
355.54 KiB
Tamaño del conjunto de datos :
370.17 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/transitivo
Descripción de la configuración : esta configuración incluye el paradigma transitivo.
Tamaño de la descarga :
449.50 KiB
Tamaño del conjunto de datos :
334.45 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_island
Descripción de la configuración : esta configuración incluye el paradigma wh_island.
Tamaño de la descarga :
438.12 KiB
Tamaño del conjunto de datos :
343.47 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_questions_object_gap
Descripción de la configuración : esta configuración incluye el paradigma wh_questions_object_gap.
Tamaño de la descarga :
378.35 KiB
Tamaño del conjunto de datos :
392.99 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_questions_subject_gap
Descripción de la configuración : esta configuración incluye el paradigma wh_questions_subject_gap.
Tamaño de la descarga :
380.84 KiB
Tamaño del conjunto de datos :
395.47 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_questions_subject_gap_long_distance
Descripción de la configuración : esta configuración incluye el paradigma wh_questions_subject_gap_long_distance.
Tamaño de la descarga :
451.82 KiB
Tamaño del conjunto de datos :
466.53 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_vs_that_no_gap
Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_no_gap.
Tamaño de la descarga :
374.28 KiB
Tamaño del conjunto de datos :
388.91 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_vs_that_no_gap_long_distance
Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_no_gap_long_distance.
Tamaño de la descarga :
431.08 KiB
Tamaño del conjunto de datos :
445.74 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_vs_that_with_gap
Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_with_gap.
Tamaño de la descarga :
359.16 KiB
Tamaño del conjunto de datos :
373.79 KiB
Ejemplos ( tfds.as_dataframe ):
dirigible no rígido/wh_vs_that_with_gap_long_distance
Descripción de la configuración : esta configuración incluye el paradigma wh_vs_that_with_gap_long_distance.
Tamaño de descarga :
416.00 KiB
Tamaño del conjunto de datos :
430.63 KiB
Ejemplos ( tfds.as_dataframe ):