- 説明:
BLiMP は、言語モデル (LM) が英語の主要な文法現象について何を知っているかを評価するための課題セットです。 BLiMP は 67 のサブデータセットで構成され、それぞれに構文、形態、またはセマンティクスの特定のコントラストを分離する 1000 の最小ペアが含まれています。データは専門家が作成した文法に従って自動的に生成されます。
追加のドキュメント:コード を使用したペーパーの探索
ソースコード:
tfds.datasets.blimp.Builder
バージョン:
-
0.1.0
(デフォルト): リリース ノートはありません。
-
自動キャッシュ(ドキュメント): はい
スプリット:
スプリット | 例 |
---|---|
'train' | 1,000 |
- 機能構造:
FeaturesDict({
'UID': Text(shape=(), dtype=string),
'field': Text(shape=(), dtype=string),
'lexically_identical': bool,
'linguistics_term': Text(shape=(), dtype=string),
'one_prefix_method': bool,
'pair_id': int32,
'sentence_bad': Text(shape=(), dtype=string),
'sentence_good': Text(shape=(), dtype=string),
'simple_LM_method': bool,
'two_prefix_method': bool,
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
特徴辞書 | ||||
UID | 文章 | ストリング | ||
分野 | 文章 | ストリング | ||
lexically_identical | テンソル | ブール | ||
言語学_用語 | 文章 | ストリング | ||
one_prefix_method | テンソル | ブール | ||
ペアID | テンソル | int32 | ||
文_悪い | 文章 | ストリング | ||
文_良い | 文章 | ストリング | ||
simple_LM_method | テンソル | ブール | ||
two_prefix_method | テンソル | ブール |
監視されたキー(
as_supervised
docを参照):None
図( tfds.show_examples ): サポートされていません。
引用:
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
blimp/adjunct_island (デフォルト設定)
構成の説明: この構成には、パラダイム adjunct_island が含まれています。
ダウンロードサイズ:
350.86 KiB
データセットサイズ:
366.47 KiB
例( tfds.as_dataframe ):
blimp/anaphor_gender_agreement
構成の説明: この構成には、パラダイム anaphor_gender_agreement が含まれています。
ダウンロードサイズ:
426.51 KiB
データセットサイズ:
332.31 KiB
例( tfds.as_dataframe ):
blimp/anaphor_number_agreement
構成の説明: この構成には、パラダイム anaphor_number_agreement が含まれています。
ダウンロードサイズ:
440.29 KiB
データセットサイズ:
341.07 KiB
例( tfds.as_dataframe ):
飛行船/animate_subject_passive
構成の説明: この構成には、パラダイム animate_subject_passive が含まれています。
ダウンロードサイズ:
451.46 KiB
データセットサイズ:
345.50 KiB
例( tfds.as_dataframe ):
飛行船/animate_subject_trans
構成の説明: この構成には、パラダイム animate_subject_trans が含まれています。
ダウンロードサイズ:
422.95 KiB
データセットサイズ:
329.27 KiB
例( tfds.as_dataframe ):
飛行船/原因
構成の説明: この構成にはパラダイムの原因が含まれます。
ダウンロードサイズ:
309.73 KiB
データセットサイズ:
324.36 KiB
例( tfds.as_dataframe ):
blimp/complex_NP_island
構成の説明: この構成には、パラダイム complex_NP_island が含まれています。
ダウンロードサイズ:
383.17 KiB
データセットサイズ:
398.78 KiB
例( tfds.as_dataframe ):
飛行船/coordinate_structure_constraint_complex_left_branch
構成の説明: この構成には、paradigm coordinate_structure_constraint_complex_left_branch が含まれます。
ダウンロードサイズ:
558.30 KiB
データセットサイズ:
410.43 KiB
例( tfds.as_dataframe ):
飛行船/coordinate_structure_constraint_object_extraction
構成の説明: この構成には、paradigm coordinate_structure_constraint_object_extraction が含まれています。
ダウンロードサイズ:
357.47 KiB
データセットサイズ:
372.10 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_1
構成の説明: この構成には、determiner_noun_agreement_1 というパラダイムが含まれています。
ダウンロードサイズ:
457.66 KiB
データセットサイズ:
356.93 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_2
構成の説明: この構成には、determiner_noun_agreement_2 というパラダイムが含まれています。
ダウンロードサイズ:
477.40 KiB
データセットサイズ:
357.01 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_irregular_1
構成の説明: この構成には、determiner_noun_agreement_irregular_1 というパラダイムが含まれています。
ダウンロードサイズ:
463.80 KiB
データセットサイズ:
365.08 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_irregular_2
構成の説明: この構成には、determiner_noun_agreement_irregular_2 というパラダイムが含まれています。
ダウンロードサイズ:
479.35 KiB
データセットサイズ:
361.76 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_with_adj_2
構成の説明: この構成には、determiner_noun_agreement_with_adj_2 というパラダイムが含まれています。
ダウンロードサイズ:
514.46 KiB
データセットサイズ:
379.92 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_with_adj_irregular_1
構成の説明: この構成には、determiner_noun_agreement_with_adj_irregular_1 というパラダイムが含まれています。
ダウンロードサイズ:
487.95 KiB
データセットサイズ:
384.67 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_with_adj_irregular_2
構成の説明: この構成には、determiner_noun_agreement_with_adj_irregular_2 というパラダイムが含まれています。
ダウンロードサイズ:
516.14 KiB
データセットサイズ:
384.54 KiB
例( tfds.as_dataframe ):
飛行船/determiner_noun_agreement_with_adjective_1
構成の説明: この構成には、determiner_noun_agreement_with_adjective_1 というパラダイムが含まれています。
ダウンロードサイズ:
492.85 KiB
データセットサイズ:
385.25 KiB
例( tfds.as_dataframe ):
飛行船/distractor_agreement_relational_noun
構成の説明: この構成には、パラダイムの Distractor_agreement_relational_noun が含まれます。
ダウンロードサイズ:
513.33 KiB
データセットサイズ:
391.45 KiB
例( tfds.as_dataframe ):
飛行船/distractor_agreement_relative_clause
構成の説明: この構成には、パラダイムの Distractor_agreement_relative_clause が含まれます。
ダウンロードサイズ:
551.53 KiB
データセットサイズ:
416.14 KiB
例( tfds.as_dataframe ):
blimp/drop_argument
構成の説明: この構成には、パラダイム drop_argument が含まれています。
ダウンロードサイズ:
297.07 KiB
データセットサイズ:
311.70 KiB
例( tfds.as_dataframe ):
blimp/ellipsis_n_bar_1
構成の説明: この構成には、パラダイム ellipsis_n_bar_1 が含まれています。
ダウンロードサイズ:
402.32 KiB
データセットサイズ:
417.06 KiB
例( tfds.as_dataframe ):
blimp/ellipsis_n_bar_2
構成の説明: この構成には、パラダイム ellipsis_n_bar_2 が含まれています。
ダウンロードサイズ:
417.53 KiB
データセットサイズ:
432.47 KiB
例( tfds.as_dataframe ):
飛行船/existential_there_object_raising
構成の説明: この構成には、existential_there_object_raising というパラダイムが含まれています。
ダウンロードサイズ:
537.77 KiB
データセットサイズ:
423.00 KiB
例( tfds.as_dataframe ):
飛行船/existential_there_quantifiers_1
構成の説明: この構成には、existential_there_quantifiers_1 というパラダイムが含まれています。
ダウンロードサイズ:
348.95 KiB
データセットサイズ:
363.58 KiB
例( tfds.as_dataframe ):
飛行船/existential_there_quantifiers_2
構成の説明: この構成には、existential_there_quantifiers_2 というパラダイムが含まれています。
ダウンロードサイズ:
350.80 KiB
データセットサイズ:
365.43 KiB
例( tfds.as_dataframe ):
blimp/existential_there_subject_raising
構成の説明: この構成には、existential_there_subject_raising というパラダイムが含まれています。
ダウンロードサイズ:
385.21 KiB
データセットサイズ:
399.84 KiB
例( tfds.as_dataframe ):
blimp/expletive_it_object_raising
構成の説明: この構成には、パラダイム expletive_it_object_raising が含まれています。
ダウンロードサイズ:
573.88 KiB
データセットサイズ:
437.58 KiB
例( tfds.as_dataframe ):
飛行船/インコエイティブ
構成の説明: この構成には、パラダイム inchoative が含まれています。
ダウンロードサイズ:
291.71 KiB
データセットサイズ:
306.34 KiB
例( tfds.as_dataframe ):
飛行船/自動詞
構成の説明: この構成には、パラダイム intransitive が含まれます。
ダウンロードサイズ:
298.33 KiB
データセットサイズ:
312.96 KiB
例( tfds.as_dataframe ):
blimp/irregular_past_participle_adjectives
構成の説明: この構成には、パラダイム不規則_過去分詞_形容詞が含まれます。
ダウンロードサイズ:
434.10 KiB
データセットサイズ:
345.74 KiB
例( tfds.as_dataframe ):
blimp/irregular_past_participle_verbs
構成の説明: この構成には、パラダイムirregular_past_participle_verbsが含まれています。
ダウンロードサイズ:
410.27 KiB
データセットサイズ:
327.21 KiB
例( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_1
構成の説明: この構成には、パラダイム illegal_plural_subject_verb_agreement_1 が含まれています。
ダウンロードサイズ:
449.91 KiB
データセットサイズ:
366.17 KiB
例( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_2
構成の説明: この構成には、パラダイム illegal_plural_subject_verb_agreement_2 が含まれています。
ダウンロードサイズ:
442.75 KiB
データセットサイズ:
354.70 KiB
例( tfds.as_dataframe ):
blimp/left_branch_island_echo_question
構成の説明: この構成には、パラダイム left_branch_island_echo_question が含まれています。
ダウンロードサイズ:
471.31 KiB
データセットサイズ:
348.84 KiB
例( tfds.as_dataframe ):
飛行船/left_branch_island_simple_question
構成の説明: この構成には、パラダイム left_branch_island_simple_question が含まれています。
ダウンロードサイズ:
335.40 KiB
データセットサイズ:
351.01 KiB
例( tfds.as_dataframe ):
飛行船/matrix_question_npi_licensor_present
構成の説明: この構成には、matrix_question_npi_licensor_present というパラダイムが含まれています。
ダウンロードサイズ:
447.08 KiB
データセットサイズ:
354.14 KiB
例( tfds.as_dataframe ):
飛行船/npi_present_1
構成の説明: この構成には、パラダイム npi_present_1 が含まれています。
ダウンロードサイズ:
427.75 KiB
データセットサイズ:
339.68 KiB
例( tfds.as_dataframe ):
飛行船/npi_present_2
構成の説明: この構成には、パラダイム npi_present_2 が含まれています。
ダウンロードサイズ:
412.24 KiB
データセットサイズ:
329.11 KiB
例( tfds.as_dataframe ):
飛行船/only_npi_licensor_present
構成の説明: この構成には、パラダイム only_npi_licensor_present が含まれています。
ダウンロードサイズ:
448.41 KiB
データセットサイズ:
349.50 KiB
例( tfds.as_dataframe ):
飛行船/only_npi_scope
構成の説明: この構成には、パラダイム only_npi_scope が含まれています。
ダウンロードサイズ:
570.04 KiB
データセットサイズ:
408.52 KiB
例( tfds.as_dataframe ):
飛行船/passive_1
構成の説明: この構成には、passive_1 というパラダイムが含まれています。
ダウンロードサイズ:
332.30 KiB
データセットサイズ:
346.93 KiB
例( tfds.as_dataframe ):
飛行船/passive_2
構成の説明: この構成には、passive_2 というパラダイムが含まれています。
ダウンロードサイズ:
301.12 KiB
データセットサイズ:
315.75 KiB
例( tfds.as_dataframe ):
飛行船/principle_A_c_command
構成の説明: この構成には、paradigm principal_A_c_command が含まれています。
ダウンロードサイズ:
515.32 KiB
データセットサイズ:
388.54 KiB
例( tfds.as_dataframe ):
飛行船/principle_A_case_1
構成の説明: この構成には、パラダイムの principal_A_case_1 が含まれています。
ダウンロードサイズ:
466.05 KiB
データセットサイズ:
370.87 KiB
例( tfds.as_dataframe ):
飛行船/principle_A_case_2
構成の説明: この構成には、パラダイムの principal_A_case_2 が含まれています。
ダウンロードサイズ:
481.42 KiB
データセットサイズ:
370.88 KiB
例( tfds.as_dataframe ):
飛行船/principle_A_domain_1
構成の説明: この構成には、パラダイムの principal_A_domain_1 が含まれています。
ダウンロードサイズ:
488.15 KiB
データセットサイズ:
371.62 KiB
例( tfds.as_dataframe ):
飛行船/principle_A_domain_2
構成の説明: この構成には、パラダイムの principal_A_domain_2 が含まれています。
ダウンロードサイズ:
481.63 KiB
データセットサイズ:
365.92 KiB
例( tfds.as_dataframe ):
飛行船/principle_A_domain_3
構成の説明: この構成には、パラダイムの principal_A_domain_3 が含まれています。
ダウンロードサイズ:
501.84 KiB
データセットサイズ:
359.74 KiB
例( tfds.as_dataframe ):
飛行船/principle_A_reconstruction
構成の説明: この構成には、パラダイムの原則_A_再構築が含まれています。
ダウンロードサイズ:
337.40 KiB
データセットサイズ:
353.00 KiB
例( tfds.as_dataframe ):
飛行船/regular_plural_subject_verb_agreement_1
構成の説明: この構成には、パラダイム regular_plural_subject_verb_agreement_1 が含まれています。
ダウンロードサイズ:
441.26 KiB
データセットサイズ:
359.56 KiB
例( tfds.as_dataframe ):
飛行船/regular_plural_subject_verb_agreement_2
構成の説明: この構成には、パラダイム regular_plural_subject_verb_agreement_2 が含まれます。
ダウンロードサイズ:
445.78 KiB
データセットサイズ:
354.47 KiB
例( tfds.as_dataframe ):
飛行船/sentential_negation_npi_licensor_present
構成の説明: この構成には、sentential_negation_npi_licensor_present パラダイムが含まれています。
ダウンロードサイズ:
479.49 KiB
データセットサイズ:
372.30 KiB
例( tfds.as_dataframe ):
飛行船/sentential_negation_npi_scope
構成の説明: この構成には、パラダイム sentential_negation_npi_scope が含まれています。
ダウンロードサイズ:
600.52 KiB
データセットサイズ:
431.18 KiB
例( tfds.as_dataframe ):
blimp/sentential_subject_island
構成の説明: この構成には、sentential_subject_island というパラダイムが含まれています。
ダウンロードサイズ:
357.25 KiB
データセットサイズ:
372.86 KiB
例( tfds.as_dataframe ):
飛行船/superlative_quantifiers_1
構成の説明: この構成には、パラダイム superlative_quantifiers_1 が含まれています。
ダウンロードサイズ:
372.25 KiB
データセットサイズ:
360.02 KiB
例( tfds.as_dataframe ):
blimp/superlative_quantifiers_2
構成の説明: この構成には、パラダイム superlative_quantifiers_2 が含まれています。
ダウンロードサイズ:
504.02 KiB
データセットサイズ:
360.07 KiB
例( tfds.as_dataframe ):
飛行船/tough_vs_raising_1
構成の説明: この構成には、パラダイム「tough_vs_raising_1」が含まれています。
ダウンロードサイズ:
334.99 KiB
データセットサイズ:
349.62 KiB
例( tfds.as_dataframe ):
飛行船/tough_vs_raising_2
構成の説明: この構成には、パラダイム「tough_vs_raising_2」が含まれています。
ダウンロードサイズ:
355.54 KiB
データセットサイズ:
370.17 KiB
例( tfds.as_dataframe ):
飛行船/他動詞
構成の説明: この構成には、推移的なパラダイムが含まれます。
ダウンロードサイズ:
449.50 KiB
データセットサイズ:
334.45 KiB
例( tfds.as_dataframe ):
飛行船/wh_island
構成の説明: この構成にはパラダイム wh_island が含まれます。
ダウンロードサイズ:
438.12 KiB
データセットサイズ:
343.47 KiB
例( tfds.as_dataframe ):
飛行船/wh_questions_object_gap
構成の説明: この構成には、パラダイム wh_questions_object_gap が含まれています。
ダウンロードサイズ:
378.35 KiB
データセットサイズ:
392.99 KiB
例( tfds.as_dataframe ):
飛行船/wh_questions_subject_gap
構成の説明: この構成には、パラダイム wh_questions_subject_gap が含まれています。
ダウンロードサイズ:
380.84 KiB
データセットサイズ:
395.47 KiB
例( tfds.as_dataframe ):
飛行船/wh_questions_subject_gap_long_distance
構成の説明: この構成には、パラダイム wh_questions_subject_gap_long_distance が含まれています。
ダウンロードサイズ:
451.82 KiB
データセットサイズ:
466.53 KiB
例( tfds.as_dataframe ):
飛行船/wh_vs_that_no_gap
構成の説明: この構成には、パラダイム wh_vs_that_no_gap が含まれています。
ダウンロードサイズ:
374.28 KiB
データセットサイズ:
388.91 KiB
例( tfds.as_dataframe ):
飛行船/wh_vs_that_no_gap_long_distance
構成の説明: この構成には、パラダイム wh_vs_that_no_gap_long_distance が含まれています。
ダウンロードサイズ:
431.08 KiB
データセットサイズ:
445.74 KiB
例( tfds.as_dataframe ):
飛行船/wh_vs_that_with_gap
構成の説明: この構成にはパラダイム wh_vs_that_with_gap が含まれます。
ダウンロードサイズ:
359.16 KiB
データセットサイズ:
373.79 KiB
例( tfds.as_dataframe ):
飛行船/wh_vs_that_with_gap_long_distance
構成の説明: この構成には、パラダイム wh_vs_that_with_gap_long_distance が含まれています。
ダウンロードサイズ:
416.00 KiB
データセットサイズ:
430.63 KiB
例( tfds.as_dataframe ):