- 説明:
Grounded SCAN (gSCAN) は、状況に応じた言語理解における構成的一般化を評価するための合成データセットです。 gSCAN は、自然言語の指示とアクション シーケンスを組み合わせ、エージェントがグリッドベースのビジュアル ナビゲーション環境のコンテキスト内で指示を解釈することを要求します。
詳細については、次を参照してください。
compositional_splits
とtarget_length_split
の場合: https://github.com/LauraRuis/groundedSCANspatial_relation_splits
の場合: https://github.com/google-research/language/tree/master/language/gscan/dataバージョン:
-
1.0.0
: 初期リリース。 -
1.1.0
:vector
機能を Text() に変更しました。 -
2.0.0
(デフォルト): 新しい spatial_relation_splits 構成を追加します。
-
自動キャッシュ(ドキュメント): いいえ
機能構造:
FeaturesDict({
'command': Sequence(Text(shape=(), dtype=string)),
'manner': Text(shape=(), dtype=string),
'meaning': Sequence(Text(shape=(), dtype=string)),
'referred_target': Text(shape=(), dtype=string),
'situation': FeaturesDict({
'agent_direction': int32,
'agent_position': FeaturesDict({
'column': int32,
'row': int32,
}),
'direction_to_target': Text(shape=(), dtype=string),
'distance_to_target': int32,
'grid_size': int32,
'placed_objects': Sequence({
'object': FeaturesDict({
'color': Text(shape=(), dtype=string),
'shape': Text(shape=(), dtype=string),
'size': int32,
}),
'position': FeaturesDict({
'column': int32,
'row': int32,
}),
'vector': Text(shape=(), dtype=string),
}),
'target_object': FeaturesDict({
'object': FeaturesDict({
'color': Text(shape=(), dtype=string),
'shape': Text(shape=(), dtype=string),
'size': int32,
}),
'position': FeaturesDict({
'column': int32,
'row': int32,
}),
'vector': Text(shape=(), dtype=string),
}),
}),
'target_commands': Sequence(Text(shape=(), dtype=string)),
'verb_in_command': Text(shape=(), dtype=string),
})
- 機能のドキュメント:
特徴 | クラス | 形 | Dtype | 説明 |
---|---|---|---|---|
特徴辞書 | ||||
指図 | シーケンス(テキスト) | (なし、) | ストリング | |
マナー | 文章 | ストリング | ||
意味 | シーケンス(テキスト) | (なし、) | ストリング | |
参照先 | 文章 | ストリング | ||
状況 | 特徴辞書 | |||
シチュエーション/agent_direction | テンソル | int32 | ||
シチュエーション/agent_position | 特徴辞書 | |||
シチュエーション/エージェントの位置/列 | テンソル | int32 | ||
シチュエーション/エージェントの位置/行 | テンソル | int32 | ||
シチュエーション/対象への方向 | 文章 | ストリング | ||
状況/目標までの距離 | テンソル | int32 | ||
シチュエーション/grid_size | テンソル | int32 | ||
シチュエーション/placed_objects | 順序 | |||
シチュエーション/placed_objects/オブジェクト | 特徴辞書 | |||
シチュエーション/placed_objects/オブジェクト/色 | 文章 | ストリング | ||
シチュエーション/placed_objects/オブジェクト/シェイプ | 文章 | ストリング | ||
シチュエーション/placed_objects/オブジェクト/サイズ | テンソル | int32 | ||
シチュエーション/placed_objects/position | 特徴辞書 | |||
シチュエーション/placed_objects/position/column | テンソル | int32 | ||
シチュエーション/placed_objects/position/row | テンソル | int32 | ||
シチュエーション/placed_objects/vector | 文章 | ストリング | ||
シチュエーション/ターゲット_オブジェクト | 特徴辞書 | |||
シチュエーション/ターゲット_オブジェクト/オブジェクト | 特徴辞書 | |||
シチュエーション/ターゲット_オブジェクト/オブジェクト/色 | 文章 | ストリング | ||
シチュエーション/ターゲットオブジェクト/オブジェクト/形状 | 文章 | ストリング | ||
シチュエーション/ターゲット_オブジェクト/オブジェクト/サイズ | テンソル | int32 | ||
シチュエーション/ターゲット_オブジェクト/位置 | 特徴辞書 | |||
シチュエーション/対象物/位置/列 | テンソル | int32 | ||
シチュエーション/ターゲットオブジェクト/位置/行 | テンソル | int32 | ||
シチュエーション/ターゲット_オブジェクト/ベクトル | 文章 | ストリング | ||
target_commands | シーケンス(テキスト) | (なし、) | ストリング | |
verb_in_command | 文章 | ストリング |
監視されたキー(
as_supervised
docを参照):None
図( tfds.show_examples ): サポートされていません。
引用:
@inproceedings{NEURIPS2020_e5a90182,
author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
booktitle = {Advances in Neural Information Processing Systems},
editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
pages = {19861--19872},
publisher = {Curran Associates, Inc.},
title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
volume = {33},
year = {2020}
}
@inproceedings{qiu-etal-2021-systematic,
title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
author = "Qiu, Linlu and
Hu, Hexiang and
Zhang, Bowen and
Shaw, Peter and
Sha, Fei",
booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2021",
address = "Online and Punta Cana, Dominican Republic",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2021.emnlp-main.166",
doi = "10.18653/v1/2021.emnlp-main.166",
pages = "2180--2188",
}
Grounded_scan/compositional_splits (デフォルト設定)
構成の説明: 構成の一般化の例。
ダウンロードサイズ:
82.10 MiB
データセットサイズ:
998.11 MiB
スプリット:
スプリット | 例 |
---|---|
'adverb_1' | 112,880 |
'adverb_2' | 38,582 |
'contextual' | 11,460 |
'dev' | 3,716 |
'situational_1' | 88,642 |
'situational_2' | 16,808 |
'test' | 19,282 |
'train' | 367,933 |
'visual' | 37,436 |
'visual_easier' | 18,718 |
- 例( tfds.as_dataframe ):
Grounded_scan/target_length_split
構成の説明: より大きなターゲットの長さに一般化するための例。
ダウンロードサイズ:
53.41 MiB
データセットのサイズ:
546.73 MiB
スプリット:
スプリット | 例 |
---|---|
'dev' | 1,821 |
'target_lengths' | 198,588 |
'test' | 37,784 |
'train' | 180,301 |
- 例( tfds.as_dataframe ):
Grounded_scan/spatial_relation_splits
構成の説明: 空間関係推論の例。
ダウンロードサイズ:
89.59 MiB
データセットのサイズ:
675.09 MiB
スプリット:
スプリット | 例 |
---|---|
'dev' | 2,617 |
'referent' | 30,492 |
'relation' | 6,285 |
'relative_position_1' | 41,576 |
'relative_position_2' | 41,529 |
'test' | 28,526 |
'train' | 259,088 |
'visual' | 62,250 |
- 例( tfds.as_dataframe ):