- Описание :
Grounded SCAN (gSCAN) — это синтетический набор данных для оценки композиционного обобщения в понимании ситуативного языка. gSCAN сочетает инструкции на естественном языке с последовательностями действий и требует, чтобы агент интерпретировал инструкции в контексте среды визуальной навигации на основе сетки.
Дополнительную информацию можно найти по адресу:
Для
target_length_split
compositional_splits
https://github.com/LauraRuis/groundedSCANДля
spatial_relation_splits
: https://github.com/google-research/language/tree/master/language/gscan/dataДомашняя страница : https://github.com/LauraRuis/groundedSCAN
Исходный код :
tfds.vision_language.grounded_scan.GroundedScan
Версии :
-
1.0.0
: Первоначальный выпуск. -
1.1.0
: функцияvector
изменена на Text(). -
2.0.0
(по умолчанию): добавляет новую конфигурацию пространственного_отношения_splits.
-
Автоматическое кэширование ( документация ): Нет
Структура функции :
FeaturesDict({
'command': Sequence(Text(shape=(), dtype=string)),
'manner': Text(shape=(), dtype=string),
'meaning': Sequence(Text(shape=(), dtype=string)),
'referred_target': Text(shape=(), dtype=string),
'situation': FeaturesDict({
'agent_direction': int32,
'agent_position': FeaturesDict({
'column': int32,
'row': int32,
}),
'direction_to_target': Text(shape=(), dtype=string),
'distance_to_target': int32,
'grid_size': int32,
'placed_objects': Sequence({
'object': FeaturesDict({
'color': Text(shape=(), dtype=string),
'shape': Text(shape=(), dtype=string),
'size': int32,
}),
'position': FeaturesDict({
'column': int32,
'row': int32,
}),
'vector': Text(shape=(), dtype=string),
}),
'target_object': FeaturesDict({
'object': FeaturesDict({
'color': Text(shape=(), dtype=string),
'shape': Text(shape=(), dtype=string),
'size': int32,
}),
'position': FeaturesDict({
'column': int32,
'row': int32,
}),
'vector': Text(shape=(), dtype=string),
}),
}),
'target_commands': Sequence(Text(shape=(), dtype=string)),
'verb_in_command': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
ОсобенностиDict | ||||
команда | Последовательность (текст) | (Никто,) | нить | |
манера | Текст | нить | ||
значение | Последовательность (текст) | (Никто,) | нить | |
refer_target | Текст | нить | ||
ситуация | ОсобенностиDict | |||
ситуация/агент_направление | Тензор | int32 | ||
ситуация/позиция_агента | ОсобенностиDict | |||
ситуация/позиция_агента/столбец | Тензор | int32 | ||
ситуация/позиция_агента/строка | Тензор | int32 | ||
ситуация/направление_к_цели | Текст | нить | ||
ситуация/расстояние_до_цели | Тензор | int32 | ||
ситуация/grid_size | Тензор | int32 | ||
ситуация/размещенные_объекты | Последовательность | |||
ситуация/размещенные_объекты/объект | ОсобенностиDict | |||
ситуация/размещенные_объекты/объект/цвет | Текст | нить | ||
ситуация/размещенные_объекты/объект/форма | Текст | нить | ||
ситуация/размещенные_объекты/объект/размер | Тензор | int32 | ||
ситуация/размещенные_объекты/позиция | ОсобенностиDict | |||
ситуация/размещенные_объекты/позиция/столбец | Тензор | int32 | ||
ситуация/размещенные_объекты/позиция/ряд | Тензор | int32 | ||
ситуация/размещенные_объекты/вектор | Текст | нить | ||
ситуация/целевой_объект | ОсобенностиDict | |||
ситуация/целевой_объект/объект | ОсобенностиDict | |||
ситуация/целевой_объект/объект/цвет | Текст | нить | ||
ситуация/целевой_объект/объект/форма | Текст | нить | ||
ситуация/целевой_объект/объект/размер | Тензор | int32 | ||
ситуация/целевой_объект/позиция | ОсобенностиDict | |||
ситуация/целевой_объект/позиция/столбец | Тензор | int32 | ||
ситуация/целевой_объект/позиция/строка | Тензор | int32 | ||
ситуация/целевой_объект/вектор | Текст | нить | ||
target_commands | Последовательность (текст) | (Никто,) | нить | |
глагол_в_команде | Текст | нить |
Ключи под наблюдением (см . документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Цитата :
@inproceedings{NEURIPS2020_e5a90182,
author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
booktitle = {Advances in Neural Information Processing Systems},
editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
pages = {19861--19872},
publisher = {Curran Associates, Inc.},
title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
volume = {33},
year = {2020}
}
@inproceedings{qiu-etal-2021-systematic,
title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
author = "Qiu, Linlu and
Hu, Hexiang and
Zhang, Bowen and
Shaw, Peter and
Sha, Fei",
booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2021",
address = "Online and Punta Cana, Dominican Republic",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2021.emnlp-main.166",
doi = "10.18653/v1/2021.emnlp-main.166",
pages = "2180--2188",
}
Grounded_scan/compositional_splits (конфигурация по умолчанию)
Описание конфига : Примеры композиционного обобщения.
Размер загрузки :
82.10 MiB
Размер набора данных :
998.11 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'adverb_1' | 112 880 |
'adverb_2' | 38 582 |
'contextual' | 11 460 |
'dev' | 3716 |
'situational_1' | 88 642 |
'situational_2' | 16 808 |
'test' | 19 282 |
'train' | 367 933 |
'visual' | 37 436 |
'visual_easier' | 18 718 |
- Примеры ( tfds.as_dataframe ):
Grounded_scan/target_length_split
Описание конфигурации : примеры обобщения на большие длины целей.
Размер загрузки :
53.41 MiB
Размер набора данных :
546.73 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'dev' | 1821 |
'target_lengths' | 198 588 |
'test' | 37 784 |
'train' | 180 301 |
- Примеры ( tfds.as_dataframe ):
Grounded_scan/spatial_relation_splits
Описание конфигурации : примеры рассуждений о пространственных отношениях.
Размер загрузки :
89.59 MiB
Размер набора данных :
675.09 MiB
.Сплиты :
Расколоть | Примеры |
---|---|
'dev' | 2617 |
'referent' | 30 492 |
'relation' | 6285 |
'relative_position_1' | 41 576 |
'relative_position_2' | 41 529 |
'test' | 28 526 |
'train' | 259 088 |
'visual' | 62 250 |
- Примеры ( tfds.as_dataframe ):