- คำอธิบาย :
Grounded SCAN (gSCAN) เป็นชุดข้อมูลสังเคราะห์สำหรับประเมินการวางองค์ประกอบโดยรวมในการทำความเข้าใจภาษาที่อยู่ gSCAN จับคู่คำสั่งภาษาธรรมชาติกับลำดับการดำเนินการ และกำหนดให้เอเจนต์ตีความคำสั่งภายในบริบทของสภาพแวดล้อมการนำทางด้วยภาพแบบกริด
สามารถดูข้อมูลเพิ่มเติมได้ที่:
สำหรับ
compositional_splits
และtarget_length_split
: https://github.com/LauraRuis/groundedSCANสำหรับ
spatial_relation_splits
: https://github.com/google-research/language/tree/master/language/gscan/dataรหัสแหล่งที่มา :
tfds.vision_language.grounded_scan.GroundedScan
รุ่น :
-
1.0.0
: การเปิดตัวครั้งแรก -
1.1.0
: เปลี่ยนคุณสมบัติvector
เป็น Text() -
2.0.0
(ค่าเริ่มต้น): เพิ่มการกำหนดค่า spatial_relation_splits ใหม่
-
แคชอัตโนมัติ ( เอกสารประกอบ ): ไม่
โครงสร้างคุณลักษณะ :
FeaturesDict({
'command': Sequence(Text(shape=(), dtype=string)),
'manner': Text(shape=(), dtype=string),
'meaning': Sequence(Text(shape=(), dtype=string)),
'referred_target': Text(shape=(), dtype=string),
'situation': FeaturesDict({
'agent_direction': int32,
'agent_position': FeaturesDict({
'column': int32,
'row': int32,
}),
'direction_to_target': Text(shape=(), dtype=string),
'distance_to_target': int32,
'grid_size': int32,
'placed_objects': Sequence({
'object': FeaturesDict({
'color': Text(shape=(), dtype=string),
'shape': Text(shape=(), dtype=string),
'size': int32,
}),
'position': FeaturesDict({
'column': int32,
'row': int32,
}),
'vector': Text(shape=(), dtype=string),
}),
'target_object': FeaturesDict({
'object': FeaturesDict({
'color': Text(shape=(), dtype=string),
'shape': Text(shape=(), dtype=string),
'size': int32,
}),
'position': FeaturesDict({
'column': int32,
'row': int32,
}),
'vector': Text(shape=(), dtype=string),
}),
}),
'target_commands': Sequence(Text(shape=(), dtype=string)),
'verb_in_command': Text(shape=(), dtype=string),
})
- เอกสารคุณสมบัติ :
ลักษณะเฉพาะ | ระดับ | รูปร่าง | Dประเภท | คำอธิบาย |
---|---|---|---|---|
คุณสมบัติDict | ||||
สั่งการ | ลำดับ (ข้อความ) | (ไม่มี,) | สตริง | |
มารยาท | ข้อความ | สตริง | ||
ความหมาย | ลำดับ (ข้อความ) | (ไม่มี,) | สตริง | |
refer_target | ข้อความ | สตริง | ||
สถานการณ์ | คุณสมบัติDict | |||
สถานการณ์/agent_direction | เทนเซอร์ | int32 | ||
สถานการณ์/agent_position | คุณสมบัติDict | |||
สถานการณ์/agent_position/column | เทนเซอร์ | int32 | ||
สถานการณ์/agent_position/row | เทนเซอร์ | int32 | ||
สถานการณ์/direction_to_target | ข้อความ | สตริง | ||
สถานการณ์/distance_to_target | เทนเซอร์ | int32 | ||
สถานการณ์/grid_size | เทนเซอร์ | int32 | ||
สถานการณ์/placed_objects | ลำดับ | |||
สถานการณ์/placed_objects/วัตถุ | คุณสมบัติDict | |||
สถานการณ์/placed_objects/วัตถุ/สี | ข้อความ | สตริง | ||
สถานการณ์/placed_objects/วัตถุ/รูปร่าง | ข้อความ | สตริง | ||
สถานการณ์/placed_objects/วัตถุ/ขนาด | เทนเซอร์ | int32 | ||
สถานการณ์/placed_objects/ตำแหน่ง | คุณสมบัติDict | |||
สถานการณ์/placed_objects/ตำแหน่ง/คอลัมน์ | เทนเซอร์ | int32 | ||
สถานการณ์/placed_objects/ตำแหน่ง/แถว | เทนเซอร์ | int32 | ||
สถานการณ์/placed_objects/เวกเตอร์ | ข้อความ | สตริง | ||
สถานการณ์/target_object | คุณสมบัติDict | |||
สถานการณ์/target_object/object | คุณสมบัติDict | |||
สถานการณ์/target_object/object/สี | ข้อความ | สตริง | ||
สถานการณ์/target_object/วัตถุ/รูปร่าง | ข้อความ | สตริง | ||
สถานการณ์/target_object/วัตถุ/ขนาด | เทนเซอร์ | int32 | ||
สถานการณ์/target_object/ตำแหน่ง | คุณสมบัติDict | |||
สถานการณ์/target_object/ตำแหน่ง/คอลัมน์ | เทนเซอร์ | int32 | ||
สถานการณ์/target_object/ตำแหน่ง/แถว | เทนเซอร์ | int32 | ||
สถานการณ์/target_object/เวกเตอร์ | ข้อความ | สตริง | ||
target_commands | ลำดับ (ข้อความ) | (ไม่มี,) | สตริง | |
verb_in_command | ข้อความ | สตริง |
คีย์ภายใต้การดูแล (ดู
as_supervised
doc ):None
รูปภาพ ( tfds.show_examples ): ไม่รองรับ
การอ้างอิง :
@inproceedings{NEURIPS2020_e5a90182,
author = {Ruis, Laura and Andreas, Jacob and Baroni, Marco and Bouchacourt, Diane and Lake, Brenden M},
booktitle = {Advances in Neural Information Processing Systems},
editor = {H. Larochelle and M. Ranzato and R. Hadsell and M. F. Balcan and H. Lin},
pages = {19861--19872},
publisher = {Curran Associates, Inc.},
title = {A Benchmark for Systematic Generalization in Grounded Language Understanding},
url = {https://proceedings.neurips.cc/paper/2020/file/e5a90182cc81e12ab5e72d66e0b46fe3-Paper.pdf},
volume = {33},
year = {2020}
}
@inproceedings{qiu-etal-2021-systematic,
title = "Systematic Generalization on g{SCAN}: {W}hat is Nearly Solved and What is Next?",
author = "Qiu, Linlu and
Hu, Hexiang and
Zhang, Bowen and
Shaw, Peter and
Sha, Fei",
booktitle = "Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2021",
address = "Online and Punta Cana, Dominican Republic",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2021.emnlp-main.166",
doi = "10.18653/v1/2021.emnlp-main.166",
pages = "2180--2188",
}
grounded_scan/compositional_splits (การกำหนดค่าเริ่มต้น)
คำอธิบายการกำหนดค่า : ตัวอย่างสำหรับการจัดวางองค์ประกอบทั่วไป
ขนาดการดาวน์โหลด :
82.10 MiB
ขนาดชุดข้อมูล :
998.11 MiB
แยก :
แยก | ตัวอย่าง |
---|---|
'adverb_1' | 112,880 |
'adverb_2' | 38,582 |
'contextual' | 11,460 |
'dev' | 3,716 |
'situational_1' | 88,642 |
'situational_2' | 16,808 |
'test' | 19,282 |
'train' | 367,933 |
'visual' | 37,436 |
'visual_easier' | 18,718 |
- ตัวอย่าง ( tfds.as_dataframe ):
grounded_scan/target_length_split
คำอธิบายการกำหนดค่า : ตัวอย่างสำหรับการสรุปความยาวเป้าหมายที่ใหญ่ขึ้น
ขนาดการดาวน์โหลด :
53.41 MiB
ขนาดชุดข้อมูล :
546.73 MiB
แยก :
แยก | ตัวอย่าง |
---|---|
'dev' | 1,821 |
'target_lengths' | 198,588 |
'test' | 37,784 |
'train' | 180,301 |
- ตัวอย่าง ( tfds.as_dataframe ):
grounded_scan/spatial_relation_splits
คำอธิบายการกำหนดค่า : ตัวอย่างสำหรับการให้เหตุผลเชิงพื้นที่
ขนาดการดาวน์โหลด :
89.59 MiB
ขนาดชุดข้อมูล :
675.09 MiB
แยก :
แยก | ตัวอย่าง |
---|---|
'dev' | 2,617 |
'referent' | 30,492 |
'relation' | 6,285 |
'relative_position_1' | 41,576 |
'relative_position_2' | 41,529 |
'test' | 28,526 |
'train' | 259,088 |
'visual' | 62,250 |
- ตัวอย่าง ( tfds.as_dataframe ):