ai2dคำบรรยายภาพ

  • คำอธิบาย :

ชุดข้อมูลนี้อิงจากชุดข้อมูล AI2D เป็นหลัก (ดู ที่นี่ )

ดู ส่วนที่ 4.1 ของรายงานของเราเกี่ยวกับกระบวนการใส่คำอธิบายประกอบชุดข้อมูล AI2D-Caption

แยก ตัวอย่าง
'auditor_llm_training_examples' 30
'gpt4v' 4,903
'llava_15' 4,902
'planner_llm_training_examples' 30
'test' 75
  • โครงสร้างคุณสมบัติ :
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • เอกสารคุณสมบัติ :
คุณสมบัติ ระดับ รูปร่าง ประเภทD คำอธิบาย
คุณสมบัติDict
คำบรรยายภาพ ข้อความ เชือก
เอนทิตี ลำดับ
เอนทิตี/ขอบเขต คุณสมบัติ BBox (4,) ลอย32
หน่วยงาน/แมว ClassLabel int64
เอนทิตี/จาก ข้อความ เชือก
เอนทิตี/รหัส ข้อความ เชือก
เอนทิตี/ป้ายกำกับ ข้อความ เชือก
เอนทิตี/ถึง ข้อความ เชือก
เอนทิตี/ประเภท ClassLabel int64
ภาพ ภาพ (ไม่มี ไม่มี 3) uint8 รูปภาพของแผนภาพ
image_ชื่อไฟล์ ข้อความ เชือก ชื่อไฟล์ภาพ. เช่น "1337.png"
เค้าโครง ClassLabel int64
ความสัมพันธ์ ลำดับ(ข้อความ) (ไม่มี,) เชือก
หัวข้อ ClassLabel int64

การแสดงภาพ

  • การอ้างอิง :
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}