ai2dcaption

  • Descripción :

Este conjunto de datos se basa principalmente en el conjunto de datos AI2D (ver aquí ).

Consulte la Sección 4.1 de nuestro artículo para conocer el proceso de anotación del conjunto de datos AI2D-Caption.

Dividir Ejemplos
'auditor_llm_training_examples' 30
'gpt4v' 4,903
'llava_15' 4,902
'planner_llm_training_examples' 30
'test' 75
  • Estructura de características :
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
subtítulo Texto cadena
entidades Secuencia
entidades/límites Característica BBox (4,) flotador32
entidades/gato Etiqueta de clase int64
entidades/de Texto cadena
entidades/identificación Texto cadena
entidades/etiqueta Texto cadena
entidades/a Texto cadena
entidades/tipo Etiqueta de clase int64
imagen Imagen (Ninguno, Ninguno, 3) uint8 La imagen del diagrama.
nombre_archivo_imagen Texto cadena Nombre del archivo de imagen. por ejemplo, "1337.png"
disposición Etiqueta de clase int64
relaciones Secuencia (Texto) (Ninguno,) cadena
tema Etiqueta de clase int64

Visualización

  • Cita :
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}