ai2dcaption

  • Descrição :

Este conjunto de dados é baseado principalmente no conjunto de dados AI2D (veja aqui ).

Consulte a Seção 4.1 de nosso artigo para o processo de anotação do conjunto de dados AI2D-Caption.

Dividir Exemplos
'auditor_llm_training_examples' 30
'gpt4v' 4.903
'llava_15' 4.902
'planner_llm_training_examples' 30
'test' 75
  • Estrutura de recursos : 
FeaturesDict({
    'caption': Text(shape=(), dtype=string),
    'entities': Sequence({
        'bounds': BBoxFeature(shape=(4,), dtype=float32),
        'cat': ClassLabel(shape=(), dtype=int64, num_classes=10),
        'from': Text(shape=(), dtype=string),
        'id': Text(shape=(), dtype=string),
        'label': Text(shape=(), dtype=string),
        'to': Text(shape=(), dtype=string),
        'type': ClassLabel(shape=(), dtype=int64, num_classes=5),
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8, description=The image of the diagram.),
    'image_filename': Text(shape=(), dtype=string),
    'layout': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'relationships': Sequence(Text(shape=(), dtype=string)),
    'topic': ClassLabel(shape=(), dtype=int64, num_classes=4),
})
  • Documentação de recursos :
Recurso Aula Forma Tipo D Descrição
RecursosDict
rubrica Texto corda
entidades Sequência
entidades/limites BBoxFeature (4,) float32
entidades/gato ClassLabel int64
entidades/de Texto corda
entidades/id Texto corda
entidades/rótulo Texto corda
entidades/para Texto corda
entidades/tipo ClassLabel int64
imagem Imagem (Nenhum, Nenhum, 3) uint8 A imagem do diagrama.
nome_do_arquivo_imagem Texto corda Nome do arquivo de imagem. por exemplo, "1337.png"
layout ClassLabel int64
relacionamentos Sequência (Texto) (Nenhum,) corda
tópico ClassLabel int64

Visualização

  • Citação : 
@inproceedings{Zala2024DiagrammerGPT,
        author = {Abhay Zala and Han Lin and Jaemin Cho and Mohit Bansal},
        title = {DiagrammerGPT: Generating Open-Domain, Open-Platform Diagrams via LLM Planning},
        year = {2024},
        booktitle = {COLM},
}