Asqa

  • Descripción :

ASQA es el primer conjunto de datos de respuesta a preguntas de formato largo que se centra en preguntas factoides ambiguas. A diferencia de los conjuntos de datos de respuestas de formato largo anteriores, cada pregunta se anota con respuestas de formato largo y pares de pregunta-respuesta extractivos, que deben responderse mediante el pasaje generado. Una respuesta de formato largo generada se evaluará con la precisión de ROUGE y QA. Mostramos que estas métricas de evaluación se correlacionaron bien con el juicio humano. En este repositorio publicamos el conjunto de datos de ASQA, junto con el código de evaluación: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

Separar Ejemplos
'dev' 948
'train' 4,353
  • Estructura de características :
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=string),
            'wikipage': Text(shape=(), dtype=string),
        }),
        'long_answer': Text(shape=(), dtype=string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=string),
        'question': Text(shape=(), dtype=string),
        'short_answers': Sequence(Text(shape=(), dtype=string)),
        'wikipage': Text(shape=(), dtype=string),
    }),
    'sample_id': int32,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=string),
        'url': Text(shape=(), dtype=string),
    }),
})
  • Documentación de características :
Rasgo Clase Forma Tipo D Descripción
CaracterísticasDict
pregunta_ambigua Texto cuerda Pregunta desambiguada de AmbigQA.
anotaciones Secuencia Respuestas largas a la pregunta ambigua construida por los anotadores de ASQA.
anotaciones/conocimiento Secuencia Lista de piezas de conocimiento adicionales.
anotaciones/conocimiento/contenido Texto cuerda Un pasaje de Wikipedia.
anotaciones/conocimiento/wikipage Texto cuerda Título de la página de Wikipedia de donde se tomó el pasaje.
anotaciones/respuesta_larga Texto cuerda Anotación.
qa_pares Secuencia Pares de preguntas y respuestas de AmbigQA que se utilizan para la desambiguación.
qa_pairs/contexto Texto cuerda Se proporciona contexto adicional.
qa_pairs/pregunta Texto cuerda
qa_pairs/respuestas_cortas Secuencia (Texto) (Ninguna,) cuerda Lista de respuestas cortas de AmbigQA.
qa_pairs/página wiki Texto cuerda Título de la página de Wikipedia de donde se tomó el contexto adicional.
ejemplo de identificacion Tensor int32
páginas wiki Secuencia Lista de páginas de Wikipedia visitadas por los anotadores de AmbigQA.
wikipages/título Texto cuerda Título de la página de Wikipedia.
wikipages/url Texto cuerda Enlace a la página de Wikipedia.
  • Cita :
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}