- Descripción :
Con el rendimiento del sistema en los puntos de referencia de comprensión de lectura existentes acercándose o superando el rendimiento humano, necesitamos un nuevo conjunto de datos duro que mejore las capacidades de los sistemas para leer párrafos de texto. DROP es un punto de referencia de 96 000 preguntas de colaboración abierta y creado por adversarios, en el que un sistema debe resolver las referencias en una pregunta, tal vez a varias posiciones de entrada, y realizar operaciones discretas sobre ellas (como sumar, contar o clasificar). Estas operaciones requieren una comprensión mucho más completa del contenido de los párrafos que la necesaria para los conjuntos de datos anteriores.
Documentación adicional : Explore en Papers With Code
Página de inicio: https://allennlp.org/drop
Código fuente :
tfds.text.drop.Drop
Versiones :
-
1.0.0
: Versión inicial. -
2.0.0
(predeterminado): agregue todas las opciones para las respuestas.
-
Tamaño de la descarga :
7.92 MiB
Tamaño del conjunto de datos :
116.24 MiB
Almacenamiento automático en caché ( documentación ): Sí
Divisiones :
Separar | Ejemplos |
---|---|
'dev' | 9,536 |
'train' | 77,409 |
- Estructura de características :
FeaturesDict({
'answer': Text(shape=(), dtype=string),
'passage': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
- Documentación de características :
Rasgo | Clase | Forma | Tipo D | Descripción |
---|---|---|---|---|
CaracterísticasDict | ||||
responder | Texto | cuerda | ||
paso | Texto | cuerda | ||
consulta_id | Texto | cuerda | ||
pregunta | Texto | cuerda | ||
respuestas_validadas | Secuencia (Texto) | (Ninguna,) | cuerda |
Claves supervisadas (Ver
as_supervised
doc ):None
Figura ( tfds.show_examples ): no compatible.
Ejemplos ( tfds.as_dataframe ):
- Cita :
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}