- Descripción :
Eraser Multi RC es un conjunto de datos para consultas sobre pasajes de varias líneas, junto con respuestas y una justificación. Cada ejemplo en este conjunto de datos tiene las siguientes 5 partes
- Un pasaje de varias líneas 2. Una consulta sobre el pasaje 3. Una respuesta a la consulta
- Una clasificación sobre si la respuesta es correcta o incorrecta 5. Una explicación que justifica la clasificación
Documentación adicional : Explore en Papers With Code
Página de inicio: https://cogcomp.seas.upenn.edu/multirc/
Código fuente :
tfds.text.EraserMultiRc
Versiones :
-
0.1.1
(predeterminado): Sin notas de la versión.
-
Tamaño de la descarga :
1.59 MiB
Tamaño del conjunto de datos :
62.59 MiB
Almacenamiento automático en caché ( documentación ): Sí
Divisiones :
Separar | Ejemplos |
---|---|
'test' | 4,848 |
'train' | 24,029 |
'validation' | 3,214 |
- Estructura de características :
FeaturesDict({
'evidences': Sequence(Text(shape=(), dtype=string)),
'label': ClassLabel(shape=(), dtype=int64, num_classes=2),
'passage': Text(shape=(), dtype=string),
'query_and_answer': Text(shape=(), dtype=string),
})
- Documentación de características :
Rasgo | Clase | Forma | Tipo D | Descripción |
---|---|---|---|---|
CaracterísticasDict | ||||
evidencias | Secuencia (Texto) | (Ninguna,) | cuerda | |
etiqueta | Etiqueta de clase | int64 | ||
paso | Texto | cuerda | ||
consulta_y_respuesta | Texto | cuerda |
Claves supervisadas (Ver
as_supervised
doc ):None
Figura ( tfds.show_examples ): no compatible.
Ejemplos ( tfds.as_dataframe ):
- Cita :
@unpublished{eraser2019,
title = {ERASER: A Benchmark to Evaluate Rationalized NLP Models},
author = {Jay DeYoung and Sarthak Jain and Nazneen Fatema Rajani and Eric Lehman and Caiming Xiong and Richard Socher and Byron C. Wallace}
}
@inproceedings{MultiRC2018,
author = {Daniel Khashabi and Snigdha Chaturvedi and Michael Roth and Shyam Upadhyay and Dan Roth},
title = {Looking Beyond the Surface:A Challenge Set for Reading Comprehension over Multiple Sentences},
booktitle = {NAACL},
year = {2018}
}