- Описание :
Поскольку производительность системы в существующих тестах понимания прочитанного приближается или превосходит производительность человека, нам нужен новый жесткий набор данных, который улучшит возможности систем для фактического чтения абзацев текста. DROP — это созданный краудсорсингом тест из 96 тысяч вопросов, в котором система должна разрешать ссылки в вопросе, возможно, на несколько входных позиций, и выполнять над ними дискретные операции (такие как сложение, подсчет или сортировка). Эти операции требуют гораздо более полного понимания содержания абзацев, чем это было необходимо для предыдущих наборов данных.
Дополнительная документация : изучить документы с кодом
Домашняя страница : https://allennlp.org/drop
Исходный код :
tfds.text.drop.Drop
Версии :
-
1.0.0
: Первоначальный выпуск. -
2.0.0
(по умолчанию): добавить все варианты ответов.
-
Размер загрузки :
7.92 MiB
Размер набора данных :
116.24 MiB
.Автоматическое кэширование ( документация ): Да
Сплиты :
Расколоть | Примеры |
---|---|
'dev' | 9 536 |
'train' | 77 409 |
- Структура функции :
FeaturesDict({
'answer': Text(shape=(), dtype=string),
'passage': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
ОсобенностиDict | ||||
отвечать | Текст | нить | ||
проход | Текст | нить | ||
query_id | Текст | нить | ||
вопрос | Текст | нить | ||
validated_answers | Последовательность (текст) | (Никто,) | нить |
Ключи под наблюдением (см . документ
as_supervised
):None
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ):
- Цитата :
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}