- Описание :
Диалоговые системы, ориентированные на задачи, должны знать, когда запрос выходит за пределы их диапазона поддерживаемых намерений, но современные корпуса классификации текста определяют только наборы меток, которые охватывают каждый пример. Мы представляем новый набор данных, который включает запросы, выходящие за рамки (OOS), т. е. запросы, которые не попадают ни в одно из поддерживаемых системой намерений. Это создает новую проблему, поскольку модели не могут предполагать, что каждый запрос во время вывода принадлежит поддерживаемому системой классу намерений. Наш набор данных также охватывает 150 классов намерений в 10 доменах, охватывая всю широту, с которой должен работать агент, ориентированный на производственные задачи. Он предлагает способ более строгого и реалистичного сравнения классификации текста в управляемых задачами диалоговых системах.
Дополнительная документация : изучить документы с кодом
Домашняя страница : https://github.com/clinc/oos-eval/
Исходный код :
tfds.text.ClincOOS
Версии :
-
0.1.0
(по умолчанию): нет примечаний к выпуску.
-
Размер загрузки :
256.01 KiB
Размер набора данных :
3.40 MiB
.Автоматическое кэширование ( документация ): Да
Сплиты :
Расколоть | Примеры |
---|---|
'test' | 4500 |
'test_oos' | 1000 |
'train' | 15 000 |
'train_oos' | 100 |
'validation' | 3000 |
'validation_oos' | 100 |
- Структура функции :
FeaturesDict({
'domain': int32,
'domain_name': Text(shape=(), dtype=string),
'intent': int32,
'intent_name': Text(shape=(), dtype=string),
'text': Text(shape=(), dtype=string),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
ОсобенностиDict | ||||
домен | Тензор | int32 | ||
доменное имя | Текст | нить | ||
намерение | Тензор | int32 | ||
имя_намерения | Текст | нить | ||
текст | Текст | нить |
Контролируемые ключи (см.
as_supervised
doc ):('text', 'intent')
Рисунок ( tfds.show_examples ): не поддерживается.
Примеры ( tfds.as_dataframe ):
- Цитата :
@inproceedings{larson-etal-2019-evaluation,
title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
author = "Larson, Stefan and
Mahendran, Anish and
Peper, Joseph J. and
Clarke, Christopher and
Lee, Andrew and
Hill, Parker and
Kummerfeld, Jonathan K. and
Leach, Kevin and
Laurenzano, Michael A. and
Tang, Lingjia and
Mars, Jason",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
month = nov,
year = "2019",
address = "Hong Kong, China",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/D19-1131",
doi = "10.18653/v1/D19-1131",
pages = "1311--1316",
}