- Описание :
Набор данных Google RefExp представляет собой набор текстовых описаний объектов на изображениях, основанный на общедоступном наборе данных MS-COCO. В то время как подписи к изображениям в MS-COCO применяются ко всему изображению, этот набор данных фокусируется на текстовых описаниях, которые позволяют однозначно идентифицировать один объект или область на изображении. Подробнее см. в этой статье: Генерация и понимание однозначных описаний объектов.
Дополнительная документация : изучить документы с кодом
Домашняя страница : https://github.com/mjhucla/Google_Refexp_toolbox
Исходный код :
tfds.vision_language.gref.Gref
Версии :
-
1.0.0
(по умолчанию): Первоначальный выпуск.
-
Размер загрузки :
Unknown size
Размер набора данных :
4.60 GiB
Инструкции по ручной загрузке : этот набор данных требует, чтобы вы загружали исходные данные вручную в
download_config.manual_dir
(по умолчанию~/tensorflow_datasets/downloads/manual/
):
Следуйте инструкциям на странице https://github.com/mjhucla/Google_Refexp_toolbox , чтобы загрузить и предварительно обработать данные в согласованном формате с COCO. Каталог содержит 2 файла и одну папку:google_refexp_train_201511_coco_aligned_catg.json
google_refexp_val_201511_coco_aligned_catg.json
coco_train2014/
Папка coco_train2014 содержит все обучающие изображения COCO 2014.
Автоматическое кэширование ( документация ): Нет
Сплиты :
Расколоть | Примеры |
---|---|
'train' | 24 698 |
'validation' | 4650 |
- Структура функции :
FeaturesDict({
'image': Image(shape=(None, None, 3), dtype=uint8),
'image/id': int64,
'objects': Sequence({
'area': int64,
'bbox': BBoxFeature(shape=(4,), dtype=float32),
'id': int64,
'label': int64,
'label_name': ClassLabel(shape=(), dtype=int64, num_classes=80),
'refexp': Sequence({
'raw': Text(shape=(), dtype=string),
'referent': Text(shape=(), dtype=string),
'refexp_id': int64,
'tokens': Sequence(Text(shape=(), dtype=string)),
}),
}),
})
- Документация по функциям :
Особенность | Учебный класс | Форма | Dтип | Описание |
---|---|---|---|---|
ОсобенностиDict | ||||
изображение | Изображение | (Нет, Нет, 3) | uint8 | |
изображение/идентификатор | Тензор | int64 | ||
объекты | Последовательность | |||
объекты/площадь | Тензор | int64 | ||
объекты/bbox | BBoxFeature | (4,) | поплавок32 | |
объекты/идентификатор | Тензор | int64 | ||
объекты/метка | Тензор | int64 | ||
объекты/имя_метки | Метка класса | int64 | ||
объекты/refexp | Последовательность | |||
объекты/refexp/сырые | Текст | нить | ||
объекты/refexp/референт | Текст | нить | ||
объекты/refexp/refexp_id | Тензор | int64 | ||
объекты/refexp/токены | Последовательность (текст) | (Никто,) | нить |
Ключи под наблюдением (см . документ
as_supervised
):None
Рисунок ( tfds.show_examples ):
- Примеры ( tfds.as_dataframe ):
- Цитата :
@inproceedings{mao2016generation,
title={Generation and Comprehension of Unambiguous Object Descriptions},
author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
booktitle={CVPR},
year={2016}
}