Греф

  • Описание :

Набор данных Google RefExp представляет собой набор текстовых описаний объектов на изображениях, основанный на общедоступном наборе данных MS-COCO. В то время как подписи к изображениям в MS-COCO применяются ко всему изображению, этот набор данных фокусируется на текстовых описаниях, которые позволяют однозначно идентифицировать один объект или область на изображении. Подробнее см. в этой статье: Генерация и понимание однозначных описаний объектов.

  • Дополнительная документация : изучить документы с кодом

  • Домашняя страница : https://github.com/mjhucla/Google_Refexp_toolbox

  • Исходный код : tfds.vision_language.gref.Gref

  • Версии :

    • 1.0.0 (по умолчанию): Первоначальный выпуск.
  • Размер загрузки : Unknown size

  • Размер набора данных : 4.60 GiB

  • Инструкции по ручной загрузке : этот набор данных требует, чтобы вы загружали исходные данные вручную в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
    Следуйте инструкциям на странице https://github.com/mjhucla/Google_Refexp_toolbox , чтобы загрузить и предварительно обработать данные в согласованном формате с COCO. Каталог содержит 2 файла и одну папку:

  • google_refexp_train_201511_coco_aligned_catg.json

  • google_refexp_val_201511_coco_aligned_catg.json

  • coco_train2014/

Папка coco_train2014 содержит все обучающие изображения COCO 2014.

Расколоть Примеры
'train' 24 698
'validation' 4650
  • Структура функции :
FeaturesDict({
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image/id': int64,
    'objects': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'id': int64,
        'label': int64,
        'label_name': ClassLabel(shape=(), dtype=int64, num_classes=80),
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=string),
            'referent': Text(shape=(), dtype=string),
            'refexp_id': int64,
            'tokens': Sequence(Text(shape=(), dtype=string)),
        }),
    }),
})
  • Документация по функциям :
Особенность Учебный класс Форма Dтип Описание
ОсобенностиDict
изображение Изображение (Нет, Нет, 3) uint8
изображение/идентификатор Тензор int64
объекты Последовательность
объекты/площадь Тензор int64
объекты/bbox BBoxFeature (4,) поплавок32
объекты/идентификатор Тензор int64
объекты/метка Тензор int64
объекты/имя_метки Метка класса int64
объекты/refexp Последовательность
объекты/refexp/сырые Текст нить
объекты/refexp/референт Текст нить
объекты/refexp/refexp_id Тензор int64
объекты/refexp/токены Последовательность (текст) (Никто,) нить

Визуализация

  • Цитата :
@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}