ref_coco

• Descripción :

Una colección de 3 conjuntos de datos de expresiones de referencia basados ​​en imágenes en el conjunto de datos COCO. Una expresión de referencia es un fragmento de texto que describe un objeto único en una imagen. Estos conjuntos de datos se recopilan pidiendo a evaluadores humanos que eliminen la ambigüedad de los objetos delimitados por cuadros delimitadores en el conjunto de datos COCO.

RefCoco y RefCoco+ son de Kazemzadeh et al. 2014. Las expresiones de RefCoco+ son descripciones estrictamente basadas en la apariencia, que aplicaron impidiendo que los evaluadores usaran descripciones basadas en la ubicación (p. ej., "persona a la derecha" no es una descripción válida para RefCoco+). RefCocoG es de Mao et al. 2016, y tiene una descripción más detallada de los objetos en comparación con RefCoco debido a las diferencias en el proceso de anotación. En particular, RefCoco se recopiló en un entorno interactivo basado en juegos, mientras que RefCocoG se recopiló en un entorno no interactivo. En promedio, RefCocoG tiene 8,4 palabras por expresión, mientras que RefCoco tiene 3,5 palabras.

Cada conjunto de datos tiene diferentes asignaciones divididas que generalmente se informan en documentos. Los conjuntos "testA" y "testB" en RefCoco y RefCoco+ contienen solo personas y solo no personas, respectivamente. Las imágenes se dividen en varias divisiones. En la división de "google", los objetos, no las imágenes, se dividen entre las divisiones de tren y no tren. Esto significa que la misma imagen puede aparecer tanto en el tren como en la división de validación, pero los objetos a los que se hace referencia en la imagen serán diferentes entre los dos conjuntos. Por el contrario, "unc" y "umd" dividen las imágenes de partición entre la división de tren, validación y prueba. En RefCocoG, la división "google" no tiene un conjunto de pruebas canónicas, y el conjunto de validación generalmente se informa en los documentos como "val*".

Estadísticas para cada conjunto de datos y división ("refs" es el número de expresiones de referencia e "images" es el número de imágenes):

• Documentación adicional : Explore en Papers With Code north_east

• Página de inicio: https://github.com/lichengunc/refer

• Código fuente : tfds.datasets.ref_coco.Builder

• Versiones :

  • 1.0.0 (predeterminado): Versión inicial.

• Tamaño de descarga : Unknown size

• Instrucciones de descarga manual : este conjunto de datos requiere que descargue los datos de origen manualmente en download_config.manual_dir (el valor predeterminado es ~/tensorflow_datasets/downloads/manual/ ):
  

• Siga las instrucciones en https://github.com/lichengunc/refer y descargue las anotaciones y las imágenes, haciendo coincidir el directorio data/ especificado en el repositorio.

1. Siga las instrucciones de PythonAPI en https://github.com/cocodataset/cocoapi para obtener pycocotools y el archivo de anotaciones instances_train2014 de https://cocodataset.org/#download

2. Agregue tanto refer.py de (1) como pycocotools de (2) a su PYTHONPATH.

3. Ejecute manual_download_process.py para generar refcoco.json, reemplazando ref_data_root , coco_annotations_file y out_file con los valores correspondientes a donde ha descargado/quiere guardar estos archivos. Tenga en cuenta que manual_download_process.py se puede encontrar en el repositorio de TFDS.

4. Descargue el conjunto de capacitación de COCO de https://cocodataset.org/#download y péguelo en una carpeta llamada coco_train2014/ . Mueva refcoco.json al mismo nivel que coco_train2014 .

5. Siga las instrucciones estándar de descarga del manual.

• Almacenamiento automático en caché ( documentación ): No

• Estructura de características :

FeaturesDict({
    'coco_annotations': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'id': int64,
        'label': int64,
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image/id': int64,
    'objects': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'gt_box_index': int64,
        'id': int64,
        'label': int64,
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=string),
            'refexp_id': int64,
        }),
    }),
})

• Documentación de características :

• Claves supervisadas (Ver as_supervised doc ): None

• Cita :

@inproceedings{kazemzadeh2014referitgame,
  title={Referitgame: Referring to objects in photographs of natural scenes},
  author={Kazemzadeh, Sahar and Ordonez, Vicente and Matten, Mark and Berg, Tamara},
  booktitle={Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)},
  pages={787--798},
  year={2014}
}
@inproceedings{yu2016modeling,
  title={Modeling context in referring expressions},
  author={Yu, Licheng and Poirson, Patrick and Yang, Shan and Berg, Alexander C and Berg, Tamara L},
  booktitle={European Conference on Computer Vision},
  pages={69--85},
  year={2016},
  organization={Springer}
}
@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}
@inproceedings{nagaraja2016modeling,
  title={Modeling context between objects for referring expression understanding},
  author={Nagaraja, Varun K and Morariu, Vlad I and Davis, Larry S},
  booktitle={European Conference on Computer Vision},
  pages={792--807},
  year={2016},
  organization={Springer}
}

ref_coco/refcoco_unc (configuración predeterminada)

• Tamaño del conjunto de datos : 3.24 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcoco_google

• Tamaño del conjunto de datos : 4.60 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcocoplus_unc

• Tamaño del conjunto de datos : 3.24 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcocog_google

• Tamaño del conjunto de datos : 4.59 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcocog_umd

• Tamaño del conjunto de datos : 4.04 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

• Descripción :

Una colección de 3 conjuntos de datos de expresiones de referencia basados ​​en imágenes en el conjunto de datos COCO. Una expresión de referencia es un fragmento de texto que describe un objeto único en una imagen. Estos conjuntos de datos se recopilan pidiendo a evaluadores humanos que eliminen la ambigüedad de los objetos delimitados por cuadros delimitadores en el conjunto de datos COCO.

RefCoco y RefCoco+ son de Kazemzadeh et al. 2014. Las expresiones de RefCoco+ son descripciones estrictamente basadas en la apariencia, que aplicaron impidiendo que los evaluadores usaran descripciones basadas en la ubicación (p. ej., "persona a la derecha" no es una descripción válida para RefCoco+). RefCocoG es de Mao et al. 2016, y tiene una descripción más detallada de los objetos en comparación con RefCoco debido a las diferencias en el proceso de anotación. En particular, RefCoco se recopiló en un entorno interactivo basado en juegos, mientras que RefCocoG se recopiló en un entorno no interactivo. En promedio, RefCocoG tiene 8,4 palabras por expresión, mientras que RefCoco tiene 3,5 palabras.

Cada conjunto de datos tiene diferentes asignaciones divididas que generalmente se informan en documentos. Los conjuntos "testA" y "testB" en RefCoco y RefCoco+ contienen solo personas y solo no personas, respectivamente. Las imágenes se dividen en varias divisiones. En la división de "google", los objetos, no las imágenes, se dividen entre las divisiones de tren y no tren. Esto significa que la misma imagen puede aparecer tanto en el tren como en la división de validación, pero los objetos a los que se hace referencia en la imagen serán diferentes entre los dos conjuntos. Por el contrario, "unc" y "umd" dividen las imágenes de partición entre la división de tren, validación y prueba. En RefCocoG, la división "google" no tiene un conjunto de pruebas canónicas, y el conjunto de validación generalmente se informa en los documentos como "val*".

Estadísticas para cada conjunto de datos y división ("refs" es el número de expresiones de referencia e "images" es el número de imágenes):

• Documentación adicional : Explore en Papers With Code north_east

• Página de inicio: https://github.com/lichengunc/refer

• Código fuente : tfds.datasets.ref_coco.Builder

• Versiones :

  • 1.0.0 (predeterminado): Versión inicial.

• Tamaño de descarga : Unknown size

• Instrucciones de descarga manual : este conjunto de datos requiere que descargue los datos de origen manualmente en download_config.manual_dir (el valor predeterminado es ~/tensorflow_datasets/downloads/manual/ ):
  

• Siga las instrucciones en https://github.com/lichengunc/refer y descargue las anotaciones y las imágenes, haciendo coincidir el directorio data/ especificado en el repositorio.

1. Siga las instrucciones de PythonAPI en https://github.com/cocodataset/cocoapi para obtener pycocotools y el archivo de anotaciones instances_train2014 de https://cocodataset.org/#download

2. Agregue tanto refer.py de (1) como pycocotools de (2) a su PYTHONPATH.

3. Ejecute manual_download_process.py para generar refcoco.json, reemplazando ref_data_root , coco_annotations_file y out_file con los valores correspondientes a donde ha descargado/quiere guardar estos archivos. Tenga en cuenta que manual_download_process.py se puede encontrar en el repositorio de TFDS.

4. Descargue el conjunto de capacitación de COCO de https://cocodataset.org/#download y péguelo en una carpeta llamada coco_train2014/ . Mueva refcoco.json al mismo nivel que coco_train2014 .

5. Siga las instrucciones estándar de descarga del manual.

• Almacenamiento automático en caché ( documentación ): No

• Estructura de características :

FeaturesDict({
    'coco_annotations': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'id': int64,
        'label': int64,
    }),
    'image': Image(shape=(None, None, 3), dtype=uint8),
    'image/id': int64,
    'objects': Sequence({
        'area': int64,
        'bbox': BBoxFeature(shape=(4,), dtype=float32),
        'gt_box_index': int64,
        'id': int64,
        'label': int64,
        'refexp': Sequence({
            'raw': Text(shape=(), dtype=string),
            'refexp_id': int64,
        }),
    }),
})

• Documentación de características :

• Claves supervisadas (Ver as_supervised doc ): None

• Cita :

@inproceedings{kazemzadeh2014referitgame,
  title={Referitgame: Referring to objects in photographs of natural scenes},
  author={Kazemzadeh, Sahar and Ordonez, Vicente and Matten, Mark and Berg, Tamara},
  booktitle={Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP)},
  pages={787--798},
  year={2014}
}
@inproceedings{yu2016modeling,
  title={Modeling context in referring expressions},
  author={Yu, Licheng and Poirson, Patrick and Yang, Shan and Berg, Alexander C and Berg, Tamara L},
  booktitle={European Conference on Computer Vision},
  pages={69--85},
  year={2016},
  organization={Springer}
}
@inproceedings{mao2016generation,
  title={Generation and Comprehension of Unambiguous Object Descriptions},
  author={Mao, Junhua and Huang, Jonathan and Toshev, Alexander and Camburu, Oana and Yuille, Alan and Murphy, Kevin},
  booktitle={CVPR},
  year={2016}
}
@inproceedings{nagaraja2016modeling,
  title={Modeling context between objects for referring expression understanding},
  author={Nagaraja, Varun K and Morariu, Vlad I and Davis, Larry S},
  booktitle={European Conference on Computer Vision},
  pages={792--807},
  year={2016},
  organization={Springer}
}

ref_coco/refcoco_unc (configuración predeterminada)

• Tamaño del conjunto de datos : 3.24 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcoco_google

• Tamaño del conjunto de datos : 4.60 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcocoplus_unc

• Tamaño del conjunto de datos : 3.24 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcocog_google

• Tamaño del conjunto de datos : 4.59 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):

ref_coco/refcocog_umd

• Tamaño del conjunto de datos : 4.04 GiB

• Divisiones :

• Figura ( tfds.show_examples ):

• Ejemplos ( tfds.as_dataframe ):