segment_cokolwiek

  • Opis :

Pobierz SA-1B

Segment Everything 1 Billion (SA-1B) to zbiór danych przeznaczony do uczenia modeli segmentacji obiektów ogólnego przeznaczenia na podstawie obrazów otwartego świata. Zbiór danych został wprowadzony w artykule „Segment Everything” .

Zbiór danych SA-1B składa się z 11 milionów różnorodnych obrazów o wysokiej rozdzielczości, licencjonowanych i chroniących prywatność oraz adnotacji w masce 1.1B. Maski są podawane w formacie kodowania długości serii COCO (RLE) i nie mają klas.

Licencja jest niestandardowa. Prosimy o zapoznanie się z pełnym regulaminem na stronie https://ai.facebook.com/datasets/segment-anything-downloads

Wszystkie funkcje znajdują się w oryginalnym zbiorze danych, z wyjątkiem image.content (zawartość obrazu).

Możesz dekodować maski segmentacji za pomocą:

import tensorflow_datasets as tfds

pycocotools = tfds.core.lazy_imports.pycocotools

ds = tfds.load('segment_anything', split='train')
for example in tfds.as_numpy(ds):
  segmentation = example['annotations']['segmentation']
  for counts, size in zip(segmentation['counts'], segmentation['size']):
    encoded_mask = {'size': size, 'counts': counts}
    mask = pycocotools.decode(encoded_mask)  # np.array(dtype=uint8) mask
    ...
Podział Przykłady
'train' 11 185 362
  • Struktura funkcji : 
FeaturesDict({
    'annotations': Sequence({
        'area': Scalar(shape=(), dtype=uint64, description=The area in pixels of the mask.),
        'bbox': BBoxFeature(shape=(4,), dtype=float32, description=The box around the mask, in TFDS format.),
        'crop_box': BBoxFeature(shape=(4,), dtype=float32, description=The crop of the image used to generate the mask, in TFDS format.),
        'id': Scalar(shape=(), dtype=uint64, description=Identifier for the annotation.),
        'point_coords': Tensor(shape=(1, 2), dtype=float64, description=The point coordinates input to the model to generate the mask.),
        'predicted_iou': Scalar(shape=(), dtype=float64, description=The model's own prediction of the mask's quality.),
        'segmentation': FeaturesDict({
            'counts': string,
            'size': Tensor(shape=(2,), dtype=uint64),
        }),
        'stability_score': Scalar(shape=(), dtype=float64, description=A measure of the mask's quality.),
    }),
    'image': FeaturesDict({
        'content': Image(shape=(None, None, 3), dtype=uint8, description=Content of the image.),
        'file_name': string,
        'height': uint64,
        'image_id': uint64,
        'width': uint64,
    }),
})
  • Dokumentacja funkcji :
Funkcja Klasa Kształt Typ D Opis
FunkcjeDykt
adnotacje Sekwencja
adnotacje/obszar Skalarny uint64 Obszar maski w pikselach.
adnotacje/bbox Funkcja BBox (4,) pływak32 Pudełko wokół maski, w formacie TFDS.
adnotacje/crop_box Funkcja BBox (4,) pływak32 Przycięcie obrazu użytego do wygenerowania maski w formacie TFDS.
adnotacje/id Skalarny uint64 Identyfikator adnotacji.
adnotacje/współrzędne_punktu Napinacz (1, 2) pływak64 Dane wejściowe współrzędnych punktu do modelu w celu wygenerowania maski.
adnotacje/przewidywane_iou Skalarny pływak64 Własne przewidywania modelki dotyczące jakości maski.
adnotacje/segmentacja FunkcjeDykt Zakodowana maska ​​segmentacji w formacie COCO RLE (dykt z size i counts kluczy).
adnotacje/segmentacja/zliczenia Napinacz smyczkowy
adnotacje/segmentacja/rozmiar Napinacz (2,) uint64
adnotacje/wynik_stabilności Skalarny pływak64 Miara jakości maski.
obraz FunkcjeDykt
obraz/treść Obraz (Brak, Brak, 3) uint8 Treść obrazu.
obraz/nazwa_pliku Napinacz smyczkowy
obraz/wysokość Napinacz uint64
obraz/identyfikator_obrazu Napinacz uint64
obraz/szerokość Napinacz uint64
  • Cytat : 
@misc{kirillov2023segment,
  title={Segment Anything},
  author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
  year={2023},
  eprint={2304.02643},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}