Klasyfikacja obrazów za pomocą TensorFlow Hub

W ramach tej współpracy wypróbujesz wiele modeli klasyfikacji obrazów z TensorFlow Hub i zdecydujesz, który z nich jest najlepszy dla Twojego przypadku użycia.

Ponieważ TF Hub zachęca spójną konwencję wejściowe do modeli, które działają na zdjęciach, jest to łatwe do eksperymentowania z różnych architektur, aby znaleźć taki, który najlepiej pasuje do Twoich potrzeb.

Zobacz na TensorFlow.org Uruchom w Google Colab Zobacz na GitHub Pobierz notatnik Zobacz modele piasty TF
import tensorflow as tf
import tensorflow_hub as hub

import requests
from PIL import Image
from io import BytesIO

import matplotlib.pyplot as plt
import numpy as np

Funkcje pomocnicze do ładowania obrazu (ukryte)

Wybierz model klasyfikacji obrazu. Następnie ustawiane są niektóre zmienne wewnętrzne, a plik etykiet jest pobierany i przygotowywany do użycia.

Istnieją pewne różnice techniczne między modelami, takie jak inny rozmiar danych wejściowych, rozmiar modelu, dokładność i czas wnioskowania. Tutaj możesz zmienić używany model, aż znajdziesz ten najbardziej odpowiedni dla twojego przypadku użycia.

Uchwyt (url) modelu jest drukowany dla Twojej wygody. Więcej dokumentacji na temat każdego modelu jest tam dostępne.

Wybierz model klasyfikacji obrazów

Selected model: efficientnetv2-s : https://tfhub.dev/google/imagenet/efficientnet_v2_imagenet1k_s/classification/2
Images will be converted to 384x384
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt
16384/10484 [==============================================] - 0s 0us/step
24576/10484 [======================================================================] - 0s 0us/step

Możesz wybrać jeden z poniższych obrazów lub użyć własnego obrazu. Pamiętaj tylko, że rozmiar wejściowy dla modeli jest różny, a niektóre z nich używają dynamicznego rozmiaru wejściowego (umożliwiającego wnioskowanie na nieskalowanym obrazie). Biorąc pod uwagę, że metoda load_image będzie już przeskalować obraz do oczekiwanego formatu.

Wybierz obraz wejściowy

png

Teraz, gdy model został wybrany, ładowanie go za pomocą TensorFlow Hub jest proste.

To również wywołuje model z losowymi danymi wejściowymi jako przebieg „rozgrzewkowy”. Kolejne wywołania są często znacznie szybsze i możesz to porównać z opóźnieniem przedstawionym poniżej.

classifier = hub.load(model_handle)

input_shape = image.shape
warmup_input = tf.random.uniform(input_shape, 0, 1.0)
%time warmup_logits = classifier(warmup_input).numpy()

CPU times: user 2.88 s, sys: 470 ms, total: 3.35 s
Wall time: 3.41 s

Wszystko jest gotowe do wnioskowania. Tutaj możesz zobaczyć 5 najlepszych wyników z modelu dla wybranego obrazu.

# Run model on image
%time probabilities = tf.nn.softmax(classifier(image)).numpy()

top_5 = tf.argsort(probabilities, axis=-1, direction="DESCENDING")[0][:5].numpy()
np_classes = np.array(classes)

# Some models include an additional 'background' class in the predictions, so
# we must account for this when reading the class labels.
includes_background_class = probabilities.shape[1] == 1001

for i, item in enumerate(top_5):
  class_index = item if includes_background_class else item + 1
  line = f'({i+1}) {class_index:4} - {classes[class_index]}: {probabilities[0][top_5][i]}'
  print(line)

show_image(image, '')

CPU times: user 27.4 ms, sys: 9 µs, total: 27.4 ms
Wall time: 25.9 ms
(1)   35 - leatherback turtle: 0.7747752666473389
(2)   34 - loggerhead: 0.10644760727882385
(3)   37 - terrapin: 0.005874828901141882
(4)  148 - grey whale: 0.002594555728137493
(5)   36 - mud turtle: 0.0025599468499422073

png

Ucz się więcej

Jeśli chcesz dowiedzieć się więcej i spróbować, jak to zrobić transferu nauki z tych modeli można spróbować tego samouczka: Nauka transferowych dla klasyfikacji obrazu

Jeśli chcesz sprawdzić na więcej modeli graficznych można je sprawdzić na tfhub.dev