 Visualizza su TensorFlow.org |  Esegui in Google Colab |  Visualizza su GitHub |  Scarica quaderno |
Panoramica
I modelli di machine learning vengono spesso implementati utilizzando TensorFlow Lite su dispositivi mobili, embedded e IoT per migliorare la privacy dei dati e ridurre i tempi di risposta. Questi modelli richiedono spesso il supporto per le operazioni di elaborazione del testo. TensorFlow Text versione 2.7 e successive offre prestazioni migliorate, dimensioni binarie ridotte e operazioni specificamente ottimizzate per l'uso in questi ambienti.
Operatori testuali
Le seguenti classi di testo TensorFlow possono essere utilizzate all'interno di un modello TensorFlow Lite.
-
FastWordpieceTokenizer -
WhitespaceTokenizer
Esempio di modello
pip install -U tensorflow-text
from absl import app
import numpy as np
import tensorflow as tf
import tensorflow_text as tf_text
from tensorflow.lite.python import interpreter
L'esempio di codice seguente mostra il processo di conversione e l'interpretazione in Python usando un semplice modello di test. Si noti che l'output di un modello non può essere un oggetto tf.RaggedTensor quando si utilizza TensorFlow Lite. Tuttavia, puoi restituire i componenti di un oggetto tf.RaggedTensor o convertirlo usando la sua funzione to_tensor . Vedere la guida RaggedTensor per maggiori dettagli.
class TokenizerModel(tf.keras.Model):
def __init__(self, **kwargs):
super().__init__(**kwargs)
self.tokenizer = tf_text.WhitespaceTokenizer()
@tf.function(input_signature=[
tf.TensorSpec(shape=[None], dtype=tf.string, name='input')
])
def call(self, input_tensor):
return { 'tokens': self.tokenizer.tokenize(input_tensor).flat_values }
# Test input data.
input_data = np.array(['Some minds are better kept apart'])
# Define a Keras model.
model = TokenizerModel()
# Perform TensorFlow Text inference.
tf_result = model(tf.constant(input_data))
print('TensorFlow result = ', tf_result['tokens'])
TensorFlow result = tf.Tensor([b'Some' b'minds' b'are' b'better' b'kept' b'apart'], shape=(6,), dtype=string)
Converti il modello TensorFlow in TensorFlow Lite
Quando si converte un modello TensorFlow con operatori TensorFlow Text in TensorFlow Lite, è necessario indicare a TFLiteConverter che sono presenti operatori personalizzati che utilizzano l'attributo allow_custom_ops come nell'esempio seguente. È quindi possibile eseguire la conversione del modello come faresti normalmente. Consulta la documentazione del convertitore TensorFlow Lite per una guida dettagliata sulle basi della conversione del modello.
# Convert to TensorFlow Lite.
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS]
converter.allow_custom_ops = True
tflite_model = converter.convert()
2022-02-01 12:09:02.062677: W tensorflow/python/util/util.cc:368] Sets are not currently considered sequences, but this may change in the future, so consider avoiding using them.
INFO:tensorflow:Assets written to: /tmp/tmpiiuhjdn6/assets
2022-02-01 12:09:03.705144: W tensorflow/compiler/mlir/lite/python/tf_tfl_flatbuffer_helpers.cc:363] Ignored output_format.
WARNING:absl:Buffer deduplication procedure will be skipped when flatbuffer library is not properly loaded
2022-02-01 12:09:03.705185: W tensorflow/compiler/mlir/lite/python/tf_tfl_flatbuffer_helpers.cc:366] Ignored drop_control_dependency.
2022-02-01 12:09:03.921830: W tensorflow/compiler/mlir/lite/flatbuffer_export.cc:1902] The following operation(s) need TFLite custom op implementation(s):
Custom ops: TFText>WhitespaceTokenizeWithOffsetsV2
Details:
tf.TFText>WhitespaceTokenizeWithOffsetsV2(tensor<?x!tf_type.string>, tensor<!tf_type.string>) -> (tensor<?x!tf_type.string>, tensor<?xi64>, tensor<?xi32>, tensor<?xi32>) : {device = ""}
See instructions: https://www.tensorflow.org/lite/guide/ops_custom
Inferenza
Affinché l'interprete TensorFlow Lite possa leggere correttamente il modello contenente gli operatori di testo TensorFlow, è necessario configurarlo per utilizzare questi operatori personalizzati e fornire metodi di registrazione per essi. Utilizzare tf_text.tflite_registrar.SELECT_TFTEXT_OPS per fornire la suite completa di funzioni di registrazione per gli operatori di testo TensorFlow supportati a InterpreterWithCustomOps .
Nota che mentre l'esempio seguente mostra l'inferenza in Python, i passaggi sono simili in altre lingue con alcune traduzioni API minori e la necessità di creare tflite_registrar nel tuo file binario. Vedere TensorFlow Lite Inferenza per maggiori dettagli.
# Perform TensorFlow Lite inference.
interp = interpreter.InterpreterWithCustomOps(
model_content=tflite_model,
custom_op_registerers=tf_text.tflite_registrar.SELECT_TFTEXT_OPS)
interp.get_signature_list()
{'serving_default': {'inputs': ['input'], 'outputs': ['tokens']} }
Successivamente, l'interprete TensorFlow Lite viene richiamato con l'input, fornendo un risultato che corrisponde al risultato TensorFlow di cui sopra.
tokenize = interp.get_signature_runner('serving_default')
output = tokenize(input=input_data)
print('TensorFlow Lite result = ', output['tokens'])
TensorFlow Lite result = [b'Some' b'minds' b'are' b'better' b'kept' b'apart']