Посмотреть на TensorFlow.org | Запустить в Google Colab | Посмотреть исходный код на GitHub | Скачать блокнот |
После того как вы перенесли свою модель из графиков и сеансов TensorFlow 1 в API-интерфейсы TensorFlow 2, такие как tf.function
, tf.Module
и tf.keras.Model
, вы можете перенести код сохранения и загрузки модели. В этой записной книжке приведены примеры того, как вы можете сохранять и загружать в формате SavedModel в TensorFlow 1 и TensorFlow 2. Вот краткий обзор связанных изменений API для миграции с TensorFlow 1 на TensorFlow 2:
Тензорный поток 1 | Переход на TensorFlow 2 | |
---|---|---|
Сохранение | tf.compat.v1.saved_model.Builder tf.compat.v1.saved_model.simple_save | tf.saved_model.save Керас: tf.keras.models.save_model |
Загрузка | tf.compat.v1.saved_model.load | tf.saved_model.load Керас: tf.keras.models.load_model |
Подписи : набор входных данных и выходные тензоры, которые можно использовать для запуска | Генерируется с помощью *.signature_def (например tf.compat.v1.saved_model.predict_signature_def ) | Напишите tf.function и экспортируйте ее, используя аргумент signatures в tf.saved_model.save . |
Классификация и регрессия : специальные типы подписей | Создано с помощьюtf.compat.v1.saved_model.classification_signature_def ,tf.compat.v1.saved_model.regression_signature_def ,и некоторые экспорты Estimator. | Эти два типа подписи были удалены из TensorFlow 2. Если обслуживающей библиотеке требуются эти имена методов, tf.compat.v1.saved_model.signature_def_utils.MethodNameUpdater . |
Более подробное объяснение сопоставления см. в разделе Изменения от TensorFlow 1 до TensorFlow 2 ниже.
Настраивать
В приведенных ниже примерах показано, как экспортировать и загрузить одну и ту же фиктивную модель TensorFlow (определенную как add_two
ниже) в формат SavedModel с помощью API TensorFlow 1 и TensorFlow 2. Начните с настройки импорта и служебных функций:
import tensorflow as tf
import tensorflow.compat.v1 as tf1
import shutil
def remove_dir(path):
try:
shutil.rmtree(path)
except:
pass
def add_two(input):
return input + 2
TensorFlow 1: сохранить и экспортировать SavedModel
В TensorFlow 1 вы используете API-интерфейсы tf.compat.v1.saved_model.Builder
, tf.compat.v1.saved_model.simple_save
и tf.estimator.Estimator.export_saved_model
для построения, сохранения и экспорта графа и сеанса TensorFlow:
1. Сохраните график как SavedModel с помощью SavedModelBuilder.
remove_dir("saved-model-builder")
with tf.Graph().as_default() as g:
with tf1.Session() as sess:
input = tf1.placeholder(tf.float32, shape=[])
output = add_two(input)
print("add two output: ", sess.run(output, {input: 3.}))
# Save with SavedModelBuilder
builder = tf1.saved_model.Builder('saved-model-builder')
sig_def = tf1.saved_model.predict_signature_def(
inputs={'input': input},
outputs={'output': output})
builder.add_meta_graph_and_variables(
sess, tags=["serve"], signature_def_map={
tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: sig_def
})
builder.save()
add two output: 5.0 WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/saved_model/signature_def_utils_impl.py:208: build_tensor_info (from tensorflow.python.saved_model.utils_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.utils.build_tensor_info or tf.compat.v1.saved_model.build_tensor_info. INFO:tensorflow:No assets to save. INFO:tensorflow:No assets to write. INFO:tensorflow:SavedModel written to: saved-model-builder/saved_model.pb
!saved_model_cli run --dir simple-save --tag_set serve \
--signature_def serving_default --input_exprs input=10
Traceback (most recent call last): File "/tmpfs/src/tf_docs_env/bin/saved_model_cli", line 8, in <module> sys.exit(main()) File "/tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_cli.py", line 1211, in main args.func(args) File "/tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_cli.py", line 769, in run init_tpu=args.init_tpu, tf_debug=args.tf_debug) File "/tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_cli.py", line 417, in run_saved_model_with_feed_dict tag_set) File "/tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_utils.py", line 117, in get_meta_graph_def saved_model = read_saved_model(saved_model_dir) File "/tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_utils.py", line 55, in read_saved_model raise IOError("SavedModel file does not exist at: %s" % saved_model_dir) OSError: SavedModel file does not exist at: simple-save
2. Создайте SavedModel для обслуживания
remove_dir("simple-save")
with tf.Graph().as_default() as g:
with tf1.Session() as sess:
input = tf1.placeholder(tf.float32, shape=[])
output = add_two(input)
print("add_two output: ", sess.run(output, {input: 3.}))
tf1.saved_model.simple_save(
sess, 'simple-save',
inputs={'input': input},
outputs={'output': output})
add_two output: 5.0 WARNING:tensorflow:From /tmp/ipykernel_26511/250978412.py:12: simple_save (from tensorflow.python.saved_model.simple_save) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.simple_save. INFO:tensorflow:Assets added to graph. INFO:tensorflow:No assets to write. INFO:tensorflow:SavedModel written to: simple-save/saved_model.pb
!saved_model_cli run --dir simple-save --tag_set serve \
--signature_def serving_default --input_exprs input=10
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_cli.py:453: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. INFO:tensorflow:Saver not created because there are no variables in the graph to restore INFO:tensorflow:The specified SavedModel has no variables; no checkpoints were restored. Result for output key output: 12.0
3. Экспортируйте график вывода Estimator как SavedModel.
В определении оценщика model_fn
(определено ниже) вы можете определить подписи в вашей модели, возвращая export_outputs
в tf.estimator.EstimatorSpec
. Существуют различные типы выходов:
-
tf.estimator.export.ClassificationOutput
-
tf.estimator.export.RegressionOutput
-
tf.estimator.export.PredictOutput
Они будут создавать типы подписи классификации, регрессии и предсказания соответственно.
Когда оценщик экспортируется с помощью tf.estimator.Estimator.export_saved_model
, эти подписи будут сохранены вместе с моделью.
def model_fn(features, labels, mode):
output = add_two(features['input'])
step = tf1.train.get_global_step()
return tf.estimator.EstimatorSpec(
mode,
predictions=output,
train_op=step.assign_add(1),
loss=tf.constant(0.),
export_outputs={
tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: \
tf.estimator.export.PredictOutput({'output': output})})
est = tf.estimator.Estimator(model_fn, 'estimator-checkpoints')
# Train for one step to create a checkpoint.
def train_fn():
return tf.data.Dataset.from_tensors({'input': 3.})
est.train(train_fn, steps=1)
# This utility function `build_raw_serving_input_receiver_fn` takes in raw
# tensor features and builds an "input serving receiver function", which
# creates placeholder inputs to the model.
serving_input_fn = tf.estimator.export.build_raw_serving_input_receiver_fn(
{'input': tf.constant(3.)}) # Pass in a dummy input batch.
estimator_path = est.export_saved_model('exported-estimator', serving_input_fn)
# Estimator's export_saved_model creates a time stamped directory. Move this
# to a set path so it can be inspected with `saved_model_cli` in the cell below.
!rm -rf estimator-model
import shutil
shutil.move(estimator_path, 'estimator-model')
INFO:tensorflow:Using default config. INFO:tensorflow:Using config: {'_model_dir': 'estimator-checkpoints', '_tf_random_seed': None, '_save_summary_steps': 100, '_save_checkpoints_steps': None, '_save_checkpoints_secs': 600, '_session_config': allow_soft_placement: true graph_options { rewrite_options { meta_optimizer_iterations: ONE } } , '_keep_checkpoint_max': 5, '_keep_checkpoint_every_n_hours': 10000, '_log_step_count_steps': 100, '_train_distribute': None, '_device_fn': None, '_protocol': None, '_eval_distribute': None, '_experimental_distribute': None, '_experimental_max_worker_delay_secs': None, '_session_creation_timeout_secs': 7200, '_checkpoint_save_graph_def': True, '_service': None, '_cluster_spec': ClusterSpec({}), '_task_type': 'worker', '_task_id': 0, '_global_id_in_cluster': 0, '_master': '', '_evaluation_master': '', '_is_chief': True, '_num_ps_replicas': 0, '_num_worker_replicas': 1} WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/training/training_util.py:401: Variable.initialized_value (from tensorflow.python.ops.variables) is deprecated and will be removed in a future version. Instructions for updating: Use Variable.read_value. Variables in 2.X are initialized automatically both in eager and graph (inside tf.defun) contexts. INFO:tensorflow:Calling model_fn. INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Create CheckpointSaverHook. INFO:tensorflow:Graph was finalized. INFO:tensorflow:Running local_init_op. INFO:tensorflow:Done running local_init_op. INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 0... INFO:tensorflow:Saving checkpoints for 0 into estimator-checkpoints/model.ckpt. INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 0... INFO:tensorflow:loss = 0.0, step = 1 INFO:tensorflow:Calling checkpoint listeners before saving checkpoint 1... INFO:tensorflow:Saving checkpoints for 1 into estimator-checkpoints/model.ckpt. INFO:tensorflow:Calling checkpoint listeners after saving checkpoint 1... INFO:tensorflow:Loss for final step: 0.0. INFO:tensorflow:Calling model_fn. INFO:tensorflow:Done calling model_fn. INFO:tensorflow:Signatures INCLUDED in export for Classify: None INFO:tensorflow:Signatures INCLUDED in export for Regress: None INFO:tensorflow:Signatures INCLUDED in export for Predict: ['serving_default'] INFO:tensorflow:Signatures INCLUDED in export for Train: None INFO:tensorflow:Signatures INCLUDED in export for Eval: None INFO:tensorflow:Restoring parameters from estimator-checkpoints/model.ckpt-1 INFO:tensorflow:Assets added to graph. INFO:tensorflow:No assets to write. INFO:tensorflow:SavedModel written to: exported-estimator/temp-1636162129/saved_model.pb 'estimator-model'
!saved_model_cli run --dir estimator-model --tag_set serve \
--signature_def serving_default --input_exprs input=[10]
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_cli.py:453: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. INFO:tensorflow:Restoring parameters from estimator-model/variables/variables Result for output key output: [12.]
TensorFlow 2: сохранить и экспортировать SavedModel
Сохраните и экспортируйте SavedModel, определенную с помощью tf.Module.
Чтобы экспортировать вашу модель в TensorFlow 2, вы должны определить tf.Module
или tf.keras.Model
для хранения всех переменных и функций вашей модели. Затем вы можете вызвать tf.saved_model.save
для создания SavedModel. Дополнительные сведения см. в разделе « Сохранение пользовательской модели» в руководстве « Использование формата SavedModel» .
class MyModel(tf.Module):
@tf.function
def __call__(self, input):
return add_two(input)
model = MyModel()
@tf.function
def serving_default(input):
return {'output': model(input)}
signature_function = serving_default.get_concrete_function(
tf.TensorSpec(shape=[], dtype=tf.float32))
tf.saved_model.save(
model, 'tf2-save', signatures={
tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature_function})
INFO:tensorflow:Assets written to: tf2-save/assets 2021-11-06 01:28:53.105391: W tensorflow/python/util/util.cc:368] Sets are not currently considered sequences, but this may change in the future, so consider avoiding using them.
!saved_model_cli run --dir tf2-save --tag_set serve \
--signature_def serving_default --input_exprs input=10
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_cli.py:453: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. INFO:tensorflow:Restoring parameters from tf2-save/variables/variables Result for output key output: 12.0
Сохраните и экспортируйте SavedModel, определенную с помощью Keras
API-интерфейсы Keras для сохранения и экспорта Mode.save
или tf.keras.models.save_model
— могут экспортировать SavedModel из tf.keras.Model
. Ознакомьтесь с разделом Сохранение и загрузка моделей Keras для получения более подробной информации.
inp = tf.keras.Input(3)
out = add_two(inp)
model = tf.keras.Model(inputs=inp, outputs=out)
@tf.function(input_signature=[tf.TensorSpec(shape=[], dtype=tf.float32)])
def serving_default(input):
return {'output': model(input)}
model.save('keras-model', save_format='tf', signatures={
tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY: serving_default})
WARNING:tensorflow:Compiled the loaded model, but the compiled metrics have yet to be built. `model.compile_metrics` will be empty until you train or evaluate the model. WARNING:tensorflow:Model was constructed with shape (None, 3) for input KerasTensor(type_spec=TensorSpec(shape=(None, 3), dtype=tf.float32, name='input_1'), name='input_1', description="created by layer 'input_1'"), but it was called on an input with incompatible shape (). INFO:tensorflow:Assets written to: keras-model/assets
!saved_model_cli run --dir keras-model --tag_set serve \
--signature_def serving_default --input_exprs input=10
WARNING:tensorflow:From /tmpfs/src/tf_docs_env/lib/python3.7/site-packages/tensorflow/python/tools/saved_model_cli.py:453: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. INFO:tensorflow:Restoring parameters from keras-model/variables/variables Result for output key output: 12.0
Загрузка сохраненной модели
SavedModel, сохраненный с помощью любого из вышеперечисленных API, можно загрузить с помощью API TensorFlow 1 или TensorFlow.
SavedModel TensorFlow 1 обычно можно использовать для логического вывода при загрузке в TensorFlow 2, но обучение (генерация градиентов) возможно только в том случае, если SavedModel содержит переменные ресурсов . Вы можете проверить dtype переменных — если переменная dtype содержит «_ref», то это ссылочная переменная.
SavedModel TensorFlow 2 может быть загружен и выполнен из TensorFlow 1, если SavedModel сохранен с подписями.
Разделы ниже содержат примеры кода, показывающие, как загрузить SavedModels, сохраненные в предыдущих разделах, и вызвать экспортированную подпись.
TensorFlow 1: загрузить SavedModel с помощью tf.saved_model.load
В TensorFlow 1 вы можете импортировать SavedModel непосредственно в текущий график и сеанс, используя tf.saved_model.load
. Вы можете вызвать Session.run
для входных и выходных имен тензора:
def load_tf1(path, input):
print('Loading from', path)
with tf.Graph().as_default() as g:
with tf1.Session() as sess:
meta_graph = tf1.saved_model.load(sess, ["serve"], path)
sig_def = meta_graph.signature_def[tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY]
input_name = sig_def.inputs['input'].name
output_name = sig_def.outputs['output'].name
print(' Output with input', input, ': ',
sess.run(output_name, feed_dict={input_name: input}))
load_tf1('saved-model-builder', 5.)
load_tf1('simple-save', 5.)
load_tf1('estimator-model', [5.]) # Estimator's input must be batched.
load_tf1('tf2-save', 5.)
load_tf1('keras-model', 5.)
Loading from saved-model-builder WARNING:tensorflow:From /tmp/ipykernel_26511/1548963983.py:5: load (from tensorflow.python.saved_model.loader_impl) is deprecated and will be removed in a future version. Instructions for updating: This function will only be available through the v1 compatibility library as tf.compat.v1.saved_model.loader.load or tf.compat.v1.saved_model.load. There will be a new function for importing SavedModels in Tensorflow 2.0. INFO:tensorflow:Saver not created because there are no variables in the graph to restore INFO:tensorflow:The specified SavedModel has no variables; no checkpoints were restored. Output with input 5.0 : 7.0 Loading from simple-save INFO:tensorflow:Saver not created because there are no variables in the graph to restore INFO:tensorflow:The specified SavedModel has no variables; no checkpoints were restored. Output with input 5.0 : 7.0 Loading from estimator-model INFO:tensorflow:Restoring parameters from estimator-model/variables/variables Output with input [5.0] : [7.] Loading from tf2-save INFO:tensorflow:Restoring parameters from tf2-save/variables/variables Output with input 5.0 : 7.0 Loading from keras-model INFO:tensorflow:Restoring parameters from keras-model/variables/variables Output with input 5.0 : 7.0
TensorFlow 2: загрузить модель, сохраненную с помощью tf.saved_model
В TensorFlow 2 объекты загружаются в объект Python, в котором хранятся переменные и функции. Это совместимо с моделями, сохраненными из TensorFlow 1.
Ознакомьтесь с документацией API tf.saved_model.load
и разделом Загрузка и использование пользовательской модели из руководства Использование формата SavedModel для получения подробной информации.
def load_tf2(path, input):
print('Loading from', path)
loaded = tf.saved_model.load(path)
out = loaded.signatures[tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY](
tf.constant(input))['output']
print(' Output with input', input, ': ', out)
load_tf2('saved-model-builder', 5.)
load_tf2('simple-save', 5.)
load_tf2('estimator-model', [5.]) # Estimator's input must be batched.
load_tf2('tf2-save', 5.)
load_tf2('keras-model', 5.)
Loading from saved-model-builder INFO:tensorflow:Saver not created because there are no variables in the graph to restore Output with input 5.0 : tf.Tensor(7.0, shape=(), dtype=float32) Loading from simple-save INFO:tensorflow:Saver not created because there are no variables in the graph to restore Output with input 5.0 : tf.Tensor(7.0, shape=(), dtype=float32) Loading from estimator-model Output with input [5.0] : tf.Tensor([7.], shape=(1,), dtype=float32) Loading from tf2-save Output with input 5.0 : tf.Tensor(7.0, shape=(), dtype=float32) Loading from keras-model Output with input 5.0 : tf.Tensor(7.0, shape=(), dtype=float32)
Модели, сохраненные с помощью API TensorFlow 2, также могут получить доступ к tf.function
и переменным, которые прикреплены к модели (вместо тех, которые экспортируются как подписи). Например:
loaded = tf.saved_model.load('tf2-save')
print('restored __call__:', loaded.__call__)
print('output with input 5.', loaded(5))
restored __call__: <tensorflow.python.saved_model.function_deserialization.RestoredFunction object at 0x7f30cc940990> output with input 5. tf.Tensor(7.0, shape=(), dtype=float32)
TensorFlow 2: загрузить модель, сохраненную с помощью Keras
API загрузки tf.keras.models.load_model
— tf.keras.models.load_model — позволяет повторно загрузить сохраненную модель обратно в объект модели Keras. Обратите внимание, что это позволяет загружать только сохраненные модели, сохраненные с помощью Keras ( Model.save
или tf.keras.models.save_model
).
Модели, сохраненные с помощью tf.saved_model.save
, должны быть загружены с помощью tf.saved_model.load
. Вы можете загрузить модель Keras, сохраненную с помощью Model.save
, используя tf.saved_model.load
, но вы получите только график TensorFlow. Подробности см. в документах по API tf.keras.models.load_model
и в руководстве по сохранению и загрузке моделей Keras.
loaded_model = tf.keras.models.load_model('keras-model')
loaded_model.predict_on_batch(tf.constant([1, 3, 4]))
WARNING:tensorflow:No training configuration found in save file, so the model was *not* compiled. Compile it manually. WARNING:tensorflow:Model was constructed with shape (None, 3) for input KerasTensor(type_spec=TensorSpec(shape=(None, 3), dtype=tf.float32, name='input_1'), name='input_1', description="created by layer 'input_1'"), but it was called on an input with incompatible shape (3,). array([3., 5., 6.], dtype=float32)
Графдеф и Метаграфдеф
Нет простого способа загрузить необработанный GraphDef
или MetaGraphDef
в TF2. Однако вы можете преобразовать код TF1, который импортирует график, в concrete_function
TF2, используя v1.wrap_function
.
Сначала сохраните MetaGraphDef:
# Save a simple multiplication computation:
with tf.Graph().as_default() as g:
x = tf1.placeholder(tf.float32, shape=[], name='x')
v = tf.Variable(3.0, name='v')
y = tf.multiply(x, v, name='y')
with tf1.Session() as sess:
sess.run(v.initializer)
print(sess.run(y, feed_dict={x: 5}))
s = tf1.train.Saver()
s.export_meta_graph('multiply.pb', as_text=True)
s.save(sess, 'multiply_values.ckpt')
15.0
Используя API TF1, вы можете использовать tf1.train.import_meta_graph
для импорта графика и восстановления значений:
with tf.Graph().as_default() as g:
meta = tf1.train.import_meta_graph('multiply.pb')
x = g.get_tensor_by_name('x:0')
y = g.get_tensor_by_name('y:0')
with tf1.Session() as sess:
meta.restore(sess, 'multiply_values.ckpt')
print(sess.run(y, feed_dict={x: 5}))
INFO:tensorflow:Restoring parameters from multiply_values.ckpt 15.0
API-интерфейсов TF2 для загрузки графика нет, но вы все равно можете импортировать его в конкретную функцию, которая может выполняться в режиме ожидания:
def import_multiply():
# Any graph-building code is allowed here.
tf1.train.import_meta_graph('multiply.pb')
# Creates a tf.function with all the imported elements in the function graph.
wrapped_import = tf1.wrap_function(import_multiply, [])
import_graph = wrapped_import.graph
x = import_graph.get_tensor_by_name('x:0')
y = import_graph.get_tensor_by_name('y:0')
# Restore the variable values.
tf1.train.Saver(wrapped_import.variables).restore(
sess=None, save_path='multiply_values.ckpt')
# Create a concrete function by pruning the wrap_function (similar to sess.run).
multiply_fn = wrapped_import.prune(feeds=x, fetches=y)
# Run this function
multiply_fn(tf.constant(5.)) # inputs to concrete functions must be Tensors.
WARNING:tensorflow:Saver is deprecated, please switch to tf.train.Checkpoint or tf.keras.Model.save_weights for training checkpoints. When executing eagerly variables do not necessarily have unique names, and so the variable.name-based lookups Saver performs are error-prone. INFO:tensorflow:Restoring parameters from multiply_values.ckpt <tf.Tensor: shape=(), dtype=float32, numpy=15.0>
Изменения с TensorFlow 1 на TensorFlow 2
В этом разделе перечислены ключевые термины сохранения и загрузки из TensorFlow 1, их эквиваленты TensorFlow 2 и изменения.
Сохраненная модель
SavedModel — это формат, в котором хранится полная программа TensorFlow с параметрами и вычислениями. Он содержит подписи, используемые обслуживающими платформами для запуска модели.
Сам формат файла существенно не изменился, поэтому SavedModels можно загружать и обслуживать с помощью API TensorFlow 1 или TensorFlow 2.
Различия между TensorFlow 1 и TensorFlow 2
Варианты использования обслуживания и вывода не были обновлены в TensorFlow 2, за исключением изменений API — улучшение было введено в возможности повторного использования и составления моделей, загруженных из SavedModel.
В TensorFlow 2 программа представлена такими объектами, как tf.Variable
, tf.Module
или моделями Keras более высокого уровня ( tf.keras.Model
) и слоями ( tf.keras.layers
). Больше нет глобальных переменных, значения которых хранятся в сеансе, а график теперь существует в разных tf.function
. Следовательно, при экспорте модели SavedModel сохраняет графики каждого компонента и функции отдельно.
Когда вы пишете программу TensorFlow с API TensorFlow Python, вы должны создать объект для управления переменными, функциями и другими ресурсами. Как правило, это достигается с помощью API-интерфейсов Keras, но вы также можете создать объект, создав или создав подкласс tf.Module
.
Модели Keras ( tf.keras.Model
) и tf.Module
автоматически отслеживают переменные и прикрепленные к ним функции. SavedModel сохраняет эти связи между модулями, переменными и функциями, чтобы их можно было восстановить при загрузке.
Подписи
Сигнатуры являются конечными точками SavedModel — они сообщают пользователю, как запускать модель и какие входные данные необходимы.
В TensorFlow 1 подписи создаются путем перечисления входных и выходных тензоров. В TensorFlow 2 подписи генерируются путем передачи конкретных функций . (Подробнее о функциях TensorFlow читайте в разделе Введение в графики и руководство по tf.function .) Короче говоря, конкретная функция генерируется из tf.function
:
# Option 1: Specify an input signature.
@tf.function(input_signature=[...])
def fn(...):
...
return outputs
tf.saved_model.save(model, path, signatures={
'name': fn
})
# Option 2: Call `get_concrete_function`
@tf.function
def fn(...):
...
return outputs
tf.saved_model.save(model, path, signatures={
'name': fn.get_concrete_function(...)
})
Session.run
В TensorFlow 1 вы могли вызвать Session.run
с импортированным графом, если вы уже знаете имена тензоров. Это позволяет получить восстановленные значения переменных или запустить части модели, которые не были экспортированы в сигнатуры.
В TensorFlow 2 вы можете напрямую обращаться к переменной, такой как матрица весов ( kernel
):
model = tf.Module()
model.dense_layer = tf.keras.layers.Dense(...)
tf.saved_model.save('my_saved_model')
loaded = tf.saved_model.load('my_saved_model')
loaded.dense_layer.kernel
или вызовите tf.function
s, прикрепленный к объекту модели: например, loaded.__call__
.
В отличие от TF1, здесь нет возможности извлечь части функции и получить доступ к промежуточным значениям. Вы должны экспортировать всю необходимую функциональность в сохраненный объект.
Примечания по миграции TensorFlow Serving
SavedModel изначально создавался для работы с TensorFlow Serving . Эта платформа предлагает различные типы запросов прогнозирования: классифицировать, регрессировать и прогнозировать.
API TensorFlow 1 позволяет создавать следующие типы подписей с помощью утилит:
-
tf.compat.v1.saved_model.classification_signature_def
-
tf.compat.v1.saved_model.regression_signature_def
-
tf.compat.v1.saved_model.predict_signature_def
Классификация ( classification_signature_def
) и регрессия ( regression_signature_def
) ограничивают входные и выходные данные, поэтому входными данными должны быть tf.Example
, а выходными данными должны быть classes
, scores
или prediction
. Между тем, предсказуемая подпись ( predict_signature_def
) не имеет ограничений.
SavedModels, экспортированные с помощью TensorFlow 2 API, совместимы с TensorFlow Serving, но будут содержать только сигнатуры прогнозирования. Сигнатуры классификации и регрессии были удалены.
Если вам требуется использование сигнатур классификации и регрессии, вы можете изменить экспортированную SavedModel с помощью tf.compat.v1.saved_model.signature_def_utils.MethodNameUpdater
.
Следующие шаги
Чтобы узнать больше о SavedModels в TensorFlow 2, ознакомьтесь со следующими руководствами:
Если вы используете TensorFlow Hub, вам могут пригодиться следующие руководства: