Прогрев сохраненной модели
Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
Введение
Среда выполнения TensorFlow содержит компоненты, которые инициализируются лениво, что может привести к высокой задержке для первых запросов, отправленных в модель после ее загрузки. Эта задержка может быть на несколько порядков выше, чем у одного запроса вывода.
Чтобы уменьшить влияние отложенной инициализации на задержку запроса, можно инициировать инициализацию подсистем и компонентов во время загрузки модели, предоставив образец набора запросов вывода вместе с SavedModel. Этот процесс известен как «прогрев» модели.
Применение
Разминка SavedModel поддерживается для Regress, Classify, MultiInference и Predict. Чтобы запустить прогрев модели во время загрузки, прикрепите файл данных прогрева в подпапке assets.extra каталога SavedModel.
Требования для корректной работы прогрева модели:
- Имя файла разминки: 'tf_serving_warmup_requests'
- Расположение файла: assets.extra/
- Формат файла: TFRecord с каждой записью в виде PredictionLog .
- Количество записей разминки <= 1000.
- Данные прогрева должны быть репрезентативными для запросов вывода, используемых при обслуживании.
Генерация данных для разминки
Данные разминки можно добавить двумя способами:
- Путем непосредственного заполнения запросов на разминку в экспортированную сохраненную модель. Это можно сделать, создав сценарий, читающий список примеров запросов на вывод, преобразующий каждый запрос в PredictionLog (если он изначально имеет другой формат) и используя TFRecordWriter для записи записей PredictionLog в
YourSavedModel/assets.extra/tf_serving_warmup_requests
. - Используя опцию TFX Infra Validator для экспорта сохраненной модели с прогревом . При использовании этой опции валидатор TFX Infa будет заполнять
YourSavedModel/assets.extra/tf_serving_warmup_requests
на основе запросов проверки, предоставленных через RequestSpec .
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons "С указанием авторства 4.0", а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2023-12-01 UTC.
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"Отсутствует нужная мне информация"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"Слишком сложен/слишком много шагов"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"Устарел"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"Проблема с переводом текста"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"Проблемы образцов/кода"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"Другое"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"Прост для понимания"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"Помог мне решить мою проблему"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"Другое"
}]
{"lastModified": "\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435: 2023-12-01 UTC."}
[[["Прост для понимания","easyToUnderstand","thumb-up"],["Помог мне решить мою проблему","solvedMyProblem","thumb-up"],["Другое","otherUp","thumb-up"]],[["Отсутствует нужная мне информация","missingTheInformationINeed","thumb-down"],["Слишком сложен/слишком много шагов","tooComplicatedTooManySteps","thumb-down"],["Устарел","outOfDate","thumb-down"],["Проблема с переводом текста","translationIssue","thumb-down"],["Проблемы образцов/кода","samplesCodeIssue","thumb-down"],["Другое","otherDown","thumb-down"]],["Последнее обновление: 2023-12-01 UTC."],[],[]]