保存済みモデルのウォームアップ
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
導入
TensorFlow ランタイムには遅延初期化されるコンポーネントがあり、モデルがロードされた後にモデルに送信される最初のリクエストで長いレイテンシが発生する可能性があります。この待ち時間は、単一の推論リクエストの待ち時間よりも数桁大きくなる可能性があります。
リクエストの遅延に対する遅延初期化の影響を軽減するために、SavedModel とともに推論リクエストのサンプル セットを提供することで、モデルの読み込み時にサブシステムとコンポーネントの初期化をトリガーすることができます。このプロセスは、モデルの「ウォームアップ」として知られています。
使用法
SavedModel Warmup は、Regress、Classify、MultiInference、Predict でサポートされています。ロード時にモデルのウォームアップをトリガーするには、SavedModel ディレクトリのassets.extra サブフォルダーの下にウォームアップ データ ファイルを添付します。
モデルのウォームアップが正しく機能するための要件:
- ウォームアップ ファイル名: 'tf_serving_warmup_requests'
- ファイルの場所:assets.extra/
- ファイル形式: 各レコードがPredictionLogであるTFRecord 。
- ウォームアップ レコードの数 <= 1000。
- ウォームアップ データは、サービス提供時に使用される推論リクエストを表すものでなければなりません。
ウォームアップデータの生成
ウォームアップ データは 2 つの方法で追加できます。
- エクスポートされた保存モデルにウォームアップ リクエストを直接入力します。これは、サンプル推論リクエストのリストを読み取るスクリプトを作成し、各リクエストをPredictionLog (元の形式が異なる場合) に変換し、 TFRecordWriterを使用して PredictionLog エントリを
YourSavedModel/assets.extra/tf_serving_warmup_requests
に書き込むことで実行できます。 - TFX Infra Validatorオプションを使用して、保存されたモデルをウォームアップとともにエクスポートします。このオプションを使用すると、TFX Infa Validator は、 RequestSpec経由で提供された検証リクエストに基づいて
YourSavedModel/assets.extra/tf_serving_warmup_requests
を設定します。
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2023-12-01 UTC。
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"必要な情報がない"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"複雑すぎる / 手順が多すぎる"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"最新ではない"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻訳に関する問題"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"サンプル / コードに問題がある"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"その他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"わかりやすい"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"問題の解決に役立った"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"その他"
}]
{"lastModified": "\u6700\u7d42\u66f4\u65b0\u65e5 2023-12-01 UTC\u3002"}
[[["わかりやすい","easyToUnderstand","thumb-up"],["問題の解決に役立った","solvedMyProblem","thumb-up"],["その他","otherUp","thumb-up"]],[["必要な情報がない","missingTheInformationINeed","thumb-down"],["複雑すぎる / 手順が多すぎる","tooComplicatedTooManySteps","thumb-down"],["最新ではない","outOfDate","thumb-down"],["翻訳に関する問題","translationIssue","thumb-down"],["サンプル / コードに問題がある","samplesCodeIssue","thumb-down"],["その他","otherDown","thumb-down"]],["最終更新日 2023-12-01 UTC。"],[],[]]