SavedModel Warmup
קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
מבוא
לזמן הריצה של TensorFlow יש רכיבים שמאוחלים בעצלתיים, מה שעלול לגרום להשהיה גבוהה עבור הבקשה/ות הראשונים שנשלחו לדגם לאחר טעינתו. חביון זה יכול להיות גבוה בכמה סדרי גודל מזו של בקשת הסקה בודדת.
כדי להפחית את ההשפעה של האתחול העצל על זמן השהיית הבקשה, אפשר להפעיל את האתחול של תת-המערכות והרכיבים בזמן טעינת המודל על ידי אספקת קבוצה לדוגמה של בקשות הסקה יחד עם SavedModel. תהליך זה ידוע כ"חימום" של הדגם.
נוֹהָג
SavedModel Warmup נתמך עבור Regress, Classify, MultiInference ו-Predict. כדי להפעיל חימום של הדגם בזמן הטעינה, צרף קובץ נתוני חימום מתחת לתיקיית המשנה assets.extra של ספריית SavedModel.
דרישות לחימום הדגם לעבוד כהלכה:
- שם קובץ חימום: 'tf_serving_warmup_requests'
- מיקום הקובץ: assets.extra/
- פורמט קובץ: TFRecord עם כל רשומה בתור PredictionLog .
- מספר שיאי החימום <= 1000.
- נתוני החימום חייבים להיות מייצגים את בקשות ההסקה ששימשו בהגשה.
יצירת נתוני חימום
ניתן להוסיף נתוני חימום בשתי דרכים:
- על ידי מילוי ישיר של בקשות החימום בדגם השמור המיוצא שלך. ניתן לעשות זאת על ידי יצירת סקריפט שקורא רשימה של בקשות להסקת מסקנות לדוגמה, המרת כל בקשה ל- PredictionLog (אם היא במקור בפורמט אחר) ושימוש ב- TFRecordWriter כדי לכתוב את הערכים של PredictionLog לתוך
YourSavedModel/assets.extra/tf_serving_warmup_requests
. - על ידי שימוש באפשרות TFX Infra Validator לייצא דגם שמור עם חימום . עם אפשרות זו ה-TFX Infa Validator יאכלס את
YourSavedModel/assets.extra/tf_serving_warmup_requests
על סמך בקשות האימות שסופקו דרך RequestSpec .
אלא אם צוין אחרת, התוכן של דף זה הוא ברישיון Creative Commons Attribution 4.0 ודוגמאות הקוד הן ברישיון Apache 2.0. לפרטים, ניתן לעיין במדיניות האתר Google Developers. Java הוא סימן מסחרי רשום של חברת Oracle ו/או של השותפים העצמאיים שלה.
עדכון אחרון: 2023-12-01 (שעון UTC).
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"חסרים לי מידע או פרטים"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"התוכן מורכב מדי או עם יותר מדי שלבים"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"התוכן לא עדכני"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"בעיה בתרגום"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"בעיה בדוגמאות/בקוד"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"סיבה אחרת"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"התוכן קל להבנה"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"התוכן עזר לי לפתור בעיה"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"סיבה אחרת"
}]
{"lastModified": "\u05e2\u05d3\u05db\u05d5\u05df \u05d0\u05d7\u05e8\u05d5\u05df: 2023-12-01 (\u05e9\u05e2\u05d5\u05df UTC)."}
[[["התוכן קל להבנה","easyToUnderstand","thumb-up"],["התוכן עזר לי לפתור בעיה","solvedMyProblem","thumb-up"],["סיבה אחרת","otherUp","thumb-up"]],[["חסרים לי מידע או פרטים","missingTheInformationINeed","thumb-down"],["התוכן מורכב מדי או עם יותר מדי שלבים","tooComplicatedTooManySteps","thumb-down"],["התוכן לא עדכני","outOfDate","thumb-down"],["בעיה בתרגום","translationIssue","thumb-down"],["בעיה בדוגמאות/בקוד","samplesCodeIssue","thumb-down"],["סיבה אחרת","otherDown","thumb-down"]],["עדכון אחרון: 2023-12-01 (שעון UTC)."],[],[]]