Đã lưuKhởi động mô hình
Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang
Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.
Giới thiệu
Thời gian chạy TensorFlow có các thành phần được khởi tạo một cách lười biếng, điều này có thể gây ra độ trễ cao cho/các yêu cầu đầu tiên được gửi tới mô hình sau khi mô hình được tải. Độ trễ này có thể cao hơn vài bậc so với độ trễ của một yêu cầu suy luận đơn lẻ.
Để giảm tác động của việc khởi tạo từng phần đối với độ trễ của yêu cầu, bạn có thể kích hoạt quá trình khởi tạo các hệ thống con và thành phần tại thời điểm tải mô hình bằng cách cung cấp một tập hợp mẫu các yêu cầu suy luận cùng với SavingModel. Quá trình này được gọi là "làm nóng" mô hình.
Cách sử dụng
SavingModel Warmup được hỗ trợ cho Regress, Classify, MultiInference và Predict. Để kích hoạt quá trình khởi động mô hình tại thời điểm tải, hãy đính kèm tệp dữ liệu khởi động trong thư mục con assets.extra của thư mục SavingModel.
Yêu cầu để khởi động mô hình hoạt động chính xác:
- Tên tệp khởi động: 'tf_served_warmup_requests'
- Vị trí tệp: assets.extra/
- Định dạng tệp: TFRecord với mỗi bản ghi là PredictionLog .
- Số lượng bản ghi khởi động <= 1000.
- Dữ liệu khởi động phải đại diện cho các yêu cầu suy luận được sử dụng khi phân phát.
Tạo dữ liệu khởi động
Dữ liệu khởi động có thể được thêm vào theo hai cách:
- Bằng cách điền trực tiếp các yêu cầu khởi động vào Mô hình đã lưu đã xuất của bạn. Điều này có thể được thực hiện bằng cách tạo một tập lệnh đọc danh sách các yêu cầu suy luận mẫu, chuyển đổi từng yêu cầu thành PredictionLog (nếu ban đầu nó ở định dạng khác) và sử dụng TFRecordWriter để ghi các mục nhập PredictionLog vào
YourSavedModel/assets.extra/tf_serving_warmup_requests
. - Bằng cách sử dụng tùy chọn Trình xác thực hồng ngoại TFX để xuất Mô hình đã lưu với phần khởi động . Với tùy chọn này, Trình xác thực Infa TFX sẽ điền
YourSavedModel/assets.extra/tf_serving_warmup_requests
dựa trên các yêu cầu xác thực được cung cấp quaRequestSpec .
Trừ phi có lưu ý khác, nội dung của trang này được cấp phép theo Giấy phép ghi nhận tác giả 4.0 của Creative Commons và các mẫu mã lập trình được cấp phép theo Giấy phép Apache 2.0. Để biết thông tin chi tiết, vui lòng tham khảo Chính sách trang web của Google Developers. Java là nhãn hiệu đã đăng ký của Oracle và/hoặc các đơn vị liên kết với Oracle.
Cập nhật lần gần đây nhất: 2023-12-01 UTC.
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"Thiếu thông tin tôi cần"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"Quá phức tạp/quá nhiều bước"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"Đã lỗi thời"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"Vấn đề về bản dịch"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"Vấn đề về mẫu/mã"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"Khác"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"Dễ hiểu"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"Giúp tôi giải quyết được vấn đề"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"Khác"
}]
{"lastModified": "C\u1eadp nh\u1eadt l\u1ea7n g\u1ea7n \u0111\u00e2y nh\u1ea5t: 2023-12-01 UTC."}
[[["Dễ hiểu","easyToUnderstand","thumb-up"],["Giúp tôi giải quyết được vấn đề","solvedMyProblem","thumb-up"],["Khác","otherUp","thumb-up"]],[["Thiếu thông tin tôi cần","missingTheInformationINeed","thumb-down"],["Quá phức tạp/quá nhiều bước","tooComplicatedTooManySteps","thumb-down"],["Đã lỗi thời","outOfDate","thumb-down"],["Vấn đề về bản dịch","translationIssue","thumb-down"],["Vấn đề về mẫu/mã","samplesCodeIssue","thumb-down"],["Khác","otherDown","thumb-down"]],["Cập nhật lần gần đây nhất: 2023-12-01 UTC."],[],[]]