TensorFlow 模型最佳化
透過集合功能整理內容
你可以依據偏好儲存及分類內容。
TensorFlow 模型最佳化工具包可將機器學習推論最佳化的複雜度降至最低。
部署機器學習模型時,推論效率會影響到延遲狀況、記憶體使用率,也經常會影響耗電量,因此是一項非常重要的考量。尤其是在行動裝置和物聯網 (IoT) 等邊緣裝置上,資源會更加有限,因此模型大小和運算效率會成為主要考量。
訓練的運算需求會隨著在不同架構上訓練的模型數量而增長,但是推論的運算需求是根據使用者人數依比例成長。
用途
以下列舉模型最佳化的好處:
- 減少雲端和邊緣裝置 (例如行動裝置、IoT) 的推論延遲狀況和成本。
- 將模型部署至邊緣裝置,並限制處理能力、記憶體和/或耗電量。
- 減少無線模型更新的酬載大小。
- 可在限制為定點運算或最佳化定點運算的硬體上執行。
- 最佳化特殊用途的硬體加速器模型。
最佳化技術
模型最佳化的領域可能涉及多種技術:
- 透過修剪和結構化修剪來減少參數的數量。
- 透過量化來降低表示法精確度。
- 透過減少參數或是加快執行速度,將原始模型拓撲更新為更有效率的拓撲。例如:張量分解方法和蒸餾
我們的工具包支援訓練後的量化、量化感知訓練、修剪和分群法。這個工具包也提供針對協同合作式最佳化的實驗性支援,以結合多種不同的技巧。
量化
量化模型是用較低精確度表示的模型,例如使用 8 位元整數,而非 32 位元浮點數。運用特定硬體時,必須採用較低的精確度。
稀疏度與修剪
稀疏模型是指運算子之間的連線 (類神經網路層) 已經過修剪,因此將零帶入參數張量的模型。
分群法
已分群的模型是指已使用少量唯一值取代原始模型參數的模型。
協同合作式最佳化
這個工具包提供針對協同合作式最佳化的實驗性支援。您可利用這個工具包,享有結合多種模型壓縮技巧帶來的好處,並透過量化感知訓練同步提高準確率。
除非另有註明,否則本頁面中的內容是採用創用 CC 姓名標示 4.0 授權,程式碼範例則為阿帕契 2.0 授權。詳情請參閱《Google Developers 網站政策》。Java 是 Oracle 和/或其關聯企業的註冊商標。
上次更新時間:2021-09-01 (世界標準時間)。
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"缺少我需要的資訊"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"過於複雜/步驟過多"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"過時"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻譯問題"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"示例/程式碼問題"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"其他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"容易理解"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"確實解決了我的問題"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"其他"
}]
{"lastModified": "\u4e0a\u6b21\u66f4\u65b0\u6642\u9593\uff1a2021-09-01 (\u4e16\u754c\u6a19\u6e96\u6642\u9593)\u3002"}
[[["容易理解","easyToUnderstand","thumb-up"],["確實解決了我的問題","solvedMyProblem","thumb-up"],["其他","otherUp","thumb-up"]],[["缺少我需要的資訊","missingTheInformationINeed","thumb-down"],["過於複雜/步驟過多","tooComplicatedTooManySteps","thumb-down"],["過時","outOfDate","thumb-down"],["翻譯問題","translationIssue","thumb-down"],["示例/程式碼問題","samplesCodeIssue","thumb-down"],["其他","otherDown","thumb-down"]],["上次更新時間:2021-09-01 (世界標準時間)。"],[],[]]