SparseApplyCenteredRmsProp

কেন্দ্রীভূত RMSProp অ্যালগরিদম অনুযায়ী '*var' আপডেট করুন।

কেন্দ্রীভূত RMSProp অ্যালগরিদম স্বাভাবিকীকরণের জন্য কেন্দ্রীভূত দ্বিতীয় মুহূর্ত (অর্থাৎ, প্রকরণ) একটি অনুমান ব্যবহার করে, নিয়মিত RMSProp এর বিপরীতে, যা (অকেন্দ্রহীন) দ্বিতীয় মুহূর্ত ব্যবহার করে। এটি প্রায়শই প্রশিক্ষণে সহায়তা করে, তবে গণনা এবং মেমরির ক্ষেত্রে এটি কিছুটা বেশি ব্যয়বহুল।

মনে রাখবেন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, mg, ms, এবং mom আপডেট হবে এমনকি গ্র্যাড শূন্য হলেও, কিন্তু এই স্পার্স ইমপ্লিমেন্টেশনে, mg, ms, এবং mom পুনরাবৃত্তিতে আপডেট হবে না যেখানে গ্র্যাড শূন্য হয়।

গড়_বর্গ = ক্ষয় * গড়_বর্গ + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 গড়_গ্রাড = ক্ষয় * গড়_গ্রাড + (1-ক্ষয়) * গ্রেডিয়েন্ট ডেল্টা = শিখন_হার * গ্রেডিয়েন্ট / sqrt(মান_স্কয়ার + এপিসিলন - গড়_গ্রাড ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$