SparseApplyRmsProp

RMSProp অ্যালগরিদম অনুযায়ী '*var' আপডেট করুন।

মনে রাখবেন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, গ্র্যাড শূন্য হলেও ms এবং mom আপডেট হবে, কিন্তু এই স্পার্স বাস্তবায়নে, ms এবং mom পুনরাবৃত্তিতে আপডেট হবে না যার সময় গ্র্যাড শূন্য।

গড়_বর্গ = ক্ষয় * গড়_বর্গ + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 ডেল্টা = লার্নিং_রেট * গ্রেডিয়েন্ট / sqrt (মান_বর্গ + এপসিলন)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$