ApplyCenteredRmsProp

Mettez à jour '*var' selon l'algorithme RMSProp centré.

L'algorithme RMSProp centré utilise une estimation du deuxième moment centré (c'est-à-dire la variance) pour la normalisation, par opposition au RMSProp normal, qui utilise le deuxième moment (non centré). Cela facilite souvent la formation, mais coûte légèrement plus cher en termes de calcul et de mémoire.

Notez que dans une implémentation dense de cet algorithme, mg, ms et mom seront mis à jour même si le grad est nul, mais dans cette implémentation clairsemée, mg, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grad est nul.

Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Mean_grad = décroissance * Mean_grad + (1-décroissance) * gradient

Delta = learning_rate * gradient / sqrt(mean_square + epsilon - mean_grad ** 2)

mg <- rho * mg_{t-1} + (1-rho) * diplômé ms <- rho * ms_{t-1} + (1-rho) * diplômé * diplômé maman <- élan * mom_{t-1 } + lr * grad / sqrt(ms - mg * mg + epsilon) var <- var - maman