Mettez à jour '*var' selon l'algorithme RMSProp.
Notez que dans une implémentation dense de cet algorithme, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.
Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Delta = learning_rate * gradient / sqrt (mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - maman
Classes imbriquées
classe | AppliquerRmsProp.Options | Attributs facultatifs pour ApplyRmsProp |
Constantes
Chaîne | OP_NAME | Le nom de cette opération, tel que connu par le moteur principal TensorFlow |
Méthodes publiques
Sortie <T> | comme Sortie () Renvoie le handle symbolique du tenseur. |
statique <T étend TType > ApplyRmsProp <T> | |
Sortie <T> | dehors () Identique à "var". |
statique ApplyRmsProp.Options | useLocking (booléen useLocking) |
Méthodes héritées
Constantes
chaîne finale statique publique OP_NAME
Le nom de cette opération, tel que connu par le moteur principal TensorFlow
Méthodes publiques
sortie publique <T> asOutput ()
Renvoie le handle symbolique du tenseur.
Les entrées des opérations TensorFlow sont les sorties d'une autre opération TensorFlow. Cette méthode est utilisée pour obtenir un handle symbolique qui représente le calcul de l’entrée.
public static ApplyRmsProp <T> create ( Scope scope, Operand <T> var, Operand <T> ms, Operand <T> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Opérande <T> grad, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération ApplyRmsProp.
Paramètres
portée | portée actuelle |
---|---|
var | Doit provenir d'une variable (). |
MS | Doit provenir d'une variable (). |
maman | Doit provenir d'une variable (). |
g / D | Facteur d'échelle. Ça doit être un scalaire. |
rho | Taux de décomposition. Ça doit être un scalaire. |
épsilon | Terme de crête. Ça doit être un scalaire. |
diplômé | Le dégradé. |
choix | porte des valeurs d'attributs facultatifs |
Retour
- une nouvelle instance de ApplyRmsProp
public static ApplyRmsProp.Options useLocking (booléen useLocking)
Paramètres
utiliserVerrouillage | Si « True », la mise à jour des tenseurs var, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits. |
---|