Mettez à jour '*var' selon l'algorithme RMSProp.
Notez que dans une implémentation dense de cet algorithme, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.
Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Delta = learning_rate * gradient / sqrt (mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - maman
Classes imbriquées
classe | ResourceSparseApplyRmsProp.Options | Attributs facultatifs pour ResourceSparseApplyRmsProp |
Constantes
Chaîne | OP_NAME | Le nom de cette opération, tel que connu par le moteur principal TensorFlow |
Méthodes publiques
statique <T étend TType > ResourceSparseApplyRmsProp | créer ( Scope scope, Opérande <?> var, Opérande <?> ms, Opérande <?> mom, Opérande <T> lr, Opérande <T> rho, Opérande <T> momentum, Opérande <T> epsilon, Opérande <T > grad, Opérande <? étend TNumber > indices, Options... options) Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyRmsProp. |
statique ResourceSparseApplyRmsProp.Options | useLocking (booléen useLocking) |
Méthodes héritées
Constantes
chaîne finale statique publique OP_NAME
Le nom de cette opération, tel que connu par le moteur principal TensorFlow
Méthodes publiques
public static ResourceSparseApplyRmsProp create ( Scope scope, Operand <?> var, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T> epsilon, Opérande <T> grad, Opérande <? étend TNumber > indices, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyRmsProp.
Paramètres
portée | portée actuelle |
---|---|
var | Doit provenir d'une variable (). |
MS | Doit provenir d'une variable (). |
maman | Doit provenir d'une variable (). |
g / D | Facteur d'échelle. Ça doit être un scalaire. |
rho | Taux de décomposition. Ça doit être un scalaire. |
épsilon | Terme de crête. Ça doit être un scalaire. |
diplômé | Le dégradé. |
indices | Un vecteur d'indices dans la première dimension de var, ms et mom. |
choix | porte des valeurs d'attributs facultatifs |
Retour
- une nouvelle instance de ResourceSparseApplyRmsProp
public statique ResourceSparseApplyRmsProp.Options useLocking (booléen useLocking)
Paramètres
utiliserVerrouillage | Si « True », la mise à jour des tenseurs var, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits. |
---|