ResourceSparseApplyRmsProp

classe finale publique ResourceSparseApplyRmsProp

Mettez à jour '*var' selon l'algorithme RMSProp.

Notez que dans une implémentation dense de cet algorithme, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.

Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Delta = learning_rate * gradient / sqrt (mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - maman

Classes imbriquées

classe ResourceSparseApplyRmsProp.Options Attributs facultatifs pour ResourceSparseApplyRmsProp

Constantes

Chaîne OP_NAME Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Méthodes publiques

statique <T étend TType > ResourceSparseApplyRmsProp
créer ( Scope scope, Opérande <?> var, Opérande <?> ms, Opérande <?> mom, Opérande <T> lr, Opérande <T> rho, Opérande <T> momentum, Opérande <T> epsilon, Opérande <T > grad, Opérande <? étend TNumber > indices, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyRmsProp.
statique ResourceSparseApplyRmsProp.Options
useLocking (booléen useLocking)

Méthodes héritées

Constantes

chaîne finale statique publique OP_NAME

Le nom de cette opération, tel que connu par le moteur principal TensorFlow

Valeur constante : « ResourceSparseApplyRMSProp »

Méthodes publiques

public static ResourceSparseApplyRmsProp create ( Scope scope, Operand <?> var, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T> epsilon, Opérande <T> grad, Opérande <? étend TNumber > indices, Options... options)

Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyRmsProp.

Paramètres
portée portée actuelle
var Doit provenir d'une variable ().
MS Doit provenir d'une variable ().
maman Doit provenir d'une variable ().
g / D Facteur d'échelle. Ça doit être un scalaire.
rho Taux de décomposition. Ça doit être un scalaire.
épsilon Terme de crête. Ça doit être un scalaire.
diplômé Le dégradé.
indices Un vecteur d'indices dans la première dimension de var, ms et mom.
choix porte des valeurs d'attributs facultatifs
Retour
  • une nouvelle instance de ResourceSparseApplyRmsProp

public statique ResourceSparseApplyRmsProp.Options useLocking (booléen useLocking)

Paramètres
utiliserVerrouillage Si « True », la mise à jour des tenseurs var, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits.