Mettez à jour '*var' selon l'algorithme RMSProp.
Notez que dans une implémentation dense de cet algorithme, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.
Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Delta = learning_rate * gradient / sqrt (mean_square + epsilon)
$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$
Classes imbriquées
classe | SparseApplyRmsProp.Options | Attributs facultatifs pour SparseApplyRmsProp |
Constantes
Chaîne | OP_NAME | Le nom de cette opération, tel que connu par le moteur principal TensorFlow |
Méthodes publiques
Sortie <T> | comme Sortie () Renvoie le handle symbolique du tenseur. |
statique <T étend TType > SparseApplyRmsProp <T> | créer ( Scope scope, Opérande <T> var, Opérande <T> ms, Opérande <T> mom, Opérande <T> lr, Opérande <T> rho, Opérande <T> momentum, Opérande <T> epsilon, Opérande <T > grad, Opérande <? étend TNumber > indices, Options... options) Méthode d'usine pour créer une classe encapsulant une nouvelle opération SparseApplyRmsProp. |
Sortie <T> | dehors () Identique à "var". |
SparseApplyRmsProp.Options statique | useLocking (booléen useLocking) |
Méthodes héritées
Constantes
chaîne finale statique publique OP_NAME
Le nom de cette opération, tel que connu par le moteur principal TensorFlow
Méthodes publiques
sortie publique <T> asOutput ()
Renvoie le handle symbolique du tenseur.
Les entrées des opérations TensorFlow sont les sorties d'une autre opération TensorFlow. Cette méthode est utilisée pour obtenir un handle symbolique qui représente le calcul de l’entrée.
public static SparseApplyRmsProp <T> create ( Scope scope, Operand <T> var, Operand <T> ms, Operand <T> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T > epsilon, Opérande <T> grad, Opérande <? étend TNumber > indices, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération SparseApplyRmsProp.
Paramètres
portée | portée actuelle |
---|---|
var | Doit provenir d'une variable (). |
MS | Doit provenir d'une variable (). |
maman | Doit provenir d'une variable (). |
mdr | Facteur d'échelle. Ça doit être un scalaire. |
rho | Taux de décomposition. Ça doit être un scalaire. |
épsilon | Terme de crête. Ça doit être un scalaire. |
diplômé | Le dégradé. |
indices | Un vecteur d'indices dans la première dimension de var, ms et mom. |
choix | porte des valeurs d'attributs facultatifs |
Retours
- une nouvelle instance de SparseApplyRmsProp
public statique SparseApplyRmsProp.Options useLocking (booléen useLocking)
Paramètres
utiliserVerrouillage | Si « True », la mise à jour des tenseurs var, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits. |
---|