Mettez à jour '*var' selon l'algorithme RMSProp centré.
L'algorithme RMSProp centré utilise une estimation du deuxième moment centré (c'est-à-dire la variance) pour la normalisation, par opposition au RMSProp normal, qui utilise le deuxième moment (non centré). Cela facilite souvent la formation, mais coûte légèrement plus cher en termes de calcul et de mémoire.
Notez que dans une implémentation dense de cet algorithme, mg, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, mg, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.
Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Mean_grad = décroissance * Mean_grad + (1-décroissance) * gradient Delta = taux d'apprentissage * gradient / sqrt (mean_square + epsilon - Mean_grad ** 2)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - maman
Classes imbriquées
| classe | ResourceSparseApplyCenteredRmsProp.Options | Attributs facultatifs pour ResourceSparseApplyCenteredRmsProp | |
Constantes
| Chaîne | OP_NAME | Le nom de cette opération, tel que connu par le moteur principal TensorFlow |
Méthodes publiques
| statique <T étend TType > ResourceSparseApplyCenteredRmsProp | create ( Scope scope, Opérande <?> var, Opérande <?> mg, Opérande <?> ms, Opérande <?> mom, Opérande <T> lr, Opérande <T> rho, Opérande <T> momentum, Opérande <T > epsilon, Opérande <T> grad, Opérande <? extends TNumber > indices, Options... options) Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyCenteredRmsProp. |
| statique ResourceSparseApplyCenteredRmsProp.Options | useLocking (booléen useLocking) |
Méthodes héritées
Constantes
chaîne finale statique publique OP_NAME
Le nom de cette opération, tel que connu par le moteur principal TensorFlow
Méthodes publiques
public static ResourceSparseApplyCenteredRmsProp create ( Scope scope, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Opérande <T> epsilon, Opérande <T> grad, Opérande <? étend TNumber > indices, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyCenteredRmsProp.
Paramètres
| portée | portée actuelle |
|---|---|
| var | Doit provenir d'une variable (). |
| mg | Doit provenir d'une variable (). |
| MS | Doit provenir d'une variable (). |
| maman | Doit provenir d'une variable (). |
| g / D | Facteur d'échelle. Ça doit être un scalaire. |
| rho | Taux de décomposition. Ça doit être un scalaire. |
| épsilon | Terme de crête. Ça doit être un scalaire. |
| diplômé | Le dégradé. |
| indices | Un vecteur d'indices dans la première dimension de var, ms et mom. |
| choix | porte des valeurs d'attributs facultatifs |
Retour
- une nouvelle instance de ResourceSparseApplyCenteredRmsProp
public statique ResourceSparseApplyCenteredRmsProp.Options useLocking (booléen useLocking)
Paramètres
| utiliserVerrouillage | Si « True », la mise à jour des tenseurs var, mg, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits. |
|---|
Mettez à jour '*var' selon l'algorithme RMSProp centré.
L'algorithme RMSProp centré utilise une estimation du deuxième moment centré (c'est-à-dire la variance) pour la normalisation, par opposition au RMSProp normal, qui utilise le deuxième moment (non centré). Cela facilite souvent la formation, mais coûte légèrement plus cher en termes de calcul et de mémoire.
Notez que dans une implémentation dense de cet algorithme, mg, ms et mom seront mis à jour même si le grade est nul, mais dans cette implémentation clairsemée, mg, ms et mom ne seront pas mis à jour dans les itérations pendant lesquelles le grade est nul.
Mean_square = décroissance * Mean_square + (1-décroissance) * gradient ** 2 Mean_grad = décroissance * Mean_grad + (1-décroissance) * gradient Delta = taux d'apprentissage * gradient / sqrt (mean_square + epsilon - Mean_grad ** 2)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - maman
Classes imbriquées
| classe | ResourceSparseApplyCenteredRmsProp.Options | Attributs facultatifs pour ResourceSparseApplyCenteredRmsProp | |
Constantes
| Chaîne | OP_NAME | Le nom de cette opération, tel que connu par le moteur principal TensorFlow |
Méthodes publiques
| statique <T étend TType > ResourceSparseApplyCenteredRmsProp | create ( Scope scope, Opérande <?> var, Opérande <?> mg, Opérande <?> ms, Opérande <?> mom, Opérande <T> lr, Opérande <T> rho, Opérande <T> momentum, Opérande <T > epsilon, Opérande <T> grad, Opérande <? extends TNumber > indices, Options... options) Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyCenteredRmsProp. |
| statique ResourceSparseApplyCenteredRmsProp.Options | useLocking (booléen useLocking) |
Méthodes héritées
Constantes
chaîne finale statique publique OP_NAME
Le nom de cette opération, tel que connu par le moteur principal TensorFlow
Méthodes publiques
public static ResourceSparseApplyCenteredRmsProp create ( Scope scope, Operand <?> var, Operand <?> mg, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Opérande <T> epsilon, Opérande <T> grad, Opérande <? étend TNumber > indices, Options... options)
Méthode d'usine pour créer une classe encapsulant une nouvelle opération ResourceSparseApplyCenteredRmsProp.
Paramètres
| portée | portée actuelle |
|---|---|
| var | Doit provenir d'une variable (). |
| mg | Doit provenir d'une variable (). |
| MS | Doit provenir d'une variable (). |
| maman | Doit provenir d'une variable (). |
| g / D | Facteur d'échelle. Ça doit être un scalaire. |
| rho | Taux de décomposition. Ça doit être un scalaire. |
| épsilon | Terme de crête. Ça doit être un scalaire. |
| diplômé | Le dégradé. |
| indices | Un vecteur d'indices dans la première dimension de var, ms et mom. |
| choix | porte des valeurs d'attributs facultatifs |
Retour
- une nouvelle instance de ResourceSparseApplyCenteredRmsProp
public statique ResourceSparseApplyCenteredRmsProp.Options useLocking (booléen useLocking)
Paramètres
| utiliserVerrouillage | Si « True », la mise à jour des tenseurs var, mg, ms et mom est protégée par un verrou ; sinon, le comportement n'est pas défini, mais peut présenter moins de conflits. |
|---|