Actualice '*var' según el algoritmo RMSProp centrado.
El algoritmo RMSProp centrado utiliza una estimación del segundo momento centrado (es decir, la varianza) para la normalización, a diferencia del RMSProp normal, que utiliza el segundo momento (no centrado). Esto suele ayudar con la formación, pero es un poco más caro en términos de cálculo y memoria.
Tenga en cuenta que en una implementación densa de este algoritmo, mg, ms y mom se actualizarán incluso si el grad es cero, pero en esta implementación escasa, mg, ms y mom no se actualizarán en iteraciones durante las cuales el grad es cero.
cuadrado_medio = decaimiento * cuadrado_medio + (1-decaimiento) * gradiente ** 2 grad_medio = decaimiento * grad_medio + (1-decaimiento) * gradiente Delta = tasa de aprendizaje * gradiente / sqrt (cuadrado_medio + épsilon - grad_medio ** 2)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mamá <- impulso * mamá_{t-1} + lr * grad / sqrt(ms + épsilon) var <- var - mamá
Clases anidadas
| clase | ResourceSparseApplyCenteredRmsProp.Options | Atributos opcionales para ResourceSparseApplyCenteredRmsProp | |
Constantes
| Cadena | OP_NOMBRE | El nombre de esta operación, como lo conoce el motor central de TensorFlow. |
Métodos públicos
| estático <T extiende TType > ResourceSparseApplyCenteredRmsProp | crear ( Alcance alcance, Operando <?> var, Operando <?> mg, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T > épsilon, Operando <T> grad, Operando <? extiende TNumber > índices, Opciones... opciones) Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyCenteredRmsProp. |
| estático ResourceSparseApplyCenteredRmsProp.Options | useLocking (uso booleano Locking) |
Métodos heredados
| booleano | es igual (Objeto arg0) |
| Clase final<?> | obtenerclase () |
| En t | código hash () |
| vacío final | notificar () |
| vacío final | notificar a todos () |
| Cadena | Encadenar () |
| vacío final | esperar (arg0 largo, int arg1) |
| vacío final | espera (arg0 largo) |
| vacío final | esperar () |
| entorno de ejecución abstracto | entorno () Devuelve el entorno de ejecución en el que se creó esta operación. |
| operación abstracta |
Constantes
Cadena final estática pública OP_NAME
El nombre de esta operación, como lo conoce el motor central de TensorFlow.
Métodos públicos
public static ResourceSparseApplyCenteredRmsProp create ( Alcance alcance, Operando <?> var, Operando <?> mg, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> impulso, Operando <T> épsilon, Operando <T> grad, Operando <? extiende TNumber > índices, Opciones... opciones)
Método de fábrica para crear una clase que envuelve una nueva operación ResourceSparseApplyCenteredRmsProp.
Parámetros
| alcance | alcance actual |
|---|---|
| var | Debe ser de una Variable(). |
| mg | Debe ser de una Variable(). |
| EM | Debe ser de una Variable(). |
| mamá | Debe ser de una Variable(). |
| lr | Factor de escala. Debe ser un escalar. |
| rho | Tasa de descomposición. Debe ser un escalar. |
| épsilon | Término de cresta. Debe ser un escalar. |
| graduado | El gradiente. |
| índices | Un vector de índices en la primera dimensión de var, ms y mom. |
| opciones | lleva valores de atributos opcionales |
Devoluciones
- una nueva instancia de ResourceSparseApplyCenteredRmsProp
ResourceSparseApplyCenteredRmsProp.Options estático público useLocking (useLocking booleano)
Parámetros
| utilizarBloqueo | Si es "True", la actualización de los tensores var, mg, ms y mom está protegida por un bloqueo; de lo contrario, el comportamiento no está definido, pero puede presentar menos contención. |
|---|