ResourceSparseApplyRmsProp

classe finale pubblica ResourceSparseApplyRmsProp

Aggiorna '*var' in base all'algoritmo RMSProp.

Si noti che nell'implementazione densa di questo algoritmo, ms e mom si aggiorneranno anche se il grad è zero, ma in questa implementazione sparsa, ms e mom non si aggiorneranno nelle iterazioni durante le quali il grad è zero.

quadrato_medio = decadimento * quadrato_medio + (1-decadimento) * gradiente ** 2 Delta = tasso_di_apprendimento * gradiente / sqrt(quadrato_medio + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom

Classi nidificate

classe ResourceSparseApplyRmsProp.Options Attributi facoltativi per ResourceSparseApplyRmsProp

Costanti

Corda OP_NAME Il nome di questa operazione, come noto al motore principale di TensorFlow

Metodi pubblici

statico <T estende TType > ResourceSparseApplyRmsProp
create ( Scope scope, Operando <?> var, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> momentum, Operando <T> epsilon, Operando <T > grad, Operando <? estende TNumero > indici, Opzioni... opzioni)
Metodo factory per creare una classe che racchiude una nuova operazione ResourceSparseApplyRmsProp.
static ResourceSparseApplyRmsProp.Options
useLocking (useLocking booleano)

Metodi ereditati

Costanti

Stringa finale statica pubblica OP_NAME

Il nome di questa operazione, come noto al motore principale di TensorFlow

Valore costante: "ResourceSparseApplyRMSProp"

Metodi pubblici

public static ResourceSparseApplyRmsProp create ( Scope scope, Operando <?> var, Operando <?> ms, Operando <?> mom, Operando <T> lr, Operando <T> rho, Operando <T> momentum, Operando <T> epsilon, Operando <T> grad, Operando <? estende TNumber > indici, Opzioni... opzioni)

Metodo factory per creare una classe che racchiude una nuova operazione ResourceSparseApplyRmsProp.

Parametri
scopo ambito attuale
var Dovrebbe provenire da una variabile().
SM Dovrebbe provenire da una variabile().
mamma Dovrebbe provenire da una variabile().
lr Fattore di scala. Deve essere uno scalare.
Rho Tasso di decadimento. Deve essere uno scalare.
epsilon Termine di cresta. Deve essere uno scalare.
grado Il gradiente.
indici Un vettore di indici nella prima dimensione di var, ms e mom.
opzioni trasporta valori di attributi opzionali
ritorna
  • una nuova istanza di ResourceSparseApplyRmsProp

public static ResourceSparseApplyRmsProp.Options useLocking (useLocking booleano)

Parametri
utilizzareBlocco Se "True", l'aggiornamento dei tensori var, ms e mom è protetto da un blocco; altrimenti il ​​comportamento non è definito, ma può mostrare meno contesa.