SparseApplyRmsProp

classe finale pubblica SparseApplyRmsProp

Aggiorna '*var' in base all'algoritmo RMSProp.

Si noti che nell'implementazione densa di questo algoritmo, ms e mom si aggiorneranno anche se il grad è zero, ma in questa implementazione sparsa, ms e mom non si aggiorneranno nelle iterazioni durante le quali il grad è zero.

quadrato_medio = decadimento * quadrato_medio + (1-decadimento) * gradiente ** 2 Delta = tasso_di_apprendimento * gradiente / sqrt(quadrato_medio + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$

Classi nidificate

classe SparseApplyRmsProp.Options Attributi facoltativi per SparseApplyRmsProp

Costanti

Corda OP_NAME Il nome di questa operazione, come noto al motore principale di TensorFlow

Metodi pubblici

Uscita <T>
comeuscita ()
Restituisce l'handle simbolico del tensore.
statico <T estende TType > SparseApplyRmsProp <T>
create ( Scope scope, Operando <T> var, Operando <T> ms, Operando <T> mom, Operando <T> lr, Operando <T> rho, Operando <T> momentum, Operando <T> epsilon, Operando <T > grad, Operando <? estende TNumero > indici, Opzioni... opzioni)
Metodo factory per creare una classe che racchiude una nuova operazione SparseApplyRmsProp.
Uscita <T>
fuori ()
Uguale a "var".
statico SparseApplyRmsProp.Options
useLocking (useLocking booleano)

Metodi ereditati

Costanti

Stringa finale statica pubblica OP_NAME

Il nome di questa operazione, come noto al motore principale di TensorFlow

Valore costante: "SparseApplyRMSProp"

Metodi pubblici

Uscita pubblica <T> asOutput ()

Restituisce l'handle simbolico del tensore.

Gli input per le operazioni TensorFlow sono output di un'altra operazione TensorFlow. Questo metodo viene utilizzato per ottenere un handle simbolico che rappresenta il calcolo dell'input.

public static SparseApplyRmsProp <T> create ( Scope scope, Operando <T> var, Operando <T> ms, Operando <T> mom, Operando <T> lr, Operando <T> rho, Operando <T> momentum, Operando <T > epsilon, Operando <T> grad, Operando <? estende TNumero > indici, Opzioni... opzioni)

Metodo factory per creare una classe che racchiude una nuova operazione SparseApplyRmsProp.

Parametri
portata ambito attuale
var Dovrebbe provenire da una variabile().
SM Dovrebbe provenire da una variabile().
mamma Dovrebbe provenire da una variabile().
lr Fattore di scala. Deve essere uno scalare.
Rho Tasso di decadimento. Deve essere uno scalare.
epsilon Termine di cresta. Deve essere uno scalare.
grado Il gradiente.
indici Un vettore di indici nella prima dimensione di var, ms e mom.
opzioni trasporta valori di attributi opzionali
Ritorni
  • una nuova istanza di SparseApplyRmsProp

Uscita pubblica <T> out ()

Uguale a "var".

public static SparseApplyRmsProp.Options useLocking (useLocking booleano)

Parametri
utilizzareBlocco Se "True", l'aggiornamento dei tensori var, ms e mom è protetto da un blocco; altrimenti il ​​comportamento non è definito, ma può mostrare meno contesa.