tensoreflusso:: ops:: SparseApplyRMSProp

#include <training_ops.h>

Aggiorna '*var' in base all'algoritmo RMSProp.

Riepilogo

Si noti che nell'implementazione densa di questo algoritmo, ms e mom si aggiorneranno anche se il grad è zero, ma in questa implementazione sparsa, ms e mom non si aggiorneranno nelle iterazioni durante le quali il grad è zero.

quadrato_medio = decadimento * quadrato_medio + (1-decadimento) * gradiente ** 2 Delta = tasso_di_apprendimento * gradiente / sqrt(quadrato_medio + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$
$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$
$$var <- var - mom$$

Argomenti:

  • scope: un oggetto Scope
  • var: dovrebbe provenire da una variabile().
  • ms: dovrebbe provenire da una variabile().
  • mamma: Dovrebbe provenire da una Variabile().
  • lr: fattore di scala. Deve essere uno scalare.
  • rho: tasso di decadimento. Deve essere uno scalare.
  • epsilon: termine di cresta. Deve essere uno scalare.
  • grad: il gradiente.
  • indici: un vettore di indici nella prima dimensione di var, ms e mom.

Attributi facoltativi (vedi Attrs ):

  • use_locking: Se True , l'aggiornamento dei tensori var, ms e mom è protetto da un blocco; altrimenti il ​​comportamento non è definito, ma può mostrare meno contesa.

Resi:

Costruttori e distruttori

SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

Attributi pubblici

operation
out

Funzioni pubbliche

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Funzioni pubbliche statiche

UseLocking (bool x)

Strutture

tensorflow:: ops:: SparseApplyRMSProp:: Attrs

Setter di attributi facoltativi per SparseApplyRMSProp .

Attributi pubblici

operazione 

Operation operation

fuori 

::tensorflow::Output out

Funzioni pubbliche

SparseApplyRMSProp 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyRMSProp 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

nodo 

::tensorflow::Node * node() const

operatore::tensorflow::Input 

 operator::tensorflow::Input() const

operatore::tensorflow::Output 

 operator::tensorflow::Output() const

Funzioni pubbliche statiche

UsaLocking

Attrs UseLocking(
  bool x
)