aliran tensor:: operasi:: TerapkanRMSProp

#include <training_ops.h>

Perbarui '*var' sesuai dengan algoritma RMSProp.

Ringkasan

Perhatikan bahwa dalam penerapan algoritma ini yang padat, ms dan mom akan memperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, ms dan mom tidak akan memperbarui dalam iterasi yang gradannya nol.

mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 Delta = learning_rate * gradien / sqrt(mean_square + epsilon)

ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1} + lr * lulusan / sqrt(ms + epsilon) var <- var - ibu

Argumen:

  • ruang lingkup: Objek Lingkup
  • var: Harus dari Variabel().
  • ms: Harus dari Variabel().
  • ibu: Harus dari Variabel().
  • lr: Faktor penskalaan. Pasti skalar.
  • rho : Tingkat pembusukan. Pasti skalar.
  • epsilon: Istilah punggungan. Pasti skalar.
  • lulusan: Gradien.

Atribut opsional (lihat Attrs ):

  • use_locking: Jika True , pembaruan tensor var, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan.

Pengembalian:

  • Output : Sama seperti "var".

Konstruktor dan Destruktor

ApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad)
ApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, const ApplyRMSProp::Attrs & attrs)

Atribut publik

operation
out

Fungsi publik

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Fungsi statis publik

UseLocking (bool x)

Struktur

tensorflow:: ops:: ApplyRMSProp:: Attrs

Penyetel atribut opsional untuk ApplyRMSProp .

Atribut publik

operasi 

Operation operation

keluar 

::tensorflow::Output out

Fungsi publik

TerapkanRMSProp 

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

TerapkanRMSProp 

 ApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ApplyRMSProp::Attrs & attrs
)

simpul 

::tensorflow::Node * node() const

operator::tensorflow::Masukan 

 operator::tensorflow::Input() const

operator::tensorflow::Keluaran 

 operator::tensorflow::Output() const

Fungsi statis publik

Gunakan Penguncian 

Attrs UseLocking(
  bool x
)