aliran tensor:: operasi:: ResourceSparseApplyRMSProp
#include <training_ops.h>
Perbarui '*var' sesuai dengan algoritma RMSProp.
Ringkasan
Perhatikan bahwa dalam penerapan algoritma ini yang padat, ms dan mom akan memperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, ms dan mom tidak akan memperbarui dalam iterasi yang gradannya nol.
mean_square = peluruhan * mean_square + (1-decay) * gradien ** 2 Delta = learning_rate * gradien / sqrt(mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1} + lr * lulusan / sqrt(ms + epsilon) var <- var - ibu
Argumen:
- ruang lingkup: Objek Lingkup
- var: Harus dari Variabel().
- ms: Harus dari Variabel().
- ibu: Harus dari Variabel().
- lr: Faktor penskalaan. Pasti skalar.
- rho : Tingkat pembusukan. Pasti skalar.
- epsilon: Istilah punggungan. Pasti skalar.
- lulusan: Gradien.
- indeks: Vektor indeks ke dalam dimensi pertama var, ms, dan ibu.
Atribut opsional (lihat Attrs
):
- use_locking: Jika
True
, pembaruan tensor var, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan.
Pengembalian:
-
Operation
yang dibuat
Konstruktor dan Destruktor | |
---|---|
ResourceSparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices) | |
ResourceSparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyRMSProp::Attrs & attrs) |
Atribut publik | |
---|---|
operation |
Fungsi publik | |
---|---|
operator::tensorflow::Operation () const |
Fungsi statis publik | |
---|---|
UseLocking (bool x) |
Struktur | |
---|---|
tensorflow:: ops:: ResourceSparseApplyRMSProp:: Attrs | Penyetel atribut opsional untuk ResourceSparseApplyRMSProp . |
Atribut publik
operasi
Operation operation
Fungsi publik
ResourceSparseApplyRMSProp
ResourceSparseApplyRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices )
ResourceSparseApplyRMSProp
ResourceSparseApplyRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices, const ResourceSparseApplyRMSProp::Attrs & attrs )
operator::tensorflow::Operasi
operator::tensorflow::Operation() const
Fungsi statis publik
Gunakan Penguncian
Attrs UseLocking( bool x )