Perbarui '*var' sesuai dengan algoritma RMSProp terpusat.
Algoritme RMSProp terpusat menggunakan perkiraan momen kedua terpusat (yaitu varians) untuk normalisasi, berbeda dengan RMSProp biasa, yang menggunakan momen kedua (tidak terpusat). Hal ini sering kali membantu dalam pelatihan, namun sedikit lebih mahal dalam hal komputasi dan memori.
Perhatikan bahwa dalam implementasi padat dari algoritme ini, mg, ms, dan mom akan diperbarui meskipun gradasinya nol, tetapi dalam implementasi yang jarang ini, mg, ms, dan mom tidak akan diperbarui dalam iterasi yang gradannya nol.
mean_square = peluruhan * mean_square + (1 peluruhan) * gradien ** 2 mean_grad = peluruhan * mean_grad + (1 peluruhan) * gradien
Delta = kecepatan_belajar * gradien / kuadrat(mean_square + epsilon - mean_grad ** 2)
mg <- rho * mg_{t-1} + (1-rho) * lulusan ms <- rho * ms_{t-1} + (1-rho) * lulusan * lulusan ibu <- momentum * ibu_{t-1 } + lr * lulusan / sqrt(ms - mg * mg + epsilon) var <- var - ibu
Kelas Bersarang
kelas | ResourceApplyCenteredRmsProp.Options | Atribut opsional untuk ResourceApplyCenteredRmsProp |
Konstanta
Rangkaian | OP_NAME | Nama operasi ini dikenal dengan mesin inti TensorFlow |
Metode Publik
statis <T memperluas TType > ResourceApplyCenteredRmsProp | |
ResourceApplyCenteredRmsProp.Options statis | useLocking (penguncian penggunaan Boolean) |
Metode Warisan
Konstanta
String akhir statis publik OP_NAME
Nama operasi ini dikenal dengan mesin inti TensorFlow
Metode Publik
public static ResourceApplyCenteredRmsProp buat ( Ruang lingkup, Operan <?> var, Operan <?> mg, Operan <?> ms, Operan <?> ibu, Operan <T> lr, Operan <T> rho, Operan <T> momentum, Operan <T> epsilon, Operan <T> grad, Opsi... opsi)
Metode pabrik untuk membuat kelas yang membungkus operasi ResourceApplyCenteredRmsProp baru.
Parameter
cakupan | ruang lingkup saat ini |
---|---|
var | Harus dari Variabel(). |
mg | Harus dari Variabel(). |
MS | Harus dari Variabel(). |
Mama | Harus dari Variabel(). |
lr | Faktor skala. Pasti skalar. |
rho | Tingkat pembusukan. Pasti skalar. |
momentum | Skala Momentum. Pasti skalar. |
epsilon | Istilah punggungan. Pasti skalar. |
lulusan | Gradien. |
pilihan | membawa nilai atribut opsional |
Kembali
- contoh baru ResourceApplyCenteredRmsProp
ResourceApplyCenteredRmsProp.Options statis publik useLocking (Boolean useLocking)
Parameter
gunakan Penguncian | Jika `True`, pembaruan tensor var, mg, ms, dan mom dilindungi oleh kunci; jika tidak, perilaku tersebut tidak terdefinisikan, namun mungkin menunjukkan lebih sedikit pertentangan. |
---|