kelas publik Adam
Pengoptimal yang mengimplementasikan algoritma Adam.
Optimasi Adam adalah metode penurunan gradien stokastik yang didasarkan pada estimasi adaptif momen orde pertama dan kedua.
Menurut Kingma et al., 2014, metode ini "efisien secara komputasi, memiliki sedikit kebutuhan memori, invarian terhadap penskalaan ulang gradien secara diagonal, dan sangat cocok untuk masalah yang besar dalam hal data/parameter".
Konstanta
| mengambang | BETA_ONE_DEFAULT | |
| mengambang | BETA_TWO_DEFAULT | |
| mengambang | EPSILON_DEFAULT | |
| Rangkaian | FIRST_MOMENT | |
| mengambang | BELAJAR_RATE_DEFAULT | |
| Rangkaian | SECOND_MOMENT |
Konstanta yang Diwarisi
Konstruktor Publik
Metode Publik
| statis <T memperluas TType > Op | createAdamMinimize ( Lingkup cakupan, Operan <T> hilang, float learningRate, float betaOne, float betaTwo, float epsilon, Opsi... opsi) Menciptakan Operasi yang meminimalkan kerugian |
| Rangkaian | dapatkan Nama Pengoptimal () Dapatkan Nama pengoptimal. |
| Rangkaian | keString () |
Metode Warisan
Konstanta
float akhir statis publik BETA_ONE_DEFAULT
Nilai Konstan: 0,9
float akhir statis publik BETA_TWO_DEFAULT
Nilai Konstan: 0,999
float akhir statis publik EPSILON_DEFAULT
Nilai Konstan: 1.0E-8
String akhir statis publik FIRST_MOMENT
Nilai Konstan: "m"
float akhir statis publik LEARNING_RATE_DEFAULT
Nilai Konstan: 0,001
String akhir statis publik SECOND_MOMENT
Nilai Konstan: "v"
Konstruktor Publik
publik Adam (Grafik grafik , tingkat pembelajaran mengambang)
Membuat pengoptimal Adam
Parameter
| grafik | grafik TensorFlow |
|---|---|
| Tingkat pembelajaran | kecepatan pembelajaran |
publik Adam ( Grafik grafik, float learningRate, float betaOne, float betaTwo, float epsilon)
Membuat pengoptimal Adam
Parameter
| grafik | grafik TensorFlow |
|---|---|
| Tingkat pembelajaran | kecepatan pembelajaran |
| betaSatu | Tingkat peluruhan eksponensial untuk perkiraan momen pertama. Defaultnya adalah 0,9. |
| betaDua | Tingkat peluruhan eksponensial untuk perkiraan momen ke-2. Defaultnya adalah 0,999. |
| epsilon | Konstanta kecil untuk stabilitas numerik. Epsilon ini adalah "topi epsilon" di makalah Kingma dan Ba (dalam rumus sebelum Bagian 2.1), bukan epsilon di Algoritma 1 makalah. Defaultnya adalah 1e-8. |
publik Adam (Grafik grafik , Nama string, Tingkat pembelajaran mengambang)
Membuat pengoptimal Adam
Parameter
| grafik | grafik TensorFlow |
|---|---|
| nama | nama Pengoptimal, defaultnya adalah "Adam" |
| Tingkat pembelajaran | kecepatan pembelajaran |
publik Adam ( Grafik grafik, Nama string, float learningRate, float betaOne, float betaTwo, float epsilon)
Membuat pengoptimal Adam
Parameter
| grafik | grafik TensorFlow |
|---|---|
| nama | nama Pengoptimal, defaultnya adalah "Adam" |
| Tingkat pembelajaran | kecepatan pembelajaran |
| betaSatu | Tingkat peluruhan eksponensial untuk perkiraan momen pertama. Defaultnya adalah 0,9. |
| betaDua | Tingkat peluruhan eksponensial untuk perkiraan momen ke-2. Defaultnya adalah 0,999. |
| epsilon | Konstanta kecil untuk stabilitas numerik. Epsilon ini adalah "topi epsilon" di makalah Kingma dan Ba (dalam rumus sebelum Bagian 2.1), bukan epsilon di Algoritma 1 makalah. Defaultnya adalah 1e-8. |
Metode Publik
public static Op createAdamMinimize ( Lingkup cakupan, Operan <T> hilang, float learningRate, float betaOne, float betaTwo, float epsilon, Opsi... opsi)
Menciptakan Operasi yang meminimalkan kerugian
Parameter
| cakupan | cakupan TensorFlow |
|---|---|
| kehilangan | kerugian yang harus diminimalkan |
| Tingkat pembelajaran | kecepatan pembelajaran |
| betaSatu | Tingkat peluruhan eksponensial untuk perkiraan momen pertama. |
| betaDua | Tingkat peluruhan eksponensial untuk perkiraan momen ke-2. |
| epsilon | Konstanta kecil untuk stabilitas numerik. Epsilon ini adalah "topi epsilon" di makalah Kingma dan Ba (dalam rumus sebelum Bagian 2.1), bukan epsilon di Algoritma 1 makalah. |
| pilihan | Atribut Pengoptimal opsional |
Kembali
- Operasi yang meminimalkan kerugian
Melempar
| Pengecualian Argumen Ilegal | jika cakupan tidak mewakili Grafik |
|---|
String publik getOptimizerName ()
Dapatkan Nama pengoptimal.
Kembali
- Nama pengoptimal.