AdaDelta

Adadelta algoritmasını uygulayan optimizer.

Adadelta optimizasyonu, iki dezavantajı ele almak üzere boyut başına uyarlanabilir öğrenme oranına dayanan stokastik bir gradyan iniş yöntemidir:

• eğitim boyunca öğrenme oranlarının sürekli azalması
• manuel olarak seçilmiş bir küresel öğrenme oranına duyulan ihtiyaç

Adadelta, geçmiş tüm degradeleri biriktirmek yerine, öğrenme oranlarını hareketli bir degrade güncellemeleri penceresine göre uyarlayan, Adagrad'ın daha sağlam bir uzantısıdır. Bu sayede Adadelta birçok güncelleme yapılsa bile öğrenmeye devam eder. Adagrad'la karşılaştırıldığında Adadelta'nın orijinal versiyonunda başlangıç ​​öğrenme oranını ayarlamanıza gerek yoktur. Bu versiyonda, diğer optimizasyon programlarının çoğunda olduğu gibi, başlangıç ​​öğrenme hızı ayarlanabilir.

Bölüm 4.3'e ("Etkili Öğrenme oranları") göre, eğitimin sonuna doğru adım boyutları 1'e yaklaşır; bu da, farklılığa neden olabilecek yüksek bir öğrenme oranıdır. Gradyanlar ve adım boyutları küçük olduğundan ve pay ve paydadaki epsilon sabiti, öğrenme oranını 1'e yakınsayan geçmiş gradyanlara ve parametre güncellemelerine hakim olduğundan, bu yalnızca eğitimin sonuna doğru gerçekleşir.

4 gizli katmana sahip büyük bir sinir ağının ABD İngilizcesi verilerinden oluşan bir derleme üzerinde eğitildiği bölüm 4.4'e ("Konuşma Verileri") göre, 100 ağ kopyasıyla ADAELTA kullanıldı. Kullanılan epsilon, rho=0,95 ile 1e-6'dır. aşağıdaki yapıyla ADAGRAD'dan daha hızlı yakınsamıştır: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);