AdaDelta

محسن ينفذ خوارزمية Adadelta.

يعد تحسين Adadelta بمثابة طريقة نزول متدرجة عشوائية تعتمد على معدل التعلم التكيفي لكل بُعد لمعالجة عيبين:

• - التدهور المستمر في معدلات التعلم طوال فترة التدريب
• الحاجة إلى معدل تعلم عالمي يتم اختياره يدويًا

يعد Adadelta امتدادًا أكثر قوة لـ Adagrad حيث يقوم بتكييف معدلات التعلم بناءً على نافذة متحركة من تحديثات التدرج، بدلاً من تجميع كل التدرجات السابقة. بهذه الطريقة، يستمر Adadelta في التعلم حتى بعد إجراء العديد من التحديثات. بالمقارنة مع Adagrad، في الإصدار الأصلي من Adadelta، لا يتعين عليك تحديد معدل تعلم أولي. في هذا الإصدار، يمكن تعيين معدل التعلم الأولي، كما هو الحال في معظم برامج التحسين الأخرى.

وفقًا للقسم 4.3 ("معدلات التعلم الفعالة")، بالقرب من نهاية أحجام خطوات التدريب تتقارب إلى 1 وهو معدل تعلم مرتفع فعليًا قد يسبب الاختلاف. يحدث هذا فقط قرب نهاية التدريب حيث تكون التدرجات وأحجام الخطوات صغيرة، ويهيمن ثابت إبسيلون في البسط والمقام على التدرجات السابقة وتحديثات المعلمات التي تقارب معدل التعلم إلى 1.

وفقًا للقسم 4.4 ("بيانات الكلام")، حيث تم تدريب شبكة عصبية كبيرة مكونة من 4 طبقات مخفية على مجموعة من البيانات الإنجليزية الأمريكية، تم استخدام ADADELTA مع 100 نسخة متماثلة للشبكة. epsilon المستخدم هو 1e-6 مع rho=0.95 والذي تتقارب بشكل أسرع من ADAGRAD، من خلال البناء التالي: new AdaDelta(graph, 1.0f, 0.95f, 1e-6f);