قم بتحديث '*var' وفقًا لخوارزمية RMSProp.
لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث ms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث ms وmom في التكرارات التي يكون خلالها grad صفرًا.
mean_square = الاضمحلال * mean_square + (1-الاضمحلال) * التدرج ** 2 دلتا = معدل التعلم * التدرج / sqrt (mean_square + epsilon)
مللي ثانية <- رو * ms_{t-1} + (1-رو) * غراد * غراد أمي <- الزخم * mom_{t-1} + lr * غراد / sqrt(ms + إبسيلون) فار <- فار - أمي
فئات متداخلة
| فصل | ApplyRmsProp.Options | السمات الاختيارية لـ ApplyRmsProp | |
الثوابت
| خيط | OP_NAME | اسم هذه العملية كما هو معروف بواسطة محرك TensorFlow الأساسي |
الأساليب العامة
| الإخراج <T> | كإخراج () إرجاع المقبض الرمزي للموتر. |
| ثابت <T يمتد TType > ApplyRmsProp <T> | |
| الإخراج <T> | خارج () نفس "فار". |
| ApplyRmsProp.Options ثابت | useLocking (استخدام منطقي منطقي) |
الطرق الموروثة
الثوابت
السلسلة النهائية الثابتة العامة OP_NAME
اسم هذه العملية كما هو معروف بواسطة محرك TensorFlow الأساسي
الأساليب العامة
الإخراج العام <T> كإخراج ()
إرجاع المقبض الرمزي للموتر.
المدخلات إلى عمليات TensorFlow هي مخرجات عملية TensorFlow أخرى. يتم استخدام هذه الطريقة للحصول على مقبض رمزي يمثل حساب الإدخال.
ApplyRmsProp <T> ثابت عام ( نطاق النطاق، المعامل <T> var، المعامل <T> ms، المعامل <T> أمي، المعامل <T> lr، المعامل <T> rho، المعامل <T> الزخم، المعامل <T > إبسيلون، المعامل <T> غراد، خيارات... خيارات)
طريقة المصنع لإنشاء فئة تلتف حول عملية ApplyRmsProp جديدة.
حدود
| نِطَاق | النطاق الحالي |
|---|---|
| فار | يجب أن يكون من متغير (). |
| آنسة | يجب أن يكون من متغير (). |
| أم | يجب أن يكون من متغير (). |
| lr | عامل التحجيم. يجب أن يكون العددية. |
| rho | معدل الاضمحلال. يجب أن يكون العددية. |
| إبسيلون | مصطلح ريدج. يجب أن يكون العددية. |
| خريج | التدرج. |
| خيارات | يحمل قيم السمات الاختيارية |
عائدات
- مثيل جديد لـ ApplyRmsProp
ApplyRmsProp.Options العام الثابت useLocking (الاستخدام المنطقي)
حدود
| useLocking | إذا كان "صحيحًا"، فإن تحديث الموترات var وms وmom محمي بقفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف. |
|---|