ELU

الوحدة الخطية الأسية.

الوحدة الخطية الأسية (ELU) مع alpha > 0 هي:

x إذا x > 0 و alpha * (exp(x) - 1) إذا x < 0 .

تتحكم المعلمة الفائقة ELU alpha في القيمة التي تتشبع بها وحدة ELU للمدخلات الصافية السالبة. تقلل وحدات ELU من تأثير التدرج المتلاشي.

تحتوي وحدات ELU على قيم سالبة مما يدفع متوسط ​​عمليات التنشيط إلى الصفر. تتيح عمليات التنشيط الأقرب إلى الصفر إمكانية التعلم بشكل أسرع لأنها تجعل التدرج أقرب إلى التدرج الطبيعي. تتشبع وحدات ELU إلى قيمة سالبة عندما تصبح الوسيطة أصغر. التشبع يعني مشتقًا صغيرًا يقلل من التباين والمعلومات التي يتم نشرها إلى الطبقة التالية.

مثال للاستخدام:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);