SELU

SELU الطبقة العامة

الوحدة الخطية الأسية المتدرجة (SELU).

يتم تعريف وظيفة تنشيط الوحدة الخطية الأسية المقاسة (SELU) على النحو التالي:

  • if x > 0: return scale * x
  • if x < 0: return scale * alpha * (exp(x) - 1)

حيث alpha scale ثوابت محددة مسبقًا ( alpha=1.67326324 و scale=1.05070098 ).

بشكل أساسي، تقوم وظيفة تنشيط SELU بضرب scale (> 1) بمخرجات وظيفة elu لضمان ميل أكبر من واحد للمدخلات الإيجابية.

يتم اختيار قيم alpha scale بحيث يتم الحفاظ على متوسط ​​وتباين المدخلات بين طبقتين متتاليتين طالما تمت تهيئة الأوزان بشكل صحيح (انظر LeCun مع التوزيع الطبيعي) وعدد وحدات الإدخال "كبير بما فيه الكفاية"

ملاحظات: لاستخدامها مع مُهيئ LeCun مع التوزيع العادي.

المقاولون العامون

سيلو (عمليات tf)
إنشاء تنشيط وحدة خطية أسية متدرجة (SELU).

الأساليب العامة

المعامل <T>
الاتصال (إدخال المعامل <T>)
يحصل على عملية الحساب للتنشيط.

الطرق الموروثة

المقاولون العامون

SELU العامة (Ops tf)

إنشاء تنشيط وحدة خطية أسية متدرجة (SELU).

حدود
tf عمليات TensorFlow

الأساليب العامة

استدعاء المعامل العام <T> (إدخال المعامل <T>)

يحصل على عملية الحساب للتنشيط.

حدود
مدخل موتر الإدخال
عائدات
  • المعامل للتنشيط