SELU

Ölçeklendirilmiş Üstel Doğrusal Birim (SELU).

Ölçeklendirilmiş Üstel Doğrusal Birim (SELU) aktivasyon fonksiyonu şu şekilde tanımlanır:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

burada alpha ve scale önceden tanımlanmış sabitlerdir ( alpha=1.67326324 ve scale=1.05070098 ).

Temel olarak SELU aktivasyon fonksiyonu, pozitif girişler için birden daha büyük bir eğim sağlamak amacıyla scale (> 1) elu fonksiyonunun çıkışıyla çarpar.

alpha ve scale değerleri, ağırlıklar doğru şekilde başlatıldığı sürece (Normal Dağılım ile LeCun bakın) ve giriş birimlerinin sayısı "yeterince büyük" olduğu sürece, girdilerin ortalaması ve varyansı iki ardışık katman arasında korunacak şekilde seçilir.

Notlar: Normal Dağıtımlı LeCun başlatıcıyla birlikte kullanılacaktır.