SELU

Skalowana wykładnicza jednostka liniowa (SELU).

Funkcja aktywacji skalowanej wykładniczej jednostki liniowej (SELU) jest zdefiniowana jako:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

gdzie alpha i scale są predefiniowanymi stałymi ( alpha=1.67326324 i scale=1.05070098 ).

Zasadniczo funkcja aktywacji SELU mnoży scale (> 1) przez sygnał wyjściowy funkcji elu, aby zapewnić nachylenie większe niż jedność dla wejść dodatnich.

Wartości alpha i scale są dobierane w taki sposób, aby średnia i wariancja danych wejściowych zostały zachowane pomiędzy dwiema kolejnymi warstwami, o ile wagi są poprawnie zainicjowane (patrz LeCun z rozkładem normalnym), a liczba jednostek wejściowych jest „wystarczająco duża”

Uwagi: Do użycia razem z inicjatorem LeCun z rozkładem normalnym.