SELU

Unité linéaire exponentielle mise à l'échelle (SELU).

La fonction d'activation de l'unité linéaire exponentielle à l'échelle (SELU) est définie comme :

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

où alpha et scale sont des constantes prédéfinies ( alpha=1.67326324 et scale=1.05070098 ).

Fondamentalement, la fonction d'activation SELU multiplie scale (> 1) avec la sortie de la fonction elu pour garantir une pente supérieure à un pour les entrées positives.

Les valeurs d' alpha et scale sont choisies de manière à ce que la moyenne et la variance des entrées soient préservées entre deux couches consécutives tant que les poids sont initialisés correctement (voir LeCun avec distribution normale) et que le nombre d'unités d'entrée est "assez grand".

Remarques : à utiliser avec l'initialiseur LeCun avec distribution normale.