ELU

Unité linéaire exponentielle.

L'unité linéaire exponentielle (ELU) avec alpha > 0 est :

x si x > 0 et alpha * (exp(x) - 1) si x < 0 .

L'hyperparamètre ELU alpha contrôle la valeur à laquelle une ELU sature pour les entrées nettes négatives. Les ELU diminuent l'effet de gradient de disparition.

Les ELU ont des valeurs négatives, ce qui rapproche la moyenne des activations de zéro. Les activations moyennes plus proches de zéro permettent un apprentissage plus rapide car elles rapprochent le gradient du gradient naturel. Les ELU saturent jusqu'à une valeur négative lorsque l'argument devient plus petit. La saturation signifie une petite dérivée qui diminue la variation et les informations propagées à la couche suivante.

Exemple d'utilisation :

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);