ELU

Unità lineare esponenziale.

L'unità lineare esponenziale (ELU) con alpha > 0 è:

x se x > 0 e alpha * (exp(x) - 1) se x < 0 .

L'iperparametro ELU alpha controlla il valore al quale un ELU si satura per input netti negativi. Le ELU diminuiscono l'effetto del gradiente di scomparsa.

Gli ELU hanno valori negativi che spingono la media delle attivazioni più vicino allo zero. Le attivazioni medie più vicine allo zero consentono un apprendimento più rapido poiché avvicinano il gradiente al gradiente naturale. Gli ELU si saturano su un valore negativo quando l'argomento diminuisce. Per saturazione si intende una piccola derivata che diminuisce la variazione e l'informazione che si propaga allo strato successivo.

Esempio di utilizzo:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);