ELU

Wykładnicza jednostka liniowa.

Wykładnicza jednostka liniowa (ELU) z alpha > 0 to:

x jeśli x > 0 i alpha * (exp(x) - 1) jeśli x < 0 .

Hiperparametr ELU alpha kontroluje wartość, do której nasyca się ELU dla ujemnych wejść netto. ELU zmniejszają efekt zanikającego gradientu.

Jednostki ELU mają wartości ujemne, co przybliża średnią aktywacji do zera. Aktywacje średnie bliższe zera umożliwiają szybsze uczenie się, ponieważ przybliżają gradient do gradientu naturalnego. Jednostki ELU nasycają się do wartości ujemnej, gdy argument staje się mniejszy. Nasycenie oznacza małą pochodną, ​​która zmniejsza zmienność i informacja jest propagowana do następnej warstwy.

Przykładowe użycie:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);