ELU

Экспоненциальная линейная единица.

Экспоненциальная линейная единица (ELU) с alpha > 0 равна:

x , если x > 0 и alpha * (exp(x) - 1) если x < 0 .

Гиперпараметр ELU « alpha управляет значением, до которого ELU насыщается для отрицательных чистых входных данных. ELU уменьшают эффект исчезающего градиента.

ELU имеют отрицательные значения, что приближает среднее значение активаций к нулю. Средние активации, близкие к нулю, обеспечивают более быстрое обучение, поскольку они приближают градиент к естественному градиенту. ELU насыщаются до отрицательного значения, когда аргумент становится меньше. Насыщение означает небольшую производную, которая уменьшает вариацию и информацию, которая передается на следующий уровень.

Пример использования:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);