ELU

指数線形単位。

alpha > 0の指数線形単位 (ELU) は次のとおりです。

x > 0の場合はx 、 x < 0の場合はalpha * (exp(x) - 1) 。

ELU ハイパーパラメータalpha 、負のネット入力に対して ELU が飽和する値を制御します。 ELU は、勾配消失効果を軽減します。

ELU は負の値を持ち、アクティベーションの平均がゼロに近づきます。平均活性化がゼロに近づくと、勾配が自然な勾配に近づくため、より高速な学習が可能になります。 ELU は、引数が小さくなると負の値に飽和します。飽和とは、変動と次の層に伝播される情報を減少させる小さな導関数を意味します。

使用例:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);