ELU

Satuan linier eksponensial.

Satuan linier eksponensial (ELU) dengan alpha > 0 adalah:

x jika x > 0 dan alpha * (exp(x) - 1) jika x < 0 .

Hyperparameter alpha ELU mengontrol nilai jenuh ELU untuk input bersih negatif. ELU mengurangi efek gradien hilang.

ELU memiliki nilai negatif yang mendorong rata-rata aktivasi mendekati nol. Aktivasi rata-rata yang mendekati nol memungkinkan pembelajaran lebih cepat karena membawa gradien lebih dekat ke gradien alami. ELU jenuh ke nilai negatif ketika argumennya semakin kecil. Saturasi berarti turunan kecil yang mengurangi variasi dan informasi yang disebarkan ke lapisan berikutnya.

Contoh Penggunaan:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);