ELU

واحد خطی نمایی

واحد خطی نمایی (ELU) با alpha > 0 برابر است با:

x اگر x > 0 و alpha * (exp(x) - 1) اگر x < 0 .

فراپارامتر alpha ELU مقداری را که یک ELU برای ورودی های خالص منفی اشباع می کند، کنترل می کند. ELU ها اثر گرادیان ناپدید شدن را کاهش می دهند.

ELU ها دارای مقادیر منفی هستند که میانگین فعال سازی ها را به صفر نزدیک می کند. فعال‌سازی‌های میانگین که نزدیک‌تر به صفر هستند، یادگیری سریع‌تری را امکان‌پذیر می‌کنند زیرا گرادیان را به گرادیان طبیعی نزدیک‌تر می‌کنند. وقتی آرگومان کوچکتر می شود، ELU ها به مقدار منفی اشباع می شوند. اشباع به معنای مشتق کوچکی است که تغییرات و اطلاعات منتشر شده به لایه بعدی را کاهش می دهد.

مثال استفاده:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);