ELU

יחידה לינארית מעריכית.

היחידה הלינארית המעריכית (ELU) עם alpha > 0 היא:

x אם x > 0 alpha * (exp(x) - 1) אם x < 0 .

alpha ההיפרפרמטר ELU שולט בערך שאליו רווי ELU עבור תשומות נטו שליליות. ELUs מפחיתים את אפקט השיפוע הנעלם.

ל-ELUs יש ערכים שליליים שדוחפים את ממוצע ההפעלה קרוב יותר לאפס. הפעלות ממוצעות הקרובות יותר לאפס מאפשרות למידה מהירה יותר שכן הן מקרבות את השיפוע לשיפוע הטבעי. ELUs רוויים לערך שלילי כאשר הארגומנט הולך וקטן. רוויה פירושה נגזרת קטנה שמקטינה את השונות ואת המידע שמופץ לשכבה הבאה.

שימוש לדוגמה:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);