ELU

หน่วยเชิงเส้นเอ็กซ์โปเนนเชียล

หน่วยเชิงเส้นเอ็กซ์โปเนนเชียล (ELU) ที่มี alpha > 0 คือ:

x ถ้า x > 0 และ alpha * (exp(x) - 1) ถ้า x < 0

ไฮเปอร์พารามิเตอร์ alpha ของ ELU จะควบคุมค่าที่ ELU อิ่มตัวสำหรับอินพุตสุทธิที่เป็นลบ ELUs ลดเอฟเฟกต์การไล่ระดับสีที่หายไป

ELU มีค่าเป็นลบซึ่งทำให้ค่าเฉลี่ยของการเปิดใช้งานเข้าใกล้ศูนย์มากขึ้น การเปิดใช้งานค่าเฉลี่ยที่ใกล้กับศูนย์จะทำให้การเรียนรู้เร็วขึ้น เนื่องจากจะทำให้การไล่ระดับสีเข้าใกล้การไล่ระดับสีตามธรรมชาติมากขึ้น ELU จะอิ่มตัวไปเป็นค่าลบเมื่ออาร์กิวเมนต์มีขนาดเล็กลง ความอิ่มตัวหมายถึงอนุพันธ์ขนาดเล็กที่ลดการแปรผันและข้อมูลที่ถูกเผยแพร่ไปยังเลเยอร์ถัดไป

ตัวอย่างการใช้งาน:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);