SELU

หน่วยเชิงเส้นเอ็กซ์โพเนนเชียลแบบปรับขนาด (SELU)

ฟังก์ชันการเปิดใช้งาน Scaled Exponential Linear Unit (SELU) ถูกกำหนดเป็น:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

โดยที่ alpha และ scale เป็นค่าคงที่ที่กำหนดไว้ล่วงหน้า ( alpha=1.67326324 และ scale=1.05070098 )

โดยพื้นฐานแล้ว ฟังก์ชันการเปิดใช้งาน SELU จะคูณ scale (> 1) กับเอาท์พุตของฟังก์ชัน elu เพื่อให้แน่ใจว่าความชันจะมากกว่าหนึ่งสำหรับอินพุตที่เป็นบวก

มีการเลือกค่า alpha และ scale เพื่อรักษาค่าเฉลี่ยและความแปรปรวนของอินพุตระหว่างสองชั้นติดต่อกันตราบใดที่น้ำหนักเริ่มต้นอย่างถูกต้อง (ดู LeCun พร้อมการกระจายแบบปกติ) และจำนวนหน่วยอินพุต "ใหญ่เพียงพอ"

หมายเหตุ: เพื่อใช้ร่วมกับเครื่องมือเริ่มต้น LeCun พร้อมการแจกแจงแบบปกติ