SELU

کلاس عمومی SELU

واحد خطی نمایی مقیاس شده (SELU).

تابع فعال سازی واحد خطی نمایی مقیاس شده (SELU) به صورت زیر تعریف می شود:

  • if x > 0: return scale * x
  • if x < 0: return scale * alpha * (exp(x) - 1)

که در آن alpha و scale ثابت های از پیش تعریف شده هستند ( alpha=1.67326324 و scale=1.05070098 ).

اساساً، تابع فعال‌سازی SELU scale (> 1) را با خروجی تابع elu ضرب می‌کند تا از شیب بزرگ‌تر از یک برای ورودی‌های مثبت اطمینان حاصل کند.

مقادیر alpha و scale به گونه ای انتخاب می شوند که میانگین و واریانس ورودی ها بین دو لایه متوالی حفظ شود تا زمانی که وزن ها به درستی مقداردهی اولیه شوند (به LeCun با توزیع عادی مراجعه کنید) و تعداد واحدهای ورودی "به اندازه کافی بزرگ" باشد.

نکات: برای استفاده همراه با مقداردهی اولیه LeCun با توزیع عادی.

همچنین ببینید

سازندگان عمومی

SELU (Ops tf)
یک فعال سازی واحد خطی نمایی مقیاس شده (SELU) ایجاد می کند.

روش های عمومی

عملوند <T>
تماس (ورودی عملوند <T>)
عملیات محاسبه برای فعال سازی را دریافت می کند.

روش های ارثی

سازندگان عمومی

عمومی SELU (Ops tf)

یک فعال سازی واحد خطی نمایی مقیاس شده (SELU) ایجاد می کند.

مولفه های
tf TensorFlow Ops

روش های عمومی

فراخوان عمومی Operand <T> (ورودی Operand <T>)

عملیات محاسبه برای فعال سازی را دریافت می کند.

مولفه های
ورودی تانسور ورودی
برمی گرداند
  • عملوند برای فعال سازی