SELU

Đơn vị tuyến tính hàm mũ (SELU).

Hàm kích hoạt Đơn vị tuyến tính hàm mũ (SELU) được định nghĩa là:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

trong đó alpha và scale là các hằng số được xác định trước ( alpha=1.67326324 và scale=1.05070098 ).

Về cơ bản, hàm kích hoạt SELU nhân scale (> 1) với đầu ra của hàm elu để đảm bảo độ dốc lớn hơn 1 đối với đầu vào dương.

Các giá trị của alpha và scale được chọn sao cho giá trị trung bình và phương sai của đầu vào được giữ nguyên giữa hai lớp liên tiếp miễn là trọng số được khởi tạo chính xác (xem LeCun với Phân phối chuẩn) và số lượng đơn vị đầu vào "đủ lớn"

Lưu ý: Được sử dụng cùng với trình khởi tạo LeCun với Phân phối chuẩn.