ELU

Đơn vị tuyến tính hàm mũ.

Đơn vị tuyến tính mũ (ELU) có alpha > 0 là:

x nếu x > 0 và alpha * (exp(x) - 1) nếu x < 0 .

Siêu tham số alpha của ELU kiểm soát giá trị mà ELU bão hòa đối với đầu vào mạng âm. ELU làm giảm hiệu ứng chuyển màu biến mất.

ELU có giá trị âm đẩy giá trị trung bình của các lần kích hoạt gần bằng 0. Kích hoạt trung bình gần bằng 0 cho phép học nhanh hơn vì chúng đưa độ dốc gần với độ dốc tự nhiên. ELU bão hòa đến giá trị âm khi đối số nhỏ hơn. Độ bão hòa có nghĩa là một đạo hàm nhỏ làm giảm sự biến đổi và thông tin được truyền sang lớp tiếp theo.

Cách sử dụng ví dụ:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);