SELU

Unità lineare esponenziale scalata (SELU).

La funzione di attivazione dell'unità lineare esponenziale in scala (SELU) è definita come:

• if x > 0: return scale * x
• if x < 0: return scale * alpha * (exp(x) - 1)

dove alpha e scale sono costanti predefinite ( alpha=1.67326324 e scale=1.05070098 ).

Fondamentalmente, la funzione di attivazione SELU moltiplica scale (> 1) con l'output della funzione elu per garantire una pendenza maggiore di uno per gli input positivi.

I valori di alpha e scale sono scelti in modo che la media e la varianza degli input siano preservate tra due strati consecutivi purché i pesi siano inizializzati correttamente (vedi LeCun con distribuzione normale) e il numero di unità di input sia "abbastanza grande"

Note: Da utilizzare insieme all'inizializzatore LeCun con distribuzione normale.