Putus Sekolah Alfa

@frozen
public struct AlphaDropout<Scalar> : ParameterlessLayer where Scalar : TensorFlowFloatingPoint

Lapisan putus sekolah Alpha.

Alpha Dropout adalah Dropout yang menjaga mean dan varians input ke nilai aslinya, untuk memastikan properti normalisasi diri bahkan setelah dropout ini. Alpha Dropout cocok untuk Scaled Exponential Linear Units dengan mengatur aktivasi secara acak ke nilai saturasi negatif.

Sumber: Jaringan Neural Normalisasi Mandiri: https://arxiv.org/abs/1706.02515

  • Pernyataan

    public typealias TangentVector = EmptyTangentVector
  • Pernyataan

    @noDerivative
    public let probability: Double
  • Menginisialisasi lapisan AlphaDropout dengan probability yang dapat dikonfigurasi.

    Prasyarat

    probabilitas harus bernilai antara 0 dan 1 (inklusif).

    Pernyataan

    public init(probability: Double)

    Parameter

    probability

    Kemungkinan sebuah node putus.

  • Menambahkan gangguan pada input selama pelatihan, dan tidak boleh dilakukan selama inferensi.

    Pernyataan

    @differentiable
    public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>