Toplu Norm

@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint

Bir toplu normalleştirme katmanı.

Her grupta önceki katmanın aktivasyonlarını normalleştirir, yani ortalama aktivasyonu 0 yakın ve aktivasyon standart sapmasını 1 yakın tutacak bir dönüşüm uygular.

Referans: Toplu Normalleştirme: Dahili Ortak Değişken Kaymasını Azaltarak Derin Ağ Eğitimini Hızlandırma .

  • Özellik boyutu.

    beyan

    @noDerivative
    public let axis: Int
  • Koşu ortalaması ve koşu varyansı için momentum.

    beyan

    @noDerivative
    public let momentum: Scalar
  • Beta olarak da bilinen ofset değeri.

    beyan

    public var offset: Tensor<Scalar>
  • Gama olarak da bilinen ölçek değeri.

    beyan

    public var scale: Tensor<Scalar>
  • Varyans epsilon değeri.

    beyan

    @noDerivative
    public let epsilon: Scalar
  • Koşu ortalaması.

    beyan

    @noDerivative
    public var runningMean: Parameter<Scalar>
  • Çalışan varyans.

    beyan

    @noDerivative
    public var runningVariance: Parameter<Scalar>
  • Toplu normalleştirme katmanı oluşturur.

    beyan

    public init(
      axis: Int,
      momentum: Scalar,
      offset: Tensor<Scalar>,
      scale: Tensor<Scalar>,
      epsilon: Scalar,
      runningMean: Tensor<Scalar>,
      runningVariance: Tensor<Scalar>
    )

    Parametreler

    axis

    Normalleştirilmemesi gereken eksen (tipik olarak özellik ekseni).

    momentum

    Hareketli ortalamanın momentumu.

    offset

    Normalleştirilmiş tensöre eklenecek ofset.

    scale

    Normalleştirilmiş tensörün çarpılacağı ölçek.

    epsilon

    Sayısal kararlılığı artırmak için paydaya küçük bir skaler eklenir.

    runningMean

    Koşu ortalaması.

    runningVariance

    Çalışan varyans.

  • Katmanın verilen girişe uygulanmasıyla elde edilen çıktıyı döndürür.

    beyan

    @differentiable
    public func forward(_ input: Tensor<Scalar>) -> Tensor<Scalar>

    Parametreler

    input

    Katmanın girişi.

    Dönüş Değeri

    Çıktı.

  • Toplu normalleştirme katmanı oluşturur.

    beyan

    public init(
      featureCount: Int,
      axis: Int = -1,
      momentum: Scalar = 0.99,
      epsilon: Scalar = 0.001
    )

    Parametreler

    featureCount

    Özellik sayısı.

    axis

    Normalleştirilmesi gereken eksen (genellikle özellikler ekseni).

    momentum

    Hareketli ortalamanın momentumu.

    epsilon

    Sayısal kararlılığı artırmak için paydaya küçük bir skaler eklenir.