РМСПроп 

public class RMSProp<Model: Differentiable>: Optimizer
where
  Model.TangentVector: VectorProtocol & PointwiseMultiplicative
    & ElementaryFunctions & KeyPathIterable,
  Model.TangentVector.VectorSpaceScalar == Float

Оптимизатор RMSProp.

Реализует алгоритм оптимизации RMSProp. RMSProp — это форма стохастического градиентного спуска, при которой градиенты делятся на скользящее среднее их недавней величины. RMSProp сохраняет скользящее среднее квадрата градиента для каждого веса.

Ссылки:

  • Декларация 

    public typealias Model = Model

  • Скорость обучения.

    Декларация 

    public var learningRate: Float

  • Коэффициент затухания градиентного скользящего среднего.

    Декларация 

    public var rho: Float

  • К знаменателю добавлен небольшой скаляр для улучшения числовой стабильности.

    Декларация 

    public var epsilon: Float

  • Скорость обучения снижается.

    Декларация 

    public var decay: Float

  • Счет шагов.

    Декларация 

    public var step: Float

  • Альфа-значения для всех дифференцируемых переменных модели.

    Декларация 

    public var alpha: Model.TangentVector

  • Создает экземпляр для model .

    Декларация 

    public init(
  for model: __shared Model,
  learningRate: Float = 1e-3,
  rho: Float = 0.9,
  epsilon: Float = 1e-8,
  decay: Float = 0
)

    Параметры

    learningRate

    Скорость обучения. Значение по умолчанию — 1e-3 .

    rho

    Коэффициент затухания градиентного скользящего среднего. Значение по умолчанию — 0.9 .

    epsilon

    К знаменателю добавлен небольшой скаляр для улучшения числовой стабильности. Значение по умолчанию — 1e-8 .

    decay

    Скорость обучения снижается. Значение по умолчанию — 0 .

  • Декларация 

    public func update(_ model: inout Model, along direction: Model.TangentVector)

  • Декларация 

    public required init(copying other: RMSProp, to device: Device)