public class RAdam<Model: Differentiable>: Optimizer
where
Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
& KeyPathIterable,
Model.TangentVector.VectorSpaceScalar == Float
रेडम अनुकूलक।
रेक्टिफाइड एडम, एडम का एक प्रकार जो अनुकूली सीखने की दर भिन्नता को सुधारने के लिए एक शब्द पेश करता है।
घोषणा
public typealias Model = Model
सीखने की दर.
घोषणा
public var learningRate: Float
ग्रेडिएंट्स के पहले और दूसरे क्षण की गणना करने के लिए उपयोग किया जाने वाला गुणांक।
घोषणा
public var beta1: Float
ग्रेडिएंट्स के पहले और दूसरे क्षण की गणना करने के लिए उपयोग किया जाने वाला गुणांक।
घोषणा
public var beta2: Float
संख्यात्मक स्थिरता में सुधार के लिए हर में एक छोटा अदिश जोड़ा गया।
घोषणा
public var epsilon: Float
सीखने की दर में गिरावट.
घोषणा
public var decay: Float
वर्तमान कदम.
घोषणा
public var step: Int
वज़न के पहले क्षण.
घोषणा
public var firstMoments: Model.TangentVector
वज़न के दूसरे क्षण.
घोषणा
public var secondMoments: Model.TangentVector
घोषणा
public init( for model: __shared Model, learningRate: Float = 1e-3, beta1: Float = 0.9, beta2: Float = 0.999, epsilon: Float = 1e-8, decay: Float = 0 )
घोषणा
public required init(copying other: RAdam, to device: Device)