public class AdaMax<Model: Differentiable & KeyPathIterable>: Optimizer
where
Model.TangentVector: VectorProtocol & PointwiseMultiplicative & ElementaryFunctions
& KeyPathIterable,
Model.TangentVector.VectorSpaceScalar == Float
অ্যাডাম্যাক্স অপ্টিমাইজার।
অসীম-আদর্শের উপর ভিত্তি করে আদমের একটি রূপ।
রেফারেন্স: "অ্যাডাম - স্টোকাস্টিক অপ্টিমাইজেশনের জন্য একটি পদ্ধতি" এর বিভাগ 7
ঘোষণা
public typealias Model = Model
শেখার হার।
ঘোষণা
public var learningRate: Float
ক্ষয়ের হার গ্রেডিয়েন্টের প্রথম মুহূর্ত (গড়) অনুমান করতে ব্যবহৃত হয়।
ঘোষণা
public var beta1: Float
ক্ষয় হার সূচকীয়ভাবে ওজনযুক্ত অসীমতার আদর্শ অনুমান করতে ব্যবহৃত হয়।
ঘোষণা
public var beta2: Float
সাংখ্যিক স্থিতিশীলতা উন্নত করতে হরটিতে একটি ছোট স্কেলার যোগ করা হয়েছে।
ঘোষণা
public var epsilon: Float
শেখার হার ক্ষয়।
ঘোষণা
public var decay: Float
ধাপ গণনা.
ঘোষণা
public var step: Int
ওজন প্রথম মুহূর্ত.
ঘোষণা
public var firstMoments: Model.TangentVector
ওজনের সূচকীয়ভাবে ওজনযুক্ত অসীমতার আদর্শ।
ঘোষণা
public var infinityNorm: Model.TangentVector
দ্রষ্টব্য: ডিফল্ট পরামিতিগুলি কাগজে প্রদত্ত অনুসরণ করে।
ঘোষণা
public init( for model: __shared Model, learningRate: Float = 0.002, beta1: Float = 0.9, beta2: Float = 0.999, epsilon: Float = 1e-8, decay: Float = 0 )
ঘোষণা
public required init(copying other: AdaMax, to device: Device)