@frozen
public struct BatchNorm<Scalar> : Layer where Scalar : TensorFlowFloatingPoint
एक बैच सामान्यीकरण परत.
प्रत्येक बैच में पिछली परत की सक्रियता को सामान्य करता है, यानी एक परिवर्तन लागू करता है जो औसत सक्रियण को 0
के करीब और सक्रियण मानक विचलन को 1
के करीब बनाए रखता है।
संदर्भ: बैच सामान्यीकरण: आंतरिक सहसंयोजक बदलाव को कम करके गहन नेटवर्क प्रशिक्षण में तेजी लाना ।
सुविधा आयाम.
घोषणा
@noDerivative public let axis: Int
रनिंग माध्य और रनिंग विचरण का संवेग।
घोषणा
@noDerivative public let momentum: Scalar
ऑफसेट मान, जिसे बीटा भी कहा जाता है।
घोषणा
public var offset: Tensor<Scalar>
स्केल मान, जिसे गामा भी कहा जाता है।
घोषणा
public var scale: Tensor<Scalar>
विचरण ईपीएसलॉन मान.
घोषणा
@noDerivative public let epsilon: Scalar
दौड़ने का मतलब.
घोषणा
@noDerivative public var runningMean: Parameter<Scalar>
चल रहा विचरण.
घोषणा
@noDerivative public var runningVariance: Parameter<Scalar>
एक बैच सामान्यीकरण परत बनाता है।
घोषणा
पैरामीटर
axis
वह अक्ष जिसे सामान्यीकृत नहीं किया जाना चाहिए (आमतौर पर फ़ीचर अक्ष)।
momentum
चलती औसत के लिए गति.
offset
सामान्यीकृत टेंसर में जोड़ा जाने वाला ऑफसेट।
scale
सामान्यीकृत टेंसर को गुणा करने का पैमाना।
epsilon
संख्यात्मक स्थिरता में सुधार के लिए हर में एक छोटा अदिश जोड़ा गया।
runningMean
दौड़ने का मतलब.
runningVariance
चल रहा विचरण.
एक बैच सामान्यीकरण परत बनाता है।
घोषणा
public init( featureCount: Int, axis: Int = -1, momentum: Scalar = 0.99, epsilon: Scalar = 0.001 )
पैरामीटर
featureCount
सुविधाओं की संख्या.
axis
वह अक्ष जिसे सामान्यीकृत किया जाना चाहिए (आमतौर पर सुविधाएँ अक्ष)।
momentum
चलती औसत के लिए गति.
epsilon
संख्यात्मक स्थिरता में सुधार के लिए हर में एक छोटा अदिश जोड़ा गया।