टेंसरफ़्लो:: ऑप्स:: रिसोर्सएप्लाईसेंटर्डआरएमएसपीप्रॉप

केन्द्रित RMSProp एल्गोरिथम के अनुसार '*var' को अपडेट करें।

सारांश

केंद्रित आरएमएसप्रॉप एल्गोरिथ्म सामान्यीकरण के लिए केंद्रित दूसरे क्षण (यानी, विचरण) के अनुमान का उपयोग करता है, नियमित आरएमएसप्रॉप के विपरीत, जो (अकेंद्रित) दूसरे क्षण का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।

ध्यान दें कि इस एल्गोरिथ्म के सघन कार्यान्वयन में, mg, ms, और mom अपडेट होंगे, भले ही ग्रेड शून्य हो, लेकिन इस विरल कार्यान्वयन में, mg, ms, और mom उन पुनरावृत्तियों में अपडेट नहीं होंगे, जिनके दौरान ग्रेड शून्य है।

माध्य_वर्ग = क्षय * माध्य_वर्ग + (1-क्षय) * ग्रेडिएंट ** 2 माध्य_ग्रेड = क्षय * माध्य_ग्रेड + (1-क्षय) * ग्रेडिएंट

डेल्टा = सीखने की दर * ग्रेडिएंट / वर्ग (मीन_स्क्वायर + एप्सिलॉन - मीन_ग्रेड ** 2)

एमजी <- आरएचओ * एमजी_{टी-1} + (1-आरएचओ) * ग्रेड एमएस <- आरएचओ * एमएस_{टी-1} + (1-आरएचओ) * ग्रेड * ग्रेड मॉम <- मोमेंटम * मॉम_{टी-1 } + एलआर * ग्रेड / एसक्यूआरटी (एमएस - एमजी * एमजी + एप्सिलॉन) वर <- वर - माँ

तर्क:

• स्कोप: एक स्कोप ऑब्जेक्ट
• var: एक वेरिएबल() से होना चाहिए।
• mg: एक वेरिएबल() से होना चाहिए।
• एमएस: एक वेरिएबल() से होना चाहिए।
• माँ: एक वेरिएबल() से होना चाहिए।
• एलआर: स्केलिंग कारक। एक अदिश राशि होनी चाहिए.
• आरएचओ: क्षय दर। एक अदिश राशि होनी चाहिए.
• एप्सिलॉन: रिज शब्द। एक अदिश राशि होनी चाहिए.
• ग्रेड: ग्रेडिएंट.

वैकल्पिक विशेषताएँ (देखें Attrs ):

• उपयोग_लॉकिंग: यदि True , तो var, mg, ms और mom टेंसर का अद्यतनीकरण लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद प्रदर्शित कर सकता है।

रिटर्न:

• बनाया गया Operation

सार्वजनिक गुण

Operation operation

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad
)

 ResourceApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  const ResourceApplyCenteredRMSProp::Attrs & attrs
)

 operator::tensorflow::Operation() const 

Attrs UseLocking(
  bool x
)