टेंसरफ़्लो:: ऑप्स:: रिसोर्सस्पार्सएप्लाईसेंटर्डआरएमएसपीप्रॉप
#include <training_ops.h>केन्द्रित RMSProp एल्गोरिथम के अनुसार '*var' को अपडेट करें।
सारांश
केंद्रित आरएमएसप्रॉप एल्गोरिथ्म सामान्यीकरण के लिए केंद्रित दूसरे क्षण (यानी, विचरण) के अनुमान का उपयोग करता है, नियमित आरएमएसप्रॉप के विपरीत, जो (अकेंद्रित) दूसरे क्षण का उपयोग करता है। यह अक्सर प्रशिक्षण में मदद करता है, लेकिन गणना और स्मृति के मामले में थोड़ा अधिक महंगा है।
ध्यान दें कि इस एल्गोरिथ्म के सघन कार्यान्वयन में, mg, ms, और mom अपडेट होंगे, भले ही ग्रेड शून्य हो, लेकिन इस विरल कार्यान्वयन में, mg, ms, और mom उन पुनरावृत्तियों में अपडेट नहीं होंगे, जिनके दौरान ग्रेड शून्य है।
माध्य_वर्ग = क्षय * माध्य_वर्ग + (1-क्षय) * ग्रेडिएंट ** 2 माध्य_ग्रेड = क्षय * माध्य_ग्रेड + (1-क्षय) * ग्रेडिएंट डेल्टा = सीखना_दर * ग्रेडिएंट / वर्ग (मीन_स्क्वायर + एप्सिलॉन - माध्य_ग्रेड ** 2)
एमएस <- आरएचओ * एमएस_{टी-1} + (1-आरएचओ) * ग्रेड * ग्रेड माँ <- गति * माँ_{टी-1} + एलआर * ग्रेड / एसक्यूआरटी (एमएस + एप्सिलॉन) वर <- वर - माँ
तर्क:
- स्कोप: एक स्कोप ऑब्जेक्ट
- var: एक वेरिएबल() से होना चाहिए।
- mg: एक वेरिएबल() से होना चाहिए।
- एमएस: एक वेरिएबल() से होना चाहिए।
- माँ: एक वेरिएबल() से होना चाहिए।
- एलआर: स्केलिंग कारक। एक अदिश राशि होनी चाहिए.
- आरएचओ: क्षय दर। एक अदिश राशि होनी चाहिए.
- एप्सिलॉन: रिज शब्द। एक अदिश राशि होनी चाहिए.
- ग्रेड: ग्रेडिएंट.
- सूचकांक: var, ms और mom के पहले आयाम में सूचकांकों का एक वेक्टर।
वैकल्पिक विशेषताएँ (देखें Attrs ):
- उपयोग_लॉकिंग: यदि
True, तो var, mg, ms और mom टेंसर का अद्यतनीकरण लॉक द्वारा सुरक्षित है; अन्यथा व्यवहार अपरिभाषित है, लेकिन कम विवाद प्रदर्शित कर सकता है।
रिटर्न:
- बनाया गया
Operation
निर्माता और विध्वंसक | |
|---|---|
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices) | |
ResourceSparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs) |
सार्वजनिक गुण | |
|---|---|
operation | |
सार्वजनिक समारोह | |
|---|---|
operator::tensorflow::Operation () const | |
सार्वजनिक स्थैतिक कार्य | |
|---|---|
UseLocking (bool x) | |
संरचनाएँ | |
|---|---|
| टेंसरफ्लो:: ऑप्स:: रिसोर्सस्पार्सएप्लाईसेंटर्डआरएमएसपीप्रॉप:: एटर्स | resourceSparseApplyCenteredRMSProp के लिए वैकल्पिक विशेषता सेटर। |
सार्वजनिक गुण
संचालन
Operation operation
सार्वजनिक समारोह
रिसोर्सस्पार्सएप्लाईसेंटर्डआरएमएसपीप्रॉप
ResourceSparseApplyCenteredRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input mg, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices )
रिसोर्सस्पार्सएप्लाईसेंटर्डआरएमएसपीप्रॉप
ResourceSparseApplyCenteredRMSProp( const ::tensorflow::Scope & scope, ::tensorflow::Input var, ::tensorflow::Input mg, ::tensorflow::Input ms, ::tensorflow::Input mom, ::tensorflow::Input lr, ::tensorflow::Input rho, ::tensorflow::Input momentum, ::tensorflow::Input epsilon, ::tensorflow::Input grad, ::tensorflow::Input indices, const ResourceSparseApplyCenteredRMSProp::Attrs & attrs )
ऑपरेटर::टेन्सरफ़्लो::ऑपरेशन
operator::tensorflow::Operation() const
सार्वजनिक स्थैतिक कार्य
लॉकिंग का उपयोग करें
Attrs UseLocking( bool x )