सार्वजनिक वर्ग एडम
ऑप्टिमाइज़र जो एडम एल्गोरिथम को लागू करता है।
एडम ऑप्टिमाइज़ेशन एक स्टोकेस्टिक ग्रेडिएंट डिसेंट विधि है जो पहले-क्रम और दूसरे-क्रम के क्षणों के अनुकूली अनुमान पर आधारित है।
किंगमा एट अल., 2014 के अनुसार, यह विधि "कम्प्यूटेशनल रूप से कुशल है, इसमें मेमोरी की बहुत कम आवश्यकता है, ग्रेडिएंट्स के विकर्ण रीस्केलिंग के लिए अपरिवर्तनीय है, और उन समस्याओं के लिए उपयुक्त है जो डेटा/पैरामीटर के संदर्भ में बड़ी हैं"।
@ किंग्मा एट अल देखें, 2014, एडम: स्टोचैस्टिक ऑप्टिमाइज़ेशन के लिए एक विधि ।
स्थिरांक
| तैरना | बीटा_ONE_DEFAULT | |
| तैरना | बीटा_TWO_डिफॉल्ट | |
| तैरना | ईपीएसआईएलओएन_डिफॉल्ट | |
| डोरी | पहला_पल | |
| तैरना | LEARNING_RATE_DEFAULT | |
| डोरी | दूसरा_पल |
विरासत में मिले स्थिरांक
सार्वजनिक निर्माता
सार्वजनिक तरीके
| स्थिर <T टीटाइप का विस्तार करता है > ऑप | createAdamMinimize ( स्कोप स्कोप, ऑपरेंड <T> हानि, फ्लोट लर्निंगरेट, फ्लोट बीटावन, फ्लोट बीटाटू, फ्लोट एप्सिलॉन, विकल्प... विकल्प) ऐसा ऑपरेशन बनाता है जो नुकसान को कम करता है |
| डोरी | गेटऑप्टिमाइज़रनाम () अनुकूलक का नाम प्राप्त करें. |
| डोरी | स्ट्रिंग () |
विरासत में मिली विधियाँ
स्थिरांक
सार्वजनिक स्थैतिक अंतिम फ़्लोट BETA_ONE_DEFAULT
स्थिर मान: 0.9
सार्वजनिक स्थैतिक अंतिम फ़्लोट BETA_TWO_DEFAULT
स्थिर मान: 0.999
सार्वजनिक स्थैतिक अंतिम फ़्लोट EPSILON_DEFAULT
स्थिर मान: 1.0E-8
सार्वजनिक स्थैतिक अंतिम स्ट्रिंग FIRST_MOMENT
स्थिर मान: "एम"
सार्वजनिक स्थैतिक अंतिम फ़्लोट LEARNING_RATE_DEFAULT
स्थिर मान: 0.001
सार्वजनिक स्थैतिक अंतिम स्ट्रिंग SECOND_MOMENT
स्थिर मान: "v"
सार्वजनिक निर्माता
सार्वजनिक एडम ( ग्राफ़ ग्राफ़, फ़्लोट लर्निंग रेट)
एक एडम ऑप्टिमाइज़र बनाता है
पैरामीटर
| ग्राफ | टेंसरफ़्लो ग्राफ़ |
|---|---|
| सीखने की दर | सीखने की दर |
सार्वजनिक एडम ( ग्राफ ग्राफ, फ्लोट लर्निंगरेट, फ्लोट बीटावन, फ्लोट बीटाटू, फ्लोट एप्सिलॉन)
एक एडम ऑप्टिमाइज़र बनाता है
पैरामीटर
| ग्राफ | टेंसरफ़्लो ग्राफ़ |
|---|---|
| सीखने की दर | सीखने की दर |
| बीटावन | पहले क्षण के अनुमान के लिए घातांकीय क्षय दर। डिफ़ॉल्ट 0.9. |
| बीटाटू | दूसरे क्षण के अनुमान के लिए घातीय क्षय दर। डिफ़ॉल्ट 0.999 है। |
| एप्सिलॉन | संख्यात्मक स्थिरता के लिए एक छोटा सा स्थिरांक. यह एप्सिलॉन किंग्मा और बा पेपर में "एप्सिलॉन हैट" है (धारा 2.1 से ठीक पहले सूत्र में), पेपर के एल्गोरिदम 1 में एप्सिलॉन नहीं। 1e-8 पर डिफ़ॉल्ट। |
सार्वजनिक एडम ( ग्राफ़ ग्राफ़, स्ट्रिंग नाम, फ़्लोट लर्निंग रेट)
एक एडम ऑप्टिमाइज़र बनाता है
पैरामीटर
| ग्राफ | टेंसरफ़्लो ग्राफ़ |
|---|---|
| नाम | ऑप्टिमाइज़र नाम, डिफ़ॉल्ट रूप से "एडम" है |
| सीखने की दर | सीखने की दर |
सार्वजनिक एडम ( ग्राफ़ ग्राफ़, स्ट्रिंग नाम, फ़्लोट लर्निंगरेट, फ़्लोट बीटावन, फ़्लोट बीटाटू, फ़्लोट एप्सिलॉन)
एक एडम ऑप्टिमाइज़र बनाता है
पैरामीटर
| ग्राफ | टेंसरफ़्लो ग्राफ़ |
|---|---|
| नाम | ऑप्टिमाइज़र नाम, डिफ़ॉल्ट रूप से "एडम" है |
| सीखने की दर | सीखने की दर |
| बीटावन | पहले क्षण के अनुमान के लिए घातांकीय क्षय दर। डिफ़ॉल्ट 0.9. |
| बीटाटू | दूसरे क्षण के अनुमान के लिए घातीय क्षय दर। डिफ़ॉल्ट 0.999 है। |
| एप्सिलॉन | संख्यात्मक स्थिरता के लिए एक छोटा सा स्थिरांक. यह एप्सिलॉन किंग्मा और बा पेपर में "एप्सिलॉन हैट" है (धारा 2.1 से ठीक पहले सूत्र में), पेपर के एल्गोरिदम 1 में एप्सिलॉन नहीं। 1e-8 पर डिफ़ॉल्ट। |
सार्वजनिक तरीके
सार्वजनिक स्थैतिक Op createAdamMinimize ( स्कोप स्कोप, ऑपरेंड <T> हानि, फ्लोट लर्निंगरेट, फ्लोट बीटावन, फ्लोट बीटाटू, फ्लोट एप्सिलॉन, विकल्प... विकल्प)
ऐसा ऑपरेशन बनाता है जो नुकसान को कम करता है
पैरामीटर
| दायरा | TensorFlow दायरा |
|---|---|
| नुकसान | नुकसान को कम करना |
| सीखने की दर | सीखने की दर |
| बीटावन | पहले क्षण के अनुमान के लिए घातांकीय क्षय दर। |
| बीटाटू | दूसरे क्षण के अनुमान के लिए घातीय क्षय दर। |
| एप्सिलॉन | संख्यात्मक स्थिरता के लिए एक छोटा सा स्थिरांक. यह एप्सिलॉन किंग्मा और बा पेपर में "एप्सिलॉन हैट" है (धारा 2.1 से ठीक पहले सूत्र में), पेपर के एल्गोरिदम 1 में एप्सिलॉन नहीं। |
| विकल्प | वैकल्पिक अनुकूलक विशेषताएँ |
रिटर्न
- वह ऑपरेशन जो नुकसान को कम करता है
फेंकता
| अवैध तर्क अपवाद | यदि दायरा ग्राफ़ का प्रतिनिधित्व नहीं करता है |
|---|
सार्वजनिक स्ट्रिंग getOptimizerName ()
अनुकूलक का नाम प्राप्त करें.
रिटर्न
- अनुकूलक नाम.