SparseApplyCenteredRmsProp

کلاس نهایی عمومی SparseApplyCenteredRmsProp

"*var" را مطابق با الگوریتم RMSProp متمرکز به روز کنید.

الگوریتم RMSProp متمرکز از تخمین لحظه دوم متمرکز (یعنی واریانس) برای عادی سازی استفاده می کند، برخلاف RMSProp معمولی که از لحظه دوم (غیر مرکزی) استفاده می کند. این اغلب به آموزش کمک می کند، اما از نظر محاسبات و حافظه کمی گران تر است.

توجه داشته باشید که در اجرای متراکم این الگوریتم، mg، ms و mom حتی اگر درجه صفر باشد، به روز می شوند، اما در این پیاده سازی پراکنده، mg، ms و mom در تکرارهایی که در طی آن درجه صفر است، به روز نمی شوند.

mean_square = decay * mean_square + (1-decay) * gradient ** 2 mean_grad = decay * mean_grad + (1-decay) * gradient Delta = Learning_rate * gradient / sqrt(mean_square + epsilon - mean_grad ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$$$var <- var - mom$$

کلاس های تو در تو

کلاس SparseApplyCenteredRmsProp.Options ویژگی های اختیاری برای SparseApplyCenteredRmsProp

ثابت ها

رشته OP_NAME نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود

روش های عمومی

خروجی <T>
asOutput ()
دسته نمادین تانسور را برمی‌گرداند.
استاتیک <T TType > SparseApplyCenteredRmsProp <T> را گسترش می دهد
ایجاد ( دامنه دامنه ، عملوند <T> var، عملوند <T> mg، عملوند <T> ms، عملوند <T> مادر، عملوند <T> lr، عملوند <T> rho، عملوند <T> حرکت، عملوند <T> > epsilon ، Operand <T> grad، Operand < ?
روش کارخانه برای ایجاد کلاسی که یک عملیات جدید SparseApplyCenteredRmsProp را بسته بندی می کند.
خروجی <T>
بیرون ()
همان "var".
استاتیک SparseApplyCenteredRmsProp.Options
useLocking (قفل کردن استفاده بولی)

روش های ارثی

ثابت ها

رشته نهایی ثابت عمومی OP_NAME

نام این عملیات، همانطور که توسط موتور هسته TensorFlow شناخته می شود

مقدار ثابت: "SparseApplyCenteredRMSProp"

روش های عمومی

خروجی عمومی <T> asOutput ()

دسته نمادین تانسور را برمی‌گرداند.

ورودی های عملیات TensorFlow خروجی های عملیات تنسورفلو دیگر هستند. این روش برای به دست آوردن یک دسته نمادین که نشان دهنده محاسبه ورودی است استفاده می شود.

عمومی ایستا SparseApplyCenteredRmsProp <T> ایجاد ( دامنه دامنه ، عملوند <T> var، عملوند <T> mg، عملوند <T> ms، عملوند <T> مادر، عملوند <T> lr، عملوند <T> rho، عملوند <T > حرکت، عملوند <T> اپسیلون، عملوند <T> grad، عملوند < بسط TNumber > شاخص‌ها، گزینه‌ها...

روش کارخانه برای ایجاد کلاسی که یک عملیات جدید SparseApplyCenteredRmsProp را بسته بندی می کند.

پارامترها
دامنه محدوده فعلی
var باید از یک متغیر () باشد.
میلی گرم باید از یک متغیر () باشد.
ام‌اس باید از یک متغیر () باشد.
مادر باید از یک متغیر () باشد.
lr ضریب پوسته پوسته شدن باید اسکالر باشد.
rho میزان پوسیدگی باید اسکالر باشد.
اپسیلون ترم ریج. باید اسکالر باشد.
درجه گرادیان.
شاخص ها بردار شاخص ها در بعد اول var، ms و mom.
گزینه ها مقادیر ویژگی های اختیاری را حمل می کند
برمی گرداند
  • یک نمونه جدید از SparseApplyCenteredRmsProp

خروجی عمومی <T> خارج ()

همان "var".

عمومی استاتیک SparseApplyCenteredRmsProp.Options useLocking (useLocking بولی)

پارامترها
استفاده از قفل کردن اگر «درست» باشد، به‌روزرسانی تانسورهای var، mg، ms و mom توسط یک قفل محافظت می‌شود. در غیر این صورت رفتار تعریف نشده است، اما ممکن است اختلاف کمتری از خود نشان دهد.