עדכן את '*var' לפי אלגוריתם RMSProp.
שימו לב שביישום צפוף של אלגוריתם זה, ms ו-mom יתעדכנו גם אם ה-grad הוא אפס, אבל ביישום הדליל הזה, ms ו-mom לא יתעדכנו באיטרציות שבמהלכן הגראד הוא אפס.
mean_square = decay * mean_square + (1-decay) * gradient ** 2 Delta = learning_rate * gradient / sqrt(mean_square + epsilon)
ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - mom
כיתות מקוננות
מעמד | ResourceApplyRmsProp.Options | תכונות אופציונליות עבור ResourceApplyRmsProp |
קבועים
חוּט | OP_NAME | השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow |
שיטות ציבוריות
static <T מרחיב את TType > ResourceApplyRmsProp | |
static ResourceApplyRmsProp.Options | useLocking (useLocking בוליאני) |
שיטות בירושה
קבועים
מחרוזת סופית סטטית ציבורית OP_NAME
השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow
שיטות ציבוריות
public static ResourceApplyRmsProp create ( Scope scope, Operand <?> var, Operand <?> ms, Operand <?> mom, Operand <T> lr, Operand <T> rho, Operand <T> momentum, Operand <T> epsilon, Operand <T> grad, Options... options)
שיטת מפעל ליצירת מחלקה העוטפת פעולת ResourceApplyRmsProp חדשה.
פרמטרים
תְחוּם | ההיקף הנוכחי |
---|---|
var | צריך להיות ממשתנה(). |
גברת | צריך להיות ממשתנה(). |
אִמָא | צריך להיות ממשתנה(). |
lr | גורם קנה מידה. חייב להיות סקלר. |
rho | קצב דעיכה. חייב להיות סקלר. |
אפסילון | מונח רכס. חייב להיות סקלר. |
גראד | השיפוע. |
אפשרויות | נושא ערכי תכונות אופציונליות |
החזרות
- מופע חדש של ResourceApplyRmsProp
public static ResourceApplyRmsProp.Options useLocking (שימוש בוליאני)
פרמטרים
השתמש בנעילה | אם 'נכון', עדכון הטנזורים var, ms ו-mom מוגן על ידי מנעול; אחרת ההתנהגות אינה מוגדרת, אך עלולה להפגין פחות מחלוקת. |
---|