גרסה מבוזרת של האופטימיזציה של Stochastic Dual Coordinate Ascent (SDCA) עבור
מודלים ליניאריים עם רגולציה L1 + L2. מכיוון שמטרת האופטימיזציה הגלובלית היא קמורה מאוד, כלי האופטימיזציה מייעל את היעד הכפול בכל שלב. כלי האופטימיזציה מחיל כל עדכון דוגמה אחת בכל פעם. דוגמאות נדגמות באופן אחיד, והאופטימיזציה היא ללא קצב למידה ונהנה מקצב התכנסות ליניארי.
[עליית קואורדינטות כפולות סטוכסטיות פרוקסימליות](http://arxiv.org/pdf/1211.2717v1.pdf).
שי שלו-שוורץ, טונג ג'אנג. 2012
$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$
[הוספה לעומת ממוצע באופטימיזציה ראשונית-כפולה מבוזרת](http://arxiv.org/abs/1502.03508).
Chenxin Ma, Virginia Smith, Martin Jaggi, Michael I. Jordan, Peter Richtarik, Martin Takac. 2015
[עלייה בקואורדינטות סטוכסטיות עם הסתברויות אדפטיביות](https://arxiv.org/abs/1502.08053).
דומיניק צ'יבה, ז'נג קו, פיטר ריכטריק. 2015
כיתות מקוננות
מַחלָקָה | SdcaOptimizer.Options | תכונות אופציונליות עבור SdcaOptimizer |
קבועים
חוּט | OP_NAME | השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow |
שיטות ציבוריות
סטטי SdcaOptimizer.Options | אדפטיבי (סתגלני בוליאני) |
סטטי SdcaOptimizer | create ( Scope scope, Iterable< Operand < TInt64 >> sparseExampleIndices, Iterable< Operand < TInt64 >> sparseFeatureIndices, Iterable< Operand < TFloat32 >> sparseFeatureValues, Iterable< Operand < TFloat32 >> denseFeatures, Operand > < דוגמה TFloat, Operand > < Operand > exampleLabels, Iterable< Operand < TInt64 >> sparseIndices, Iterable< Operand < TFloat32 >> sparseWeights, Iterable< Operand < TFloat32 >> denseWeights, Operand < TFloat32 > exampleStateData, String lossType, Float l1, Float l2,PnumerIts LongIn , אפשרויות... אפשרויות) שיטת מפעל ליצירת מחלקה העוטפת פעולת SdcaOptimizer חדשה. |
רשימה< פלט < TFloat32 >> | outDeltaDenseWeights () רשימה של וקטורים שבהם הערכים הם משקלי הדלתא המשויכים לקבוצת תכונה צפופה. |
רשימה< פלט < TFloat32 >> | outDeltaSparseWeights () רשימה של וקטורים כאשר כל ערך הוא משקלי הדלתא המשויכים לקבוצת תכונות דלילה. |
פלט < TFloat32 > | outExampleStateData () רשימה של וקטורים המכילה את נתוני המצב לדוגמה המעודכנים. |
שיטות בירושה
קבועים
מחרוזת סופית סטטית ציבורית OP_NAME
השם של המבצע הזה, כפי שידוע על ידי מנוע הליבה של TensorFlow
שיטות ציבוריות
Public static SdcaOptimizer.Options אדפטיבי (מותאם בוליאני)
פרמטרים
אדפטיבי | האם להשתמש ב-Adaptive SDCA עבור הלולאה הפנימית. |
---|
public static SdcaOptimizer create ( Scope scope, Iterable< Operand < TInt64 >> sparseExampleIndices, Iterable< Operand < TInt64 >> sparseFeatureIndices, Iterable< Operand < TFloat32 >> sparseFeatureValues, Iterable< Operand < TFoatatureFlights ,2 dense TFoatatures >> den Operand < TFloat32 > exampleLabels, Iterable< Operand < TInt64 >> sparseIndices, Iterable< Operand < TFloat32 >> sparseWeights, Iterable< Operand < TFloat32 >> denseWeights, Operand < TFloat32 > exampleStateData, String lossType, Float l21sart, Float l21sart , numInnerIterations ארוכים, אפשרויות... אפשרויות)
שיטת מפעל ליצירת מחלקה העוטפת פעולת SdcaOptimizer חדשה.
פרמטרים
תְחוּם | ההיקף הנוכחי |
---|---|
מדדים לדוגמה | רשימה של וקטורים המכילים מדדים לדוגמה. |
sparseFeatureIndices | רשימה של וקטורים המכילים מדדי תכונה. |
sparseFeatureValues | רשימה של וקטורים המכילה ערך תכונה המשויך לכל קבוצת תכונה. |
denseFeatures | רשימה של מטריצות המכילה את ערכי התכונה הצפופים. |
משקולות לדוגמה | וקטור המכיל את המשקל המשויך לכל דוגמה. |
תוויות לדוגמה | וקטור המכיל את התווית/יעד המשויכים לכל דוגמה. |
מדדים דלילים | רשימה של וקטורים כאשר כל ערך הוא המדדים שיש להם משקלים תואמים ב-sparse_weights. שדה זה אולי מושמט עבור הגישה הצפופה. |
משקלים דלילים | רשימה של וקטורים כאשר כל ערך הוא המשקל המשויך לקבוצת תכונות דלילה. |
משקלים צפופים | רשימה של וקטורים שבהם הערכים הם המשקולות המשויכות לקבוצת תכונות צפופה. |
exampleStateData | רשימה של וקטורים המכילה את נתוני המצב לדוגמה. |
lossType | סוג ההפסד הראשוני. נכון לעכשיו SdcaSolver תומך בהפסדים לוגיסטיים, בריבוע וציר. |
l1 | חוזק הסדרת l1 סימטרי. |
l2 | חוזק הסדרת l2 סימטרי. |
numLossPartitions | מספר המחיצות של פונקציית האובדן הגלובלי. |
numInnerIterations | מספר איטרציות לכל מיני-אצט. |
אפשרויות | נושא ערכי תכונות אופציונליות |
מחזיר
- מופע חדש של SdcaOptimizer
רשימה ציבורית< פלט < TFloat32 >> outDeltaDenseWeights ()
רשימה של וקטורים שבהם הערכים הם משקלי הדלתא המשויכים לקבוצת תכונה צפופה.
רשימה ציבורית< פלט < TFloat32 >> outDeltaSparseWeights ()
רשימה של וקטורים כאשר כל ערך הוא משקלי הדלתא המשויכים לקבוצת תכונות דלילה.