SdcaOptimizer

Stochastic Dual Coowned Ascent (SDCA) オプティマイザーの分散バージョン

L1 + L2 正則化を使用した線形モデル。グローバル最適化目標は強凸であるため、オプティマイザは各ステップで二重目標を最適化します。オプティマイザーは、各更新を一度に 1 つの例ずつ適用します。例は均一にサンプリングされ、オプティマイザは学習率が不要で、線形収束率を実現します。

[近位確率的二重座標上昇](http://arxiv.org/pdf/1211.2717v1.pdf)。
シャイ・シャレフ＝シュワルツ、トン・ジャン。 2012年

$$Loss Objective = \sum f_{i} (wx_{i}) + (l2 / 2) * |w|^2 + l1 * |w|$$

[分散プライマルデュアル最適化における加算と平均化](http://arxiv.org/abs/1502.03508)。
チェンシン・マー、ヴァージニア・スミス、マーティン・ジャギ、マイケル・I・ジョーダン、ピーター・リヒタリク、マーティン・タカック。 2015年

[適応確率を使用した確率的二重座標上昇](https://arxiv.org/abs/1502.08053)。
ドミニク・チバ、ジェン・クー、ピーター・リヒタリク。 2015年