Adam

パブリッククラスのアダム

Adam アルゴリズムを実装するオプティマイザー。

Adam 最適化は、一次および二次モーメントの適応推定に基づく確率的勾配降下法です。

Kingma et al., 2014 によると、この方法は「計算効率が高く、メモリ要件がほとんどなく、勾配の対角再スケーリングに対して不変であり、データ/パラメーターの点で大きな問題に適している」とのことです。

@Kingma et al.、2014、Adam: A Method for Stochastic Optimization を参照してください。

定数

浮くBETA_ONE_DEFAULT
浮くBETA_TWO_DEFAULT
浮くEPSILON_DEFAULT
弦FIRST_MOMENT
浮く学習_レート_デフォルト
弦SECOND_MOMENT

継承された定数

パブリックコンストラクター

アダム（グラフグラフ）
Adam オプティマイザーを作成します
Adam ( Graphグラフ、float learningRate)
Adam オプティマイザーを作成します
Adam ( Graphグラフ、float learningRate、float betaOne、float betaTwo、float epsilon)
Adam オプティマイザーを作成します
Adam (グラフグラフ、文字列名、浮動小数点学習率)
Adam オプティマイザーを作成します
Adam (グラフグラフ、文字列名、float learningRate、float betaOne、float betaTwo、float epsilon)
Adam オプティマイザーを作成します

パブリックメソッド

static <T extends TType > Op
createAdamMinimize (スコープscope、オペランド<T>損失、float learningRate、float betaOne、float betaTwo、float epsilon、 Options...オプション)
損失を最小限に抑えるオペレーションを作成します
弦
getOptimizerName ()
オプティマイザーの名前を取得します。
弦
toString ()

継承されたメソッド

定数

パブリック静的最終フロートBETA_ONE_DEFAULT

定数値: 0.9

パブリック静的最終フロートBETA_TWO_DEFAULT

定数値: 0.999

パブリック静的最終フロートEPSILON_DEFAULT

定数値: 1.0E-8

パブリック静的最終文字列FIRST_MOMENT

定数値: 「m」

パブリック静的最終フロートLEARNING_RATE_DEFAULT

定数値: 0.001

パブリック静的最終文字列SECOND_MOMENT

定数値: "v"

パブリックコンストラクター

公開アダム（グラフグラフ）

Adam オプティマイザーを作成します

パラメーター
グラフTensorFlow グラフ

public Adam ( Graphグラフ、float learningRate)

Adam オプティマイザーを作成します

パラメーター
グラフTensorFlow グラフ
学習率学習率

public Adam ( Graphグラフ、float learningRate、float betaOne、float betaTwo、float epsilon)

Adam オプティマイザーを作成します

パラメーター
グラフTensorFlow グラフ
学習率学習率
ベータワン最初の瞬間の推定値の指数関数的減衰率。デフォルトは 0.9 です。
ベータツー2 次モーメント推定の指数関数的減衰率。デフォルトは 0.999 です。
イプシロン数値安定性のための小さな定数。このイプシロンは、Kingma と Ba の論文 (セクション 2.1 の直前の式) では「イプシロン ハット」であり、論文のアルゴリズム 1 のイプシロンではありません。デフォルトは 1e-8 です。

public Adam (グラフグラフ、文字列名、浮動小数点学習率)

Adam オプティマイザーを作成します

パラメーター
グラフTensorFlow グラフ
名前オプティマイザー名、デフォルトは「Adam」
学習率学習率

public Adam ( Graphグラフ、文字列名、float learningRate、float betaOne、float betaTwo、float epsilon)

Adam オプティマイザーを作成します

パラメーター
グラフTensorFlow グラフ
名前オプティマイザー名、デフォルトは「Adam」
学習率学習率
ベータワン最初の瞬間の推定値の指数関数的減衰率。デフォルトは 0.9 です。
ベータツー2 次モーメント推定の指数関数的減衰率。デフォルトは 0.999 です。
イプシロン数値安定性のための小さな定数。このイプシロンは、Kingma と Ba の論文 (セクション 2.1 の直前の式) では「イプシロン ハット」であり、論文のアルゴリズム 1 のイプシロンではありません。デフォルトは 1e-8 です。

パブリックメソッド

public static Op createAdamMinimize (スコープscope、オペランド<T>損失、float learningRate、float betaOne、float betaTwo、float epsilon、 Options...オプション)

損失を最小限に抑えるオペレーションを作成します

パラメーター
範囲TensorFlow スコープ
損失最小限に抑える損失
学習率学習率
ベータワン最初の瞬間の推定値の指数関数的減衰率。
ベータツー2 次モーメント推定の指数関数的減衰率。
イプシロン数値安定性のための小さな定数。このイプシロンは、Kingma と Ba の論文 (セクション 2.1 の直前の式) では「イプシロン ハット」であり、論文のアルゴリズム 1 のイプシロンではありません。
オプションオプションのオプティマイザー属性
戻り値
  • 損失を最小限に抑える運用
投げる
IllegalArgumentExceptionスコープがグラフを表さない場合

public String getOptimizerName ()

オプティマイザーの名前を取得します。

戻り値
  • オプティマイザーの名前。

public String toString ()