تدفق التوتر:: العمليات:: SparseApplyRMSProp

قم بتحديث '*var' وفقًا لخوارزمية RMSProp.

ملخص

لاحظ أنه في التنفيذ المكثف لهذه الخوارزمية، سيتم تحديث ms وmom حتى لو كان grad صفرًا، ولكن في هذا التنفيذ المتناثر، لن يتم تحديث ms وmom في التكرارات التي يكون خلالها grad صفرًا.

mean_square = الاضمحلال * mean_square + (1-الاضمحلال) * التدرج ** 2 دلتا = معدل التعلم * التدرج / sqrt (mean_square + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$ $$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$ $$var <- var - mom$$

الحجج:

• النطاق: كائن النطاق
• فار: يجب أن يكون من متغير ().
• مللي ثانية: يجب أن يكون من متغير ().
• أمي: يجب أن يكون من متغير ().
• lr: عامل التحجيم. يجب أن يكون العددية.
• رو: معدل الاضمحلال. يجب أن يكون العددية.
• إبسيلون: مصطلح ريدج. يجب أن يكون العددية.
• غراد: التدرج.
• المؤشرات: متجه للمؤشرات في البعد الأول لـ var وms وmom.

السمات الاختيارية (انظر Attrs ):

• use_locking: إذا كان True ، فإن تحديث الموترات var وms وmom محمي بقفل؛ وإلا فإن السلوك غير محدد، ولكنه قد يحمل قدرًا أقل من الخلاف.

العوائد:

• Output : نفس "فار".

الصفات العامة

Operation operation

::tensorflow::Output out

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

::tensorflow::Node * node() const 

 operator::tensorflow::Input() const 

 operator::tensorflow::Output() const 

Attrs UseLocking(
  bool x
)