tensor akışı:: işlem:: SparseApplyRMSProp

#include <training_ops.h>

'*var'ı RMSProp algoritmasına göre güncelleyin.

Özet

Bu algoritmanın yoğun uygulanmasında ms ve mom'in derece sıfır olsa bile güncelleneceğini, ancak bu seyrek uygulamada ms ve mom'in derecenin sıfır olduğu yinelemelerde güncellenmeyeceğini unutmayın.

ortalama_kare = bozunma * ortalama_kare + (1-bozunma) * gradyan ** 2 Delta = öğrenme_oranı * gradyan / sqrt(ortalama_kare + epsilon)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$
$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$
$$var <- var - mom$$

Argümanlar:

  • kapsam: Bir Kapsam nesnesi
  • var: Bir Variable()'dan olmalıdır.
  • ms: Bir Variable()'dan olmalıdır.
  • anne: Bir Variable()'dan olmalı.
  • lr: Ölçeklendirme faktörü. Bir skaler olmalı.
  • rho: Bozunma oranı. Bir skaler olmalı.
  • epsilon: Ridge terimi. Bir skaler olmalı.
  • grad: Gradyan.
  • indeksler: var, ms ve mom'un birinci boyutuna ait indekslerin bir vektörü.

İsteğe bağlı özellikler (bkz. Attrs ):

  • use_locking: True ise var, ms ve mom tensörlerinin güncellenmesi bir kilitle korunur; aksi takdirde davranış tanımsızdır ancak daha az çekişme sergileyebilir.

İade:

Yapıcılar ve Yıkıcılar

SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyRMSProp::Attrs & attrs)

Genel özellikler

operation
out

Kamu işlevleri

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

Genel statik işlevler

UseLocking (bool x)

Yapılar

tensorflow:: ops:: SparseApplyRMSProp:: Öznitelikler

SparseApplyRMSProp için isteğe bağlı öznitelik ayarlayıcılar.

Genel özellikler

operasyon 

Operation operation

dışarı 

::tensorflow::Output out

Kamu işlevleri

SparseApplyRMSProp 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyRMSProp 

 SparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyRMSProp::Attrs & attrs
)

düğüm 

::tensorflow::Node * node() const

operatör::tensorflow::Giriş 

 operator::tensorflow::Input() const

operatör::tensorflow::Çıktı 

 operator::tensorflow::Output() const

Genel statik işlevler

KullanımKilitleme 

Attrs UseLocking(
  bool x
)