টেনসরফ্লো :: অপস:: SparseApplyCenteredRMSProp

#include <training_ops.h>

কেন্দ্রীভূত RMSProp অ্যালগরিদম অনুযায়ী '*var' আপডেট করুন।

সারাংশ

কেন্দ্রীভূত RMSProp অ্যালগরিদম স্বাভাবিকীকরণের জন্য কেন্দ্রীভূত দ্বিতীয় মুহূর্ত (অর্থাৎ, প্রকরণ) একটি অনুমান ব্যবহার করে, নিয়মিত RMSProp এর বিপরীতে, যা (অকেন্দ্রহীন) দ্বিতীয় মুহূর্ত ব্যবহার করে। এটি প্রায়শই প্রশিক্ষণে সহায়তা করে, তবে গণনা এবং মেমরির ক্ষেত্রে এটি কিছুটা বেশি ব্যয়বহুল।

মনে রাখবেন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, mg, ms, এবং mom আপডেট হবে এমনকি গ্র্যাড শূন্য হলেও, কিন্তু এই স্পার্স ইমপ্লিমেন্টেশনে, mg, ms, এবং mom পুনরাবৃত্তিতে আপডেট হবে না যেখানে গ্র্যাড শূন্য হয়।

গড়_বর্গ = ক্ষয় * গড়_বর্গ + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 গড়_গ্রাড = ক্ষয় * গড়_গ্রাড + (1-ক্ষয়) * গ্রেডিয়েন্ট ডেল্টা = শিখন_হার * গ্রেডিয়েন্ট / sqrt(মান_স্কয়ার + এপিসিলন - গড়_গ্রাড ** 2)

$$ms <- rho * ms_{t-1} + (1-rho) * grad * grad$$
$$mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)$$
$$var <- var - mom$$

যুক্তি:

  • স্কোপ: একটি স্কোপ অবজেক্ট
  • var: একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
  • mg: একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
  • ms: একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
  • মা: একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
  • lr: স্কেলিং ফ্যাক্টর। একটি স্কেলার হতে হবে।
  • rho: ক্ষয় হার। একটি স্কেলার হতে হবে।
  • epsilon: রিজ শব্দ। একটি স্কেলার হতে হবে।
  • grad: গ্রেডিয়েন্ট।
  • সূচক: var, ms এবং mom-এর প্রথম মাত্রায় সূচকগুলির একটি ভেক্টর।

ঐচ্ছিক বৈশিষ্ট্য (দেখুন Attrs ):

  • use_locking: যদি True , var, mg, ms, এবং mom tensors-এর আপডেট করা একটি লক দ্বারা সুরক্ষিত; অন্যথায় আচরণটি অনির্ধারিত, তবে কম বিরোধ প্রদর্শন করতে পারে।

রিটার্ন:

  • Output : "var" এর মতোই।

কনস্ট্রাক্টর এবং ডেস্ট্রাক্টর

SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices)
SparseApplyCenteredRMSProp (const :: tensorflow::Scope & scope, :: tensorflow::Input var, :: tensorflow::Input mg, :: tensorflow::Input ms, :: tensorflow::Input mom, :: tensorflow::Input lr, :: tensorflow::Input rho, :: tensorflow::Input momentum, :: tensorflow::Input epsilon, :: tensorflow::Input grad, :: tensorflow::Input indices, const SparseApplyCenteredRMSProp::Attrs & attrs)

পাবলিক বৈশিষ্ট্য

operation
out

পাবলিক ফাংশন

node () const
::tensorflow::Node *
operator::tensorflow::Input () const
operator::tensorflow::Output () const

পাবলিক স্ট্যাটিক ফাংশন

UseLocking (bool x)

কাঠামো

tensorflow:: ops:: SparseApplyCenteredRMSProp:: Attrs

SparseApplyCenteredRMSProp- এর জন্য ঐচ্ছিক অ্যাট্রিবিউট সেটার।

পাবলিক বৈশিষ্ট্য

অপারেশন 

Operation operation

আউট 

::tensorflow::Output out

পাবলিক ফাংশন

SparseApplyCenteredRMSProp 

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

SparseApplyCenteredRMSProp 

 SparseApplyCenteredRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input mg,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const SparseApplyCenteredRMSProp::Attrs & attrs
)

নোড 

::tensorflow::Node * node() const

অপারেটর::টেনসরফ্লো::ইনপুট 

 operator::tensorflow::Input() const

অপারেটর::টেনসরফ্লো::আউটপুট 

 operator::tensorflow::Output() const

পাবলিক স্ট্যাটিক ফাংশন

লকিং ব্যবহার করুন 

Attrs UseLocking(
  bool x
)