টেনসরফ্লো :: অপস:: ResourceSparseApplyRMSProp

RMSProp অ্যালগরিদম অনুযায়ী '*var' আপডেট করুন।

সারাংশ

মনে রাখবেন যে এই অ্যালগরিদমের ঘন বাস্তবায়নে, গ্র্যাড শূন্য হলেও ms এবং mom আপডেট হবে, কিন্তু এই স্পার্স বাস্তবায়নে, ms এবং mom পুনরাবৃত্তিতে আপডেট হবে না যার সময় গ্র্যাড শূন্য।

গড়_বর্গ = ক্ষয় * গড়_বর্গ + (1-ক্ষয়) * গ্রেডিয়েন্ট ** 2 ডেল্টা = লার্নিং_রেট * গ্রেডিয়েন্ট / sqrt (মান_বর্গ + এপসিলন)

ms <- rho * ms_{t-1} + (1-rho) * grad * grad mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon) var <- var - মা

যুক্তি:

• স্কোপ: একটি স্কোপ অবজেক্ট
• var: একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
• ms: একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
• মা: একটি পরিবর্তনশীল() থেকে হওয়া উচিত।
• lr: স্কেলিং ফ্যাক্টর। একটি স্কেলার হতে হবে।
• rho: ক্ষয় হার। একটি স্কেলার হতে হবে।
• epsilon: রিজ শব্দ। একটি স্কেলার হতে হবে।
• grad: গ্রেডিয়েন্ট।
• সূচক: var, ms এবং mom-এর প্রথম মাত্রায় সূচকগুলির একটি ভেক্টর।

ঐচ্ছিক বৈশিষ্ট্য (দেখুন Attrs ):

• use_locking: যদি True , var, ms, এবং mom tensors আপডেট করা একটি লক দ্বারা সুরক্ষিত; অন্যথায় আচরণটি অনির্ধারিত, তবে কম বিরোধ প্রদর্শন করতে পারে।

রিটার্ন:

• সৃষ্ট Operation

পাবলিক বৈশিষ্ট্য

Operation operation

 ResourceSparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices
)

 ResourceSparseApplyRMSProp(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input var,
  ::tensorflow::Input ms,
  ::tensorflow::Input mom,
  ::tensorflow::Input lr,
  ::tensorflow::Input rho,
  ::tensorflow::Input momentum,
  ::tensorflow::Input epsilon,
  ::tensorflow::Input grad,
  ::tensorflow::Input indices,
  const ResourceSparseApplyRMSProp::Attrs & attrs
)

 operator::tensorflow::Operation() const 

Attrs UseLocking(
  bool x
)