CudnnRNNBackprop

CudnnRNNV3 এর ব্যাকপ্রপ ধাপ।

একটি RNN-এ ডেটা এবং ওজন উভয়ের ব্যাকপ্রপ গণনা করুন। CudnnRNNBackprop এর চেয়ে একটি অতিরিক্ত "sequence_lengths" ইনপুট নেয়।

rnn_mode: RNN মডেলের ধরন নির্দেশ করে। input_mode: প্রথম স্তরের আগে ইনপুট এবং প্রকৃত গণনার মধ্যে একটি রৈখিক অভিক্ষেপ আছে কিনা তা নির্দেশ করে। 'skip_input' শুধুমাত্র তখনই অনুমোদিত যখন input_size == num_units; 'স্বয়ংক্রিয়_নির্বাচন' বোঝায় 'skip_input' যখন input_size == num_units; অন্যথায়, এটি 'লিনিয়ার_ইনপুট' বোঝায়। দিকনির্দেশ: একটি দ্বিমুখী মডেল ব্যবহার করা হবে কিনা তা নির্দেশ করে। "একমুখী" বা "দ্বিমুখী" হওয়া উচিত। dropout: ড্রপআউট সম্ভাবনা। 0 এ সেট করা হলে, ড্রপআউট অক্ষম করা হয়। বীজ: ড্রপআউট শুরু করার জন্য একটি বীজের 1ম অংশ। বীজ 2: ড্রপআউট শুরু করার জন্য একটি বীজের 2য় অংশ। ইনপুট: time_major সত্য হলে, এটি একটি 3-D টেনসর যার আকার [seq_length, batch_size, input_size]। টাইম_মেজর মিথ্যা হলে, আকৃতিটি [ব্যাচ_সাইজ, সেক_লেংথ, ইনপুট_সাইজ]। input_h: time_major সত্য হলে, এটি একটি 3-D টেনসর যার আকার [num_layer * dir, batch_size, num_units]। যদি time_major মিথ্যা হয়, তাহলে আকৃতি হবে [batch_size, num_layer * dir, num_units]। input_c: LSTM-এর জন্য, [num_layer * dir, batch, num_units] এর আকৃতি সহ একটি 3-D টেনসর। অন্যান্য মডেলের জন্য, এটি উপেক্ষা করা হয়। প্যারামস: একটি 1-ডি টেনসর যা একটি অস্বচ্ছ বিন্যাসে ওজন এবং পক্ষপাত ধারণ করে। আকার CudnnRNNParamsSize এর মাধ্যমে তৈরি করতে হবে এবং আলাদাভাবে শুরু করতে হবে। মনে রাখবেন যে তারা বিভিন্ন প্রজন্মের সাথে সামঞ্জস্যপূর্ণ নাও হতে পারে। তাই sequence_lengths সংরক্ষণ এবং পুনরুদ্ধার করা একটি ভাল ধারণা: প্রতিটি ইনপুট অনুক্রমের দৈর্ঘ্যের একটি ভেক্টর। আউটপুট: যদি time_major সত্য হয় তবে এটি একটি 3-D টেনসর যার আকার [seq_length, batch_size, dir * num_units]। যদি time_major মিথ্যা হয়, তাহলে আকৃতি হবে [batch_size, seq_length, dir * num_units]। output_h: একই আকৃতির input_h আছে। output_c: LSTM-এর জন্য input_c-এর মতো একই আকৃতি। অন্যান্য মডেলের জন্য একটি খালি টেনসর। output_backprop: ফরোয়ার্ড পাসে আউটপুট হিসাবে একই আকৃতি সহ একটি 3-D টেনসর। আউটপুট_এইচ_ব্যাকপ্রপ: ফরোয়ার্ড পাসে আউটপুট_এইচের মতো একই আকারের একটি 3-ডি টেনসর। output_c_backprop: ফরোয়ার্ড পাসে output_c এর মতো একই আকারের একটি 3-D টেনসর। time_major: ইনপুট/আউটপুট ফরম্যাট টাইম মেজর নাকি ব্যাচ মেজর তা নির্দেশ করে। রিজার্ভ_স্পেস: ফরোয়ার্ড অপারেশনে উত্পাদিত একই রিজার্ভ_স্পেস। input_backprop: ফরওয়ার্ড পাসে ইনপুট করার জন্য ব্যাকপ্রপ। ইনপুট হিসাবে একই আকার আছে. input_h_backprop: ফরোয়ার্ড পাসে input_h এর ব্যাকপ্রপ। input_h এর মতোই আকৃতি আছে। input_c_backprop: ফরওয়ার্ড পাসে input_c-এর ব্যাকপ্রপ। input_c এর মতই আকৃতি আছে। params_backprop: ফরোয়ার্ড পাসে প্যারামস বাফারের ব্যাকপ্রপ। params হিসাবে একই আকৃতি আছে.