GRUBlockCell

1 বার ধাপের জন্য GRU সেল ফরওয়ার্ড প্রচারের গণনা করে।

Args x: GRU ঘরে ইনপুট। h_prev: পূর্ববর্তী GRU সেল থেকে স্টেট ইনপুট। w_ru: রিসেট এবং আপডেট গেটের জন্য ওজন ম্যাট্রিক্স। w_c: সেল সংযোগ গেটের জন্য ওজন ম্যাট্রিক্স। b_ru: রিসেট এবং আপডেট গেটের জন্য বায়াস ভেক্টর। b_c: সেল সংযোগ গেটের জন্য বায়াস ভেক্টর।

রিটার্ন r: রিসেট গেটের আউটপুট। u: আপডেট গেটের আউটপুট। c: সেল সংযোগ গেটের আউটপুট। h: GRU কোষের বর্তমান অবস্থা।

ভেরিয়েবলের স্বরলিপির উপর দ্রষ্টব্য:

a এবং b এর সংমিশ্রণ a_b দ্বারা প্রতিনিধিত্ব করা হয় a এবং b-এর উপাদান-ভিত্তিক বিন্দু গুণফলকে ab দ্বারা প্রতিনিধিত্ব করা হয় উপাদান-ভিত্তিক ডট গুণফলকে \circ ম্যাট্রিক্স গুণফল * দ্বারা প্রতিনিধিত্ব করা হয়।

পক্ষপাতগুলি এর সাথে আরম্ভ করা হয়: `b_ru` - constant_initializer(1.0) `b_c` - constant_initializer(0.0)

এই কার্নেল অপ নিম্নলিখিত গাণিতিক সমীকরণ প্রয়োগ করে:

x_h_prev = [x, h_prev]
 
 [r_bar u_bar] = x_h_prev * w_ru + b_ru
 
 r = sigmoid(r_bar)
 u = sigmoid(u_bar)
 
 h_prevr = h_prev \circ r
 
 x_h_prevr = [x h_prevr]
 
 c_bar = x_h_prevr * w_c + b_c
 c = tanh(c_bar)
 
 h = (1-u) \circ c + u \circ h_prev