ELU

সূচকীয় রৈখিক একক।

alpha > 0 সহ সূচকীয় রৈখিক একক (ELU) হল:

x যদি x > 0 এবং alpha * (exp(x) - 1) x < 0 হলে।

ELU হাইপারপ্যারামিটার alpha নেতিবাচক নেট ইনপুটগুলির জন্য একটি ELU পরিপূর্ণ মান নিয়ন্ত্রণ করে। ELUs অদৃশ্য গ্রেডিয়েন্ট প্রভাবকে হ্রাস করে।

ELU-এর নেতিবাচক মান রয়েছে যা সক্রিয়করণের গড়কে শূন্যের কাছাকাছি নিয়ে যায়। শূন্যের কাছাকাছি থাকা গড় অ্যাক্টিভেশনগুলি দ্রুত শিখতে সক্ষম করে কারণ তারা গ্রেডিয়েন্টকে প্রাকৃতিক গ্রেডিয়েন্টের কাছাকাছি নিয়ে আসে। ইএলইউ একটি নেতিবাচক মান পরিপূর্ণ হয় যখন যুক্তি ছোট হয়। স্যাচুরেশন মানে একটি ছোট ডেরিভেটিভ যা তারতম্য হ্রাস করে এবং পরবর্তী স্তরে প্রচারিত তথ্য।

উদাহরণ ব্যবহার:

     Operand<TFloat32> input = ...;
     ELU<TFloat32> elu = new ELU<>(tf, 2.0f);
     Operand<TFloat32> result = elu.call(input);