SigmoidCrossEntropyWithLogits

সিগমায়েড ক্রস এনট্রপি প্রদত্ত logits গণনা করে।

বিচ্ছিন্ন শ্রেণীবিভাগের কার্যগুলির সম্ভাব্যতা ত্রুটি পরিমাপ করে যেখানে প্রতিটি শ্রেণী স্বাধীন এবং পারস্পরিক একচেটিয়া নয়। উদাহরণস্বরূপ, কেউ মাল্টিলেবেল শ্রেণীবিভাগ করতে পারে যেখানে একটি ছবিতে একই সময়ে একটি হাতি এবং একটি কুকুর উভয়ই থাকতে পারে।

সংক্ষিপ্ততার জন্য, x = logits , z = labels দিন। ছদ্ম কোডে লজিস্টিক ক্ষতি হয়

 z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
  = z * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
  = z * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
  = z * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
  = (1 - z) * x + log(1 + exp(-x))
  = x - x * z + log(1 + exp(-x))
 

x < 0 এর জন্য, exp(-x) এ ওভারফ্লো এড়াতে, আমরা উপরেরটি সংস্কার করি

 x - x * z + log(1 + exp(-x))
  = log(exp(x)) - x * z + log(1 + exp(-x))
  = - x * z + log(1 + exp(x))
 

তাই, স্থিতিশীলতা নিশ্চিত করতে এবং ওভারফ্লো এড়াতে, বাস্তবায়ন এই সমতুল্য সূত্র ব্যবহার করে

   max(x, 0) - x * z + log(1 + exp(-abs(x)))
 

লগিট এবং labels একই ধরনের এবং আকৃতি থাকতে হবে।