SigmoidCrossEntropyWithLogits

คำนวณเอนโทรปีข้าม sigmoid ที่กำหนด logits

วัดความคลาดเคลื่อนของความน่าจะเป็นในงานการจำแนกประเภทแบบแยกส่วน โดยแต่ละคลาสมีความเป็นอิสระและไม่แยกจากกัน ตัวอย่างเช่น เราสามารถจัดหมวดหมู่หลายป้ายกำกับ โดยที่รูปภาพสามารถมีทั้งช้างและสุนัขในเวลาเดียวกัน

เพื่อความกระชับ ให้ x = logits , z = labels การสูญเสียลอจิสติกส์ในรหัสเทียมคือ

 z * -log(sigmoid(x)) + (1 - z) * -log(1 - sigmoid(x))
  = z * -log(1 / (1 + exp(-x))) + (1 - z) * -log(exp(-x) / (1 + exp(-x)))
  = z * log(1 + exp(-x)) + (1 - z) * (-log(exp(-x)) + log(1 + exp(-x)))
  = z * log(1 + exp(-x)) + (1 - z) * (x + log(1 + exp(-x))
  = (1 - z) * x + log(1 + exp(-x))
  = x - x * z + log(1 + exp(-x))
 

สำหรับ x < 0 เพื่อหลีกเลี่ยงการโอเวอร์โฟลว์ใน exp(-x) เราจะปรับโครงสร้างใหม่ข้างต้น

 x - x * z + log(1 + exp(-x))
  = log(exp(x)) - x * z + log(1 + exp(-x))
  = - x * z + log(1 + exp(x))
 

ดังนั้น เพื่อให้มั่นใจถึงความเสถียรและหลีกเลี่ยงการล้น การใช้งานจึงใช้สูตรที่เทียบเท่านี้

   max(x, 0) - x * z + log(1 + exp(-abs(x)))
 

บันทึกและ labels ต้องมีประเภทและรูปร่างเหมือนกัน