LeCun

ตัวเริ่มต้นปกติของ LeCun

ดึงตัวอย่างจากการแจกแจงแบบสุ่ม -

หากการกระจายเป็น TRUNCATED_NORMAL มันจะดึงตัวอย่างจากการแจกแจงแบบปกติที่ถูกตัดทอนโดยมีศูนย์กลางอยู่ที่ 0 โดยมี stddev = sqrt(1 / fanIn) โดยที่ fanIn คือจำนวนหน่วยอินพุตในเทนเซอร์น้ำหนัก

หากการแจกแจงเป็นแบบ UNIFORM จะสุ่มตัวอย่างจากการแจกแจงแบบสม่ำเสมอภายใน [-limit, limit] โดยที่ limit = Math.sqrt(3 / fanIn) ( fanIn คือจำนวนหน่วยอินพุตในเทนเซอร์น้ำหนัก)

ตัวอย่าง:

เลอคุน ปกติ:

      long seed = 1001l;
      LeCunNormal<TFloat32, TFloat32> initializer =
              new org.tensorflow.framework.initializers.LeCunNormal<>(tf,
               Distribution.TRUNCATED_NORMAL, seed);
      Operand<TFloat32> values =
              initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

ชุด LeCun:

      long seed = 1001l;
      LeCunNormal<TFloat32, TFloat32> initializer =
              new org.tensorflow.framework.initializers.LeCunNormal<>(tf,
               Distribution.UNIFORM, seed);
      Operand<TFloat32> values =
              initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);
 

บันทึก: *

สำหรับตัวเริ่มต้นที่เทียบเท่ากับ LeCunNormal ให้ใช้ TRUNCATED_NORMAL สำหรับพารามิเตอร์การกระจาย -

สำหรับตัวเริ่มต้นที่เทียบเท่ากับ LeCunUniform ให้ใช้ UNIFORM * สำหรับพารามิเตอร์การแจกแจง -