VarianceScaling

Bộ khởi tạo có khả năng điều chỉnh thang đo của nó theo hình dạng của các tensor trọng số.

Với distribution=TRUNCATED_NORMAL or NORMAL , các mẫu được rút ra từ phân phối chuẩn bị cắt cụt/không bị cắt cụt với giá trị trung bình bằng 0 và độ lệch chuẩn (sau khi cắt bớt, nếu được sử dụng) stddev = Math.sqrt(scale / n) , trong đó n là:

• số đơn vị đầu vào trong tensor trọng số, nếu mode=FAN_IN
• số lượng đơn vị đầu ra, nếu mode=FAN_OUT
• trung bình của số lượng đơn vị đầu vào và đầu ra, nếu mode=FAN_AVG

Với distribution=UNIFORM , các mẫu được rút ra từ một phân phối đồng đều trong [-limit, limit] , trong đó limit = Math.sqrt(3 * scale / n); .

Ví dụ:

      long seed = 1234l;
      float scale = 0.1f;
      VarianceScaling<TFloat32, TFloat32> initializer =
          new org.tensorflow.framework.initializers.VarianceScaling<>(
              tf, scale, Mode.FAN_IN, Distribution.UNIFORM, seed);
      Operand<TFloat32> values =
          initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);