VarianceScaling

가중치 텐서의 모양에 스케일을 적용할 수 있는 초기화 프로그램입니다.

distribution=TRUNCATED_NORMAL or NORMAL 사용하면 평균이 0이고 표준 편차가 있는 잘린/잘리지 않은 정규 분포(사용된 경우 잘린 후) stddev = Math.sqrt(scale / n) 에서 표본을 추출합니다. 여기서 n 은 다음과 같습니다.

• mode=FAN_IN 인 경우 가중치 텐서의 입력 단위 수
• mode=FAN_OUT 인 경우 출력 장치 수
• mode=FAN_AVG 인 경우 입력 및 출력 장치 수의 평균

distribution=UNIFORM 사용하면 [-limit, limit] 내의 균일 분포에서 샘플이 추출됩니다. 여기서 limit = Math.sqrt(3 * scale / n); .

예:

      long seed = 1234l;
      float scale = 0.1f;
      VarianceScaling<TFloat32, TFloat32> initializer =
          new org.tensorflow.framework.initializers.VarianceScaling<>(
              tf, scale, Mode.FAN_IN, Distribution.UNIFORM, seed);
      Operand<TFloat32> values =
          initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);