VarianceScaling

Инициализатор, способный адаптировать свой масштаб к форме тензоров весов.

При distribution=TRUNCATED_NORMAL or NORMAL выборки берутся из усеченного/неусеченного нормального распределения со средним значением, равным нулю, и стандартным отклонением (после усечения, если оно используется) stddev = Math.sqrt(scale / n) , где n :

• количество входных единиц в весовом тензоре, если mode=FAN_IN
• количество выходных блоков, если mode=FAN_OUT
• среднее количество блоков ввода и вывода, если mode=FAN_AVG

При distribution=UNIFORM выборки берутся из равномерного распределения в пределах [-limit, limit] , где limit = Math.sqrt(3 * scale / n); .

Примеры:

      long seed = 1234l;
      float scale = 0.1f;
      VarianceScaling<TFloat32, TFloat32> initializer =
          new org.tensorflow.framework.initializers.VarianceScaling<>(
              tf, scale, Mode.FAN_IN, Distribution.UNIFORM, seed);
      Operand<TFloat32> values =
          initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);