VarianceScaling

スケールを重みテンソルの形状に適応させることができるイニシャライザ。

distribution=TRUNCATED_NORMAL or NORMAL指定すると、サンプルは、平均が 0 で標準偏差 (切り捨てが使用されている場合は切り捨て後) を持つ切り捨てられた/切り捨てられていない正規分布から抽出されます。 stddev = Math.sqrt(scale / n) 。ここで、 nは次のとおりです。

• 重みテンソルの入力単位の数mode=FAN_INの場合)
• 出力ユニットの数 ( mode=FAN_OUTの場合)
• 入力ユニットと出力ユニットの数の平均mode=FAN_AVGの場合）

distribution=UNIFORMの場合、サンプルは[-limit, limit]内の一様分布から抽出されます。ここで、 limit = Math.sqrt(3 * scale / n); 。

例:

      long seed = 1234l;
      float scale = 0.1f;
      VarianceScaling<TFloat32, TFloat32> initializer =
          new org.tensorflow.framework.initializers.VarianceScaling<>(
              tf, scale, Mode.FAN_IN, Distribution.UNIFORM, seed);
      Operand<TFloat32> values =
          initializer.call(tf.constant(Shape.of(2,2)), TFloat32.class);