テンソルフロー::作戦::クオンタイズV2

float 型の '入力' テンソルを 'T' 型の '出力' テンソルに量子化します。

まとめ

[min_range, max_range] は、「入力」データの範囲を指定するスカラー浮動小数点数です。 「mode」属性は、float 値を量子化された同等の値に変換するためにどの計算が使用されるかを正確に制御します。 「round_mode」属性は、float 値を量子化された値に丸めるときにどの丸めタイブレーク アルゴリズムを使用するかを制御します。

「MIN_COMBINED」モードでは、テンソルの各値は次の処理を受けます。

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

ここでrange(T) = numeric_limits ::max() - numeric_limits ::min() range(T) = numeric_limits ::max() - numeric_limits ::min() range(T) = numeric_limits ::max() - numeric_limits ::min()

MIN_COMBINED モードの例

入力は float 型で、可能な範囲は [0.0, 6.0]、出力型は quint8 ([0, 255]) であると仮定します。 min_range 値と max_range 値は 0.0 と 6.0 として指定する必要があります。 float から quint8 に量子化すると、入力の各値が 255/6 で乗算され、quint8 にキャストされます。

出力タイプが qint8 ([-128, 127]) の場合、この演算では、値の範囲が qint8 の範囲と一致するように、キャスト前にさらに各値を 128 減算します。

モードが 'MIN_FIRST' の場合、次のアプローチが使用されます。

num_discrete_values = 1 << (# of bits in T)
range_adjust = num_discrete_values / (num_discrete_values - 1)
range = (range_max - range_min) * range_adjust
range_scale = num_discrete_values / range
quantized = round(input * range_scale) - round(range_min * range_scale) +
  numeric_limits::min()
quantized = max(quantized, numeric_limits::min())
quantized = min(quantized, numeric_limits::max())

これと MIN_COMBINED の最大の違いは、最小範囲が丸められた値から減算される前に、最初に丸められることです。 MIN_COMBINED を使用すると、量子化と逆量子化を繰り返すと、小さなバイアスが発生し、誤差がますます大きくなります。

SCALEモードの例

SCALEDモードはQuantizeAndDequantize{V2|V3}で使用される量子化アプローチと一致します。

モードがSCALEDの場合、出力タイプの全範囲を使用せず、対称性の可能な最小値を無視することを選択します (たとえば、符号付き 8 ビット量子化の出力範囲は -128 ～ 127 ではなく、-127 ～ 127 です)。 0.0 が 0 にマッピングされるようにします。

まず、テンソル内の値の範囲を見つけます。使用する範囲は常に 0 を中心とするため、次のような m を見つけます。

  m = max(abs(input_min), abs(input_max))

入力テンソル範囲は[-m, m]になります。

次に、固定小数点量子化バケット[min_fixed, max_fixed]を選択します。 T が符号付きの場合、これは次のようになります。

  num_bits = sizeof(T) * 8
  [min_fixed, max_fixed] =
      [-(1 << (num_bits - 1) - 1), (1 << (num_bits - 1)) - 1]

それ以外の場合、T が符号なしの場合、固定小数点範囲は次のようになります。

  [min_fixed, max_fixed] = [0, (1 << num_bits) - 1]

これから、スケーリング係数 s を計算します。

  s = (max_fixed - min_fixed) / (2 * m)

これで、テンソルの要素を量子化できます。

result = round(input * s)

注意すべき点の 1 つは、オペレータが量子化プロセス中に要求された最小値と最大値をわずかに調整することを選択する可能性があるため、以降の計算の範囲として常に出力ポートを使用する必要があることです。たとえば、要求された最小値と最大値が等しい場合、不正な形式の量子化バッファが作成されるのを防ぐために、小さなイプシロン値で区切られます。そうしないと、すべての量子化値が同じ浮動小数点値にマップされるバッファーが作成され、バッファーに対してさらに計算を実行する必要がある操作で問題が発生する可能性があります。

引数:

• スコープ:スコープオブジェクト
• min_range: 入力に対して生成される可能性のある最小スカラー値。
• max_range: 入力に対して生成される可能性のある最大スカラー値。

戻り値:

• Output出力: float 入力から生成された量子化データ。
• Output Output_min: 出力に使用される実際の最小スカラー値。
• Output Output_max: 出力に使用される実際の最大スカラー値。

パブリック属性

Operation operation

::tensorflow::Output output

::tensorflow::Output output_max

::tensorflow::Output output_min

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T
)

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T,
  const QuantizeV2::Attrs & attrs
)

Attrs Mode(
  StringPiece x
)

Attrs RoundMode(
  StringPiece x
)