przepływ tensorowy:: ops:: QuantizeV2

Kwantyzuj tensor „wejściowy” typu float do tensora „wyjściowego” typu „T”.

Streszczenie

[min_range, max_range] to skalarne liczby zmiennoprzecinkowe, które określają zakres danych „wejściowych”. Atrybut „mode” dokładnie kontroluje, które obliczenia są używane do konwersji wartości zmiennoprzecinkowych na ich skwantowane odpowiedniki. Atrybut „round_mode” kontroluje, który algorytm zaokrąglania rozstrzygania remisów jest używany podczas zaokrąglania wartości zmiennoprzecinkowych do ich skwantowanych odpowiedników.

W trybie „MIN_COMBINED” każda wartość tensora zostanie poddana następującym czynnościom:

out[i] = (in[i] - min_range) * range(T) / (max_range - min_range)
if T == qint8: out[i] -= (range(T) + 1) / 2.0

tutaj range(T) = numeric_limits ::max() - numeric_limits ::min() range(T) = numeric_limits ::max() - numeric_limits ::min() range(T) = numeric_limits ::max() - numeric_limits ::min()

Przykład trybu MIN_COMBINED

Załóżmy, że wejście jest typu float i ma możliwy zakres [0,0, 6,0], a typ wyjścia to quint8 ([0, 255]). Wartości min_range i max_range należy określić jako 0,0 i 6,0. Kwantyzacja od float do quint8 spowoduje pomnożenie każdej wartości wejściowej przez 255/6 i rzutowanie do quint8.

Jeśli typem wyniku był qint8 ([-128, 127]), operacja dodatkowo odejmie każdą wartość o 128 przed rzutowaniem, tak aby zakres wartości pokrywał się z zakresem qint8.

Jeśli tryb to „MIN_FIRST”, stosowane jest następujące podejście:

num_discrete_values = 1 << (# of bits in T)
range_adjust = num_discrete_values / (num_discrete_values - 1)
range = (range_max - range_min) * range_adjust
range_scale = num_discrete_values / range
quantized = round(input * range_scale) - round(range_min * range_scale) +
  numeric_limits::min()
quantized = max(quantized, numeric_limits::min())
quantized = min(quantized, numeric_limits::max())

Największą różnicą między tym a MIN_COMBINED jest to, że minimalny zakres jest najpierw zaokrąglany, a następnie odjęty od zaokrąglonej wartości. W przypadku MIN_COMBINED wprowadzane jest małe odchylenie, w którym powtarzane iteracje kwantyzacji i dekwantyzacji będą wprowadzać coraz większy błąd.

Tryb SKALOWANY Przykład

Tryb SCALED odpowiada podejściu kwantyzacji stosowanemu w QuantizeAndDequantize{V2|V3} .

Jeśli trybem jest SCALED , nie wykorzystujemy pełnego zakresu typu wyjścia, decydując się na pominięcie najniższej możliwej wartości symetrii (np. zakres wyjściowy wynosi -127 do 127, a nie -128 do 127 dla 8-bitowej kwantyzacji ze znakiem), tak, że 0.0 jest odwzorowane na 0.

Najpierw znajdujemy zakres wartości w naszym tensorze. Zakres, którego używamy, jest zawsze wyśrodkowany na 0, więc znajdujemy m takie, że

  m = max(abs(input_min), abs(input_max))

Nasz zakres tensora wejściowego wynosi wówczas [-m, m] .

Następnie wybieramy nasze zestawy kwantyzacji stałoprzecinkowej [min_fixed, max_fixed] . Jeśli T jest podpisane, tak jest

  num_bits = sizeof(T) * 8
  [min_fixed, max_fixed] =
      [-(1 << (num_bits - 1) - 1), (1 << (num_bits - 1)) - 1]

W przeciwnym razie, jeśli T jest bez znaku, zakres stałoprzecinkowy jest

  [min_fixed, max_fixed] = [0, (1 << num_bits) - 1]

Na tej podstawie obliczamy nasz współczynnik skalowania, s:

  s = (max_fixed - min_fixed) / (2 * m)

Teraz możemy skwantyzować elementy naszego tensora:

result = round(input * s)

Jedną z rzeczy, na którą należy zwrócić uwagę, jest to, że operator może zdecydować się na nieznaczne dostosowanie żądanych wartości minimalnych i maksymalnych podczas procesu kwantyzacji, dlatego należy zawsze używać portów wyjściowych jako zakresu do dalszych obliczeń. Na przykład, jeśli żądane wartości minimalne i maksymalne są prawie równe, zostaną oddzielone małą wartością epsilon, aby zapobiec tworzeniu się źle utworzonych skwantowanych buforów. W przeciwnym razie możesz otrzymać bufory, w których wszystkie skwantowane wartości są odwzorowywane na tę samą wartość zmiennoprzecinkową, co powoduje problemy dla operacji, które muszą wykonywać na nich dalsze obliczenia.

Argumenty:

• zakres: Obiekt Scope
• min_range: Minimalna wartość skalarna, jaka może zostać wygenerowana dla wejścia.
• max_range: Maksymalna wartość skalarna, jaką można uzyskać dla wejścia.

Zwroty:

• Wyjście Output : skwantowane dane generowane z wejścia pływakowego.
• Output Output_min: Rzeczywista minimalna wartość skalarna używana na wyjściu.
• Output Output_max: Rzeczywista maksymalna wartość skalarna używana na wyjściu.

Atrybuty publiczne

Operation operation

::tensorflow::Output output

::tensorflow::Output output_max

::tensorflow::Output output_min

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T
)

 QuantizeV2(
  const ::tensorflow::Scope & scope,
  ::tensorflow::Input input,
  ::tensorflow::Input min_range,
  ::tensorflow::Input max_range,
  DataType T,
  const QuantizeV2::Attrs & attrs
)

Attrs Mode(
  StringPiece x
)

Attrs RoundMode(
  StringPiece x
)