Quantize

MIN_COMBINED 모드 예

입력이 float 유형이고 가능한 범위가 [0.0, 6.0]이고 출력 유형이 quint8 ([0, 255])이라고 가정합니다. min_range 및 max_range 값은 0.0 및 6.0으로 지정되어야 합니다. float에서 quint8로 양자화하면 입력의 각 값에 255/6을 곱하고 quint8로 변환됩니다.

출력 유형이 qint8([-128, 127])인 경우 작업은 캐스팅 전에 각 값을 128씩 추가로 빼므로 값 범위가 qint8의 범위와 일치합니다.

모드가 'MIN_FIRST'인 경우 다음 접근 방식이 사용됩니다.

num_discrete_values = 1 << (# of bits in T)
 range_adjust = num_discrete_values / (num_discrete_values - 1)
 range = (range_max - range_min) * range_adjust
 range_scale = num_discrete_values / range
 quantized = round(input * range_scale) - round(range_min * range_scale) +
   numeric_limits<T>::min()
 quantized = max(quantized, numeric_limits<T>::min())
 quantized = min(quantized, numeric_limits<T>::max())
 

스케일 모드 예

`SCALED` 모드는 `QuantizeAndDeQuantize{V2|V3}`에 사용된 양자화 접근 방식과 일치합니다.

모드가 'SCALED'인 경우 각 입력 값에 scale_factor를 곱하여 양자화를 수행합니다. scale_factor는 'min_range'에서 'max_range'까지의 범위가 T 유형의 값 내에서 표현 가능하도록 'min_range' 및 'max_range'에서 최대한 크게 결정됩니다.

const int min_T = std::numeric_limits<T>::min();
   const int max_T = std::numeric_limits<T>::max();
   const float max_float = std::numeric_limits<float>::max();
 
   const float scale_factor_from_min_side =
       (min_T * min_range > 0) ? min_T / min_range : max_float;
   const float scale_factor_from_max_side =
       (max_T * max_range > 0) ? max_T / max_range : max_float;
 
   const float scale_factor = std::min(scale_factor_from_min_side,
                                       scale_factor_from_max_side);
 

min_range = min_T / scale_factor;
       max_range = max_T / scale_factor;
 

따라서 (-10, 9.921875) ~ (-128, 127) 범위의 입력 값을 양자화하겠습니다.

이제 'min_range'에서 'max_range' 범위로 값을 잘라낸 다음 scale_factor를 다음과 같이 곱하여 입력 텐서를 양자화할 수 있습니다.

result = round(min(max_range, max(min_range, input)) * scale_factor)
 

Narrow_range(부울) 속성

true인 경우 최소 양자화된 값을 사용하지 않습니다. 즉, int8 양자화된 출력의 경우 전체 -128..127 범위 대신 -127..127 범위로 제한됩니다. 이는 특정 추론 백엔드와의 호환성을 위해 제공됩니다. (SCALED 모드에만 적용됩니다)

축(int) 속성

선택적 '축' 속성은 입력 텐서의 차원 인덱스를 지정할 수 있으므로 양자화 범위는 해당 차원을 따라 텐서의 각 조각에 대해 별도로 계산되고 적용됩니다. 이는 채널별 양자화에 유용합니다.

축이 지정되면 min_range 및 max_range

`axis`=None인 경우, 텐서당 양자화가 정상적으로 수행됩니다.

verify_minimum_range(부동 소수점) 속성

최소 양자화 범위가 이 값 이상인지 확인합니다. 이에 대한 레거시 기본값은 0.01이지만 새로운 용도로 사용하려면 0으로 설정하는 것이 좋습니다.