Quantize

مثال حالت MIN_COMBINED

فرض کنید ورودی از نوع float است و دارای محدوده احتمالی [0.0، 6.0] و نوع خروجی quint8 است ([0، 255]). مقادیر min_range و max_range باید به صورت 0.0 و 6.0 مشخص شوند. کوانتیز کردن از float به quint8 هر مقدار ورودی را در 255/6 ضرب می‌کند و به quint8 تبدیل می‌شود.

اگر نوع خروجی qint8 بود ([-128, 127])، عملیات علاوه بر این، قبل از ریخته‌گری، هر مقدار را 128 کم می‌کند، به طوری که محدوده مقادیر با محدوده qint8 همسو می‌شود.

اگر حالت "MIN_FIRST" باشد، از این روش استفاده می شود:

num_discrete_values = 1 << (# of bits in T)
 range_adjust = num_discrete_values / (num_discrete_values - 1)
 range = (range_max - range_min) * range_adjust
 range_scale = num_discrete_values / range
 quantized = round(input * range_scale) - round(range_min * range_scale) +
   numeric_limits<T>::min()
 quantized = max(quantized, numeric_limits<T>::min())
 quantized = min(quantized, numeric_limits<T>::max())
 

حالت SCALED مثال

حالت «مقیاس‌شده» با رویکرد کمی‌سازی مورد استفاده در «QuantizeAndDequantize{V2|V3}» مطابقت دارد.

اگر حالت "مقیاس" باشد، کمی سازی با ضرب هر مقدار ورودی در یک scaling_factor انجام می شود. ضریب_مقیاس‌سازی از «مین_محدوده» و «محدوده_حداکثر» تعیین می‌شود تا حد امکان بزرگ باشد به طوری که محدوده «مین_محدوده» تا «محدوده_حداکثر» در مقادیر نوع T قابل نمایش باشد.

const int min_T = std::numeric_limits<T>::min();
   const int max_T = std::numeric_limits<T>::max();
   const float max_float = std::numeric_limits<float>::max();
 
   const float scale_factor_from_min_side =
       (min_T * min_range > 0) ? min_T / min_range : max_float;
   const float scale_factor_from_max_side =
       (max_T * max_range > 0) ? max_T / max_range : max_float;
 
   const float scale_factor = std::min(scale_factor_from_min_side,
                                       scale_factor_from_max_side);
 

min_range = min_T / scale_factor;
       max_range = max_T / scale_factor;
 

بنابراین مقادیر ورودی را در محدوده (-10، 9.921875) تا (128-127) کوانتیزه می کنیم.

اکنون می‌توان تانسور ورودی را با برش مقادیر در محدوده «min_range» تا «max_range» کمی‌سازی کرد، سپس در scale_factor به صورت زیر ضرب کرد:

result = round(min(max_range, max(min_range, input)) * scale_factor)
 

خصیصه narrow_range (bool).

اگر درست باشد، از حداقل مقدار کوانتیزه استفاده نمی کنیم. یعنی برای int8 خروجی کوانتیزه شده، به جای محدوده کامل -128..127 به محدوده -127..127 محدود می شود. این برای سازگاری با باطن استنتاج خاصی ارائه شده است. (فقط برای حالت SCALED اعمال می شود)

ویژگی محور (int).

یک ویژگی اختیاری «محور» می‌تواند یک شاخص بعد تانسور ورودی را مشخص کند، به طوری که محدوده‌های کوانتیزاسیون به طور جداگانه برای هر برش از تانسور در امتداد آن بعد محاسبه و اعمال می‌شود. این برای کوانتیزاسیون هر کانال مفید است.

اگر محور مشخص شده باشد، min_range و max_range

اگر «محور»=هیچ‌کدام، کوانتیزاسیون هر تانسور به طور معمول انجام می‌شود.

ویژگی sure_minimum_range (float).

اطمینان حاصل می کند که حداقل محدوده کوانتیزاسیون حداقل این مقدار است. مقدار پیش‌فرض قدیمی برای این 0.01 است، اما اکیداً پیشنهاد می‌شود آن را برای استفاده‌های جدید روی 0 تنظیم کنید.