Quantize

ตัวอย่างโหมด MIN_COMBINED

สมมติว่าอินพุตเป็นประเภท float และมีช่วงที่เป็นไปได้ [0.0, 6.0] และประเภทเอาต์พุตคือ quint8 ([0, 255]) ค่า min_range และ max_range ควรระบุเป็น 0.0 และ 6.0 การหาปริมาณจาก float ถึง quint8 จะคูณแต่ละค่าของอินพุตด้วย 255/6 และแปลงเป็น quint8

หากประเภทเอาต์พุตคือ qint8 ([-128, 127]) การดำเนินการจะลบแต่ละค่าเพิ่มเติมด้วย 128 ก่อนการแคสต์ เพื่อให้ช่วงของค่าสอดคล้องกับช่วงของ qint8

หากโหมดเป็น 'MIN_FIRST' แสดงว่ามีการใช้แนวทางนี้:

num_discrete_values = 1 << (# of bits in T)
 range_adjust = num_discrete_values / (num_discrete_values - 1)
 range = (range_max - range_min) * range_adjust
 range_scale = num_discrete_values / range
 quantized = round(input * range_scale) - round(range_min * range_scale) +
   numeric_limits<T>::min()
 quantized = max(quantized, numeric_limits<T>::min())
 quantized = min(quantized, numeric_limits<T>::max())
 

ตัวอย่างโหมด SCALED

โหมด `SCALED` ตรงกับวิธีการเชิงปริมาณที่ใช้ใน `QuantizeAndDequantize{V2|V3}`

หากโหมดเป็น "SCALED" การหาปริมาณจะดำเนินการโดยการคูณค่าอินพุตแต่ละรายการด้วย scaling_factor scaling_factor จะกำหนดจาก `min_range` และ `max_range` ให้มีขนาดใหญ่ที่สุดเท่าที่จะเป็นไปได้ โดยที่ช่วงตั้งแต่ `min_range` ถึง `max_range` จะสามารถแสดงได้ภายในค่าประเภท T

const int min_T = std::numeric_limits<T>::min();
   const int max_T = std::numeric_limits<T>::max();
   const float max_float = std::numeric_limits<float>::max();
 
   const float scale_factor_from_min_side =
       (min_T * min_range > 0) ? min_T / min_range : max_float;
   const float scale_factor_from_max_side =
       (max_T * max_range > 0) ? max_T / max_range : max_float;
 
   const float scale_factor = std::min(scale_factor_from_min_side,
                                       scale_factor_from_max_side);
 

min_range = min_T / scale_factor;
       max_range = max_T / scale_factor;
 

ดังนั้นเราจะหาปริมาณค่าอินพุตในช่วง (-10, 9.921875) ถึง (-128, 127)

ขณะนี้เทนเซอร์อินพุตสามารถหาปริมาณได้โดยการตัดค่าให้อยู่ในช่วง "min_range" ถึง "max_range" จากนั้นคูณด้วย scale_factor ดังนี้

result = round(min(max_range, max(min_range, input)) * scale_factor)
 

แอตทริบิวต์ช่วงแคบ (บูล)

หากเป็นจริง เราจะไม่ใช้ค่าเชิงปริมาณขั้นต่ำ เช่น สำหรับ int8 เอาต์พุตเชิงปริมาณ มันจะถูกจำกัดไว้ที่ช่วง -127..127 แทนที่จะเป็นช่วง -128..127 เต็ม มีไว้เพื่อให้เข้ากันได้กับแบ็กเอนด์การอนุมานบางอย่าง (ใช้กับโหมด SCALED เท่านั้น)

แอตทริบิวต์แกน (int)

แอตทริบิวต์ "แกน" ที่เป็นตัวเลือกสามารถระบุดัชนีขนาดของเทนเซอร์อินพุตได้ เพื่อให้ช่วงการหาปริมาณได้รับการคำนวณและใช้แยกกันสำหรับแต่ละส่วนของเมตริกซ์ตามมิตินั้น สิ่งนี้มีประโยชน์สำหรับการหาปริมาณต่อช่องสัญญาณ

หากระบุแกน ให้ใช้ min_range และ max_range

ถ้า `แกน`=ไม่มี การหาปริมาณต่อเทนเซอร์จะดำเนินการตามปกติ

แอตทริบิวต์ Sure_minimum_range (float)

ตรวจสอบให้แน่ใจว่าช่วงการหาปริมาณขั้นต่ำเป็นค่านี้อย่างน้อย ค่าเริ่มต้นดั้งเดิมสำหรับสิ่งนี้คือ 0.01 แต่ขอแนะนำอย่างยิ่งให้ตั้งค่าเป็น 0 สำหรับการใช้งานใหม่