Aşağıdaki belge TensorFlow Lite'ın 8 bit niceleme şemasının özelliklerini özetlemektedir. Bunun amacı, donanım geliştiricilerinin nicelenmiş TensorFlow Lite modelleri ile çıkarım için donanım desteği sağlamalarına yardımcı olmaktır.
Şartname özeti
Bir spesifikasyon sağlıyoruz ve yalnızca spesifikasyona uyulması durumunda davranışa ilişkin bazı garantiler verebiliriz. Ayrıca, farklı donanımların, spesifikasyonu uygularken tam olarak bit olmayan uygulamalarla sonuçlanan hafif sapmalara neden olabilecek tercih ve kısıtlamalara sahip olabileceğini de anlıyoruz. Bu çoğu durumda kabul edilebilir olsa da (ve bilgimiz dahilinde çeşitli modellerden topladığımız işlem başına toleransları içeren bir dizi test sunacağız), makine öğreniminin doğası (ve en yaygın olarak derin öğrenme) durumda) herhangi bir kesin garanti verilmesini imkansız hale getirir.
8 bitlik nicemleme, aşağıdaki formülü kullanarak kayan nokta değerlerine yaklaşır.
\[real\_value = (int8\_value - zero\_point) \times scale\]
Eksen başına (diğer bir deyişle Dönüşüm işlemlerinde kanal başına) veya tensör başına ağırlıklar, sıfır noktası 0'a eşit olacak şekilde int8 ikinin [-127, 127] aralığındaki tamamlayıcı değerleri ile temsil edilir. Tensör başına aktivasyonlar/girişler şu şekilde temsil edilir: int8 two'nun tamamlayıcı değerleri [-128, 127] aralığında, sıfır noktası ise [-128, 127] aralığındadır.
Aşağıda belgelenen belirli işlemler için başka istisnalar da vardır.
İşaretli tam sayı ve işaretsiz tam sayı
TensorFlow Lite nicelemesi öncelikle 8 bit için int8 nicelemesi için araçlara ve çekirdeklere öncelik verecektir. Bu, 0'a eşit sıfır noktasıyla temsil edilen simetrik nicelemenin rahatlığı içindir. Ayrıca birçok arka uçta int8xint8 birikimi için ek optimizasyonlar bulunur.
Eksen başına ve tensör başına
Tensör başına nicemleme, tüm tensör başına bir ölçek ve/veya sıfır noktası olacağı anlamına gelir. Eksen başına niceleme, quantized_dimension dilim başına bir ölçek ve/veya zero_point olacağı anlamına gelir. Nicelenmiş boyut, ölçeklerin ve sıfır noktalarının karşılık geldiği Tensör şeklinin boyutunu belirtir. Örneğin, niceleme parametrelerine sahip dims=[4, 3, 2, 1] olan bir tensör t : scale=[1.0, 2.0, 3.0] , zero_point=[1, 2, 3] , quantization_dimension=1 genelinde nicelenecektir. t ikinci boyutu:
t[:, 0, :, :] will have scale[0]=1.0, zero_point[0]=1
t[:, 1, :, :] will have scale[1]=2.0, zero_point[1]=2
t[:, 2, :, :] will have scale[2]=3.0, zero_point[2]=3
Çoğu zaman, quantized_dimension evrişimlerin ağırlıklarının output_channel olur, ancak teoride, çekirdek uygulamasındaki her bir nokta çarpımına karşılık gelen boyut olabilir ve performans sonuçları olmadan daha fazla niceleme ayrıntı düzeyine izin verir. Bunun doğruluk açısından büyük iyileştirmeleri var.
TFLite, giderek artan sayıda operasyon için eksen başına desteğe sahiptir. Bu belgenin yayınlandığı tarihte Conv2d ve DepthwiseConv2d için destek mevcuttur.
Simetrik ve asimetrik
Aktivasyonlar asimetriktir: sıfır noktaları imzalı int8 aralığı [-128, 127] dahilinde herhangi bir yerde olabilir. Pek çok aktivasyon doğası gereği asimetriktir ve sıfır noktası, ekstra bir ikili kesinliğe etkili bir şekilde ulaşmanın nispeten ucuz bir yoludur. Aktivasyonlar yalnızca sabit ağırlıklarla çarpıldığından, sabit sıfır noktası değeri oldukça yoğun bir şekilde optimize edilebilir.
Ağırlıklar simetriktir: sıfır noktasının 0'a eşit olması zorunludur. Ağırlık değerleri dinamik giriş ve aktivasyon değerleriyle çarpılır. Bu, ağırlığın sıfır noktasının aktivasyon değeriyle çarpılmasının kaçınılmaz bir çalışma süresi maliyeti olduğu anlamına gelir. Sıfır noktasının 0 olmasını zorunlu kılarak bu maliyeti önleyebiliriz.
Matematiğin açıklaması: bu, ölçek değerlerinin eksen başına olmasına izin vermemiz farkı dışında arXiv:1712.05877'deki bölüm 2.3'e benzer. Bu, aşağıdaki şekilde kolayca genelleştirilir:
\(A\) bir \(m \times n\) nicelenmiş aktivasyonların matrisi.
\(B\) bir \(n \times p\) nicelenmiş ağırlıkların matrisi.
Çarpmayı düşünün \(j\)sıra \(A\), \(a_j\) tarafından \(k\)inci sütunu\(B\), \(b_k\), her ikisi de uzunlukta \(n\). Nicelenmiş tamsayı değerleri ve sıfır noktası değerleri \(q_a\), \(z_a\) Ve \(q_b\), \(z_b\) sırasıyla.
\[a_j \cdot b_k = \sum_{i=0}^{n} a_{j}^{(i)} b_{k}^{(i)} = \sum_{i=0}^{n} (q_{a}^{(i)} - z_a) (q_{b}^{(i)} - z_b) = \sum_{i=0}^{n} q_{a}^{(i)} q_{b}^{(i)} - \sum_{i=0}^{n} q_{a}^{(i)} z_b - \sum_{i=0}^{n} q_{b}^{(i)} z_a + \sum_{i=0}^{n} z_a z_b\]