Optimasi Kolaboratif

_{Dikelola oleh Arm ML Tooling}

Dokumen ini memberikan gambaran umum tentang API eksperimental untuk menggabungkan berbagai teknik guna mengoptimalkan model pembelajaran mesin untuk penerapan.

Ringkasan

Pengoptimalan kolaboratif adalah proses menyeluruh yang mencakup berbagai teknik untuk menghasilkan model yang, pada penerapannya, menunjukkan keseimbangan terbaik antara karakteristik target seperti kecepatan inferensi, ukuran model, dan akurasi.

Ide optimasi kolaboratif adalah untuk membangun teknik individual dengan menerapkannya satu demi satu untuk mencapai efek optimasi yang terakumulasi. Berbagai kombinasi optimasi berikut dimungkinkan:

• Pemangkasan berat badan
• Pengelompokan berat badan

• Kuantisasi

  • Kuantisasi pasca pelatihan
  • Pelatihan sadar kuantisasi (QAT)

Permasalahan yang muncul ketika mencoba menggabungkan teknik-teknik ini adalah bahwa penerapan salah satu teknik biasanya akan merusak hasil teknik sebelumnya, sehingga merusak manfaat keseluruhan penerapan semuanya secara bersamaan; misalnya, pengelompokan tidak mempertahankan ketersebaran yang disebabkan oleh API pemangkasan. Untuk mengatasi masalah ini, kami memperkenalkan teknik optimasi kolaboratif eksperimental berikut:

• Pengelompokan yang melestarikan ketersebaran
• Pelatihan sadar kuantisasi pelestarian ketersebaran (PQAT)
• Pelatihan sadar kuantisasi pelestarian klaster (CQAT)
• Pelatihan sadar kuantisasi ketersebaran dan pelestarian klaster

Ini menyediakan beberapa jalur penerapan yang dapat digunakan untuk mengompresi model pembelajaran mesin dan memanfaatkan akselerasi perangkat keras pada waktu inferensi. Diagram di bawah menunjukkan beberapa jalur penerapan yang dapat dieksplorasi dalam mencari model dengan karakteristik penerapan yang diinginkan, dengan node daun merupakan model siap penerapan, yang berarti model tersebut terkuantisasi sebagian atau seluruhnya dan dalam format tflite. Isian hijau menunjukkan langkah-langkah yang memerlukan pelatihan ulang/penyempurnaan dan batas merah putus-putus menyoroti langkah-langkah pengoptimalan kolaboratif. Teknik yang digunakan untuk mendapatkan model pada node tertentu ditunjukkan pada label yang sesuai.

Jalur penerapan langsung, hanya kuantisasi (pasca pelatihan atau QAT) dihilangkan pada gambar di atas.

Idenya adalah untuk mencapai model yang dioptimalkan sepenuhnya pada tingkat ketiga dari pohon penerapan di atas; namun, tingkat pengoptimalan lainnya terbukti memuaskan dan mencapai trade-off latensi/akurasi inferensi yang diperlukan, sehingga tidak diperlukan pengoptimalan lebih lanjut. Proses pelatihan yang disarankan adalah menelusuri tingkat pohon penerapan yang berlaku untuk skenario penerapan target secara berulang dan melihat apakah model memenuhi persyaratan latensi inferensi dan, jika tidak, gunakan teknik pengoptimalan kolaboratif yang sesuai untuk mengompresi model lebih jauh dan mengulanginya. hingga model sepenuhnya dioptimalkan (dipangkas, dikelompokkan, dan dikuantisasi), jika diperlukan.

Gambar di bawah menunjukkan plot kepadatan kernel berat sampel yang melewati jalur optimasi kolaboratif.

Hasilnya adalah model penerapan terkuantisasi dengan jumlah nilai unik yang berkurang serta sejumlah bobot sparse yang signifikan, bergantung pada target sparsity yang ditentukan pada waktu pelatihan. Selain keunggulan kompresi model yang signifikan, dukungan perangkat keras tertentu dapat memanfaatkan model yang jarang dan terkelompok ini untuk mengurangi latensi inferensi secara signifikan.

Hasil

Berikut adalah beberapa hasil akurasi dan kompresi yang kami peroleh saat bereksperimen dengan jalur pengoptimalan kolaboratif PQAT dan CQAT.

Pelatihan Sadar Kuantisasi Pelestarian Ketersebaran (PQAT)

Pelatihan Sadar Kuantisasi Pelestarian Klaster (CQAT)

Hasil CQAT dan PCQAT untuk model yang dikelompokkan per saluran

Hasil di bawah ini diperoleh dengan teknik clustering per channel . Mereka menggambarkan bahwa jika lapisan konvolusional model dikelompokkan per saluran, maka akurasi model akan lebih tinggi. Jika model Anda memiliki banyak lapisan konvolusional, sebaiknya lakukan pengelompokan per saluran. Rasio kompresinya tetap sama, namun akurasi model akan lebih tinggi. Pipa pengoptimalan model adalah 'clustered -> cluster melestarikan QAT -> kuantisasi pasca pelatihan, int8' dalam eksperimen kami.

Contoh

Untuk contoh end-to-end teknik pengoptimalan kolaboratif yang dijelaskan di sini, lihat buku catatan contoh CQAT , PQAT , sparsity-preserving clustering , dan PCQAT .