Agrupamiento en clústeres por peso

_{Mantenido por Arm ML Tooling}

En este documento, se proporciona una descripción general sobre el agrupamiento en clústeres por peso para que puedas determinar cómo se adapta a tu caso de uso.

• Para conocer en profundidad un ejemplo de extremo a extremo, consulta el ejemplo de agrupamiento en clústeres por peso.
• A fin de encontrar rápidamente las API que necesitas para tu caso de uso, consulta la guía completa de agrupamiento en clústeres por peso.

Resumen

El agrupamiento en clústeres, o el uso de pesos compartidos, reduce la cantidad de valores de peso únicos en un modelo, lo que genera beneficios para la implementación. Primero, agrupa los pesos de cada capa en N clústeres; luego, comparte el valor centroide del clúster con todos los pesos que pertenecen al clúster.

Esta técnica permite realizar mejoras mediante la compresión de modelos. La compatibilidad con marcos de trabajo en el futuro puede desbloquear mejoras en el uso de la memoria, que marquen una diferencia crucial para implementar modelos de aprendizaje profundo en sistemas incorporados con recursos limitados.

Experimentamos con la agrupación en clústeres en las tareas de visión y de voz. Observamos hasta 5 mejoras en la compresión de modelos con una pérdida de exactitud mínima, como se demuestra en los resultados de más abajo.

Ten en cuenta que la agrupación en clústeres brinda beneficios limitados para capas densas y convolucionales que preceden a una capa de normalización por lotes, así como también, en combinación con la cuantización por eje posterior al entrenamiento.

Matriz de compatibilidad de API

Los usuarios pueden aplicar el agrupamiento en clústeres con las siguientes API:

• Compilación de modelos: tf.keras solo con modelos secuenciales y funcionales
• Versiones de TensorFlow: TF 1.x para las versiones 2.x y las posteriores a 1.14.
  • tf.compat.v1 con un paquete TF 2.X y tf.compat.v2 con un paquete TF 1.X no son compatibles
• Modo de ejecución de TensorFlow: inmediata y por grafos

Resultados

Clasificación de imágenes

Los modelos se entrenaron y probaron en ImageNet.

Detección de palabras clave

El modelo se entrenó y probó en SpeechCommands v0.02.

1. Serializa el modelo de Keras a un archivo .h5.
2. Convierte el archivo .h5 en .tflite con TFLiteConverter.from_keras_model_file()
3. Comprime el archivo .tflite en un archivo ZIP

Ejemplos

Además del ejemplo de agrupamiento en clústeres de Keras, puedes consultar los siguientes ejemplos:

• Agrupa los pesos de un modelo de CNN entrenado con el conjunto de datos de clasificación de dígitos escritos a mano de MNIST: código

La implementación del agrupamiento en clústeres por peso se basa en el artículo Deep Compression: Compressing Deep Neural Networks With Pruning, Trained Quantization and Huffman Coding (Compresión profunda: Compresión de redes neuronales profundas con reducción, cuantización entrenada y codificación Huffman). Consulta el capítulo 3, titulado Trained Quantization and Weight Sharing (La cuantización entrenada y el uso de pesos compartidos).