Cuantización de modelos

¿Qué valores del modelo se representan de forma más compacta?

La cuantización representa los pesos y, en algunos métodos, valores intermedios con menos bits. Así, los datos del modelo pueden necesitar menos memoria mientras se mantiene el número de parámetros. La representación menos precisa puede cambiar los resultados. Que los cálculos sean más rápidos depende también del hardware, del entorno de ejecución y del método. Un archivo de modelo menor no describe, por tanto, toda la memoria que necesita una aplicación en marcha.

Un equipo ficticio planea resumir informes de servicio localmente para una visión interna. Quiere comparar una versión con pesos de 16 bits con una versión cuantizada de 8 bits del mismo modelo base. La instrucción y los informes aprobados se mantienen iguales en la comparación prevista. Se examinan pasos de trabajo omitidos y añadidos inventados, junto con la memoria realmente utilizada y el tiempo de respuesta en el ordenador previsto. Esa evaluación conjunta permite determinar si la variante cumple la tarea con los recursos disponibles.

Fuentes

• Hugging Face Transformers · Quantization concepts