Quantification d’un modèle

Quelles valeurs du modèle sont représentées plus simplement ?

La quantification représente les poids et, dans certaines méthodes, les valeurs intermédiaires avec moins de bits. Les données du modèle peuvent ainsi nécessiter moins de mémoire, sans changer le nombre de paramètres. Cette représentation moins précise peut modifier les résultats. L’accélération des calculs dépend aussi du matériel, de l’environnement d’exécution et de la méthode. Un fichier de modèle plus petit ne décrit donc pas la mémoire totale nécessaire à une application en fonctionnement.

Une équipe fictive prévoit de résumer localement des rapports de service pour une vue d’ensemble interne. Elle veut comparer une version aux poids sur 16 bits à une version quantifiée sur 8 bits du même modèle de base. La consigne et les rapports approuvés restent identiques pour la comparaison prévue. L’examen porte sur les étapes de travail omises et les ajouts inventés, ainsi que sur la mémoire réellement utilisée et le délai de réponse sur l’ordinateur visé. Cette évaluation conjointe montre si la variante remplit la tâche avec les ressources disponibles.

Sources

• Hugging Face Transformers · Quantization concepts