Distillation de connaissances

Qu’apprend le petit modèle de son enseignant ?

La distillation de connaissances entraîne un modèle cible à partir d’informations sur le comportement d’un modèle enseignant ou d’un groupe de modèles. Il peut s’agir de sorties ou de distributions de probabilités. Le modèle cible, aussi appelé modèle élève, est souvent plus petit et doit effectuer la tâche requise avec moins de ressources d’exploitation. Le transfert porte sur le comportement pour les tâches d’entraînement choisies ; il n’implique pas un savoir complet et identique. La quantification modifie, elle, la représentation numérique des valeurs du modèle.

Dans un projet fictif, un modèle enseignant doit produire de brèves notes d’orientation des demandes de service, indiquant le besoin et l’information manquante. Les notes sont vérifiées par rapport aux messages d’origine avant de servir à l’entraînement. Si l’enseignant invente une information ou néglige un détail présent, le modèle cible pourrait reprendre cette erreur. L’évaluation ultérieure utilise d’autres messages non utilisés pour l’entraînement, avec des attentes définies sur le plan métier. Elle permet d’examiner si le contenu nécessaire est préservé et si une information manquante reste traitée comme telle.

Sources

• Hinton et al. · Distilling the Knowledge in a Neural Network