Destilación de conocimiento

¿Qué aprende el modelo pequeño del profesor?

La destilación de conocimiento entrena un modelo objetivo con información sobre el comportamiento de un modelo profesor o un grupo de modelos. Puede incluir salidas o distribuciones de probabilidad. El modelo objetivo, también llamado alumno, suele ser menor y se pretende que realice la tarea con menos recursos operativos. Se transfiere comportamiento para las tareas de entrenamiento elegidas; no implica un conocimiento completo e idéntico. La cuantización, en cambio, modifica la representación numérica de los valores del modelo.

En un proyecto ficticio, un modelo profesor debe producir breves notas para derivar avisos de servicio, indicando la solicitud y la información ausente. Antes de usarlas como material de entrenamiento, se comprueban con los mensajes originales. Si el profesor inventa información u omite un detalle presente, el modelo objetivo podría heredar ese error. La evaluación posterior utiliza otros mensajes no utilizados en el entrenamiento, con expectativas definidas operativamente. Así se examina si se conserva el contenido necesario y si la información ausente sigue tratándose como ausente.

Fuentes

• Hinton et al. · Distilling the Knowledge in a Neural Network