Distillazione della conoscenza

Che cosa impara il modello piccolo dall’insegnante?

La distillazione della conoscenza addestra un modello destinatario con informazioni sul comportamento di un modello insegnante o di un gruppo di modelli. Possono essere output o distribuzioni di probabilità. Il destinatario, detto anche modello allievo, è spesso più piccolo e dovrebbe svolgere il compito richiesto con minori risorse operative. Viene trasferito un comportamento per i compiti di addestramento scelti; non ne deriva una conoscenza completa e identica. La quantizzazione modifica invece la rappresentazione numerica dei valori del modello.

In un progetto fittizio, un modello insegnante deve produrre brevi note per inoltrare segnalazioni di assistenza, riportando la richiesta e l’informazione mancante. Le note vengono controllate sui messaggi originali prima di usarle per l’addestramento. Se l’insegnante inventa un’informazione o trascura un dettaglio presente, il modello destinatario potrebbe riprendere l’errore. La successiva valutazione usa altri messaggi non usati per l’addestramento, con aspettative definite sul piano operativo. Si può così esaminare se i contenuti necessari restino presenti e le informazioni mancanti continuino a essere trattate come tali.

Fonti

• Hinton et al. · Distilling the Knowledge in a Neural Network