Kunskapsdestillation

Vad lär sig den mindre modellen av läraren?

Kunskapsdestillation tränar en målmodell med information om beteendet hos en lärarmodell eller en grupp modeller. Det kan vara utdata eller sannolikhetsfördelningar. Målmodellen, även kallad elevmodellen, är ofta mindre och ska utföra den nödvändiga uppgiften med lägre resursåtgång i drift. Beteende för de valda träningsuppgifterna överförs; det innebär inte ett fullständigt identiskt kunskapsinnehåll. Kvantisering ändrar däremot den numeriska representationen av modellvärden.

I ett fiktivt projekt ska en lärarmodell skapa korta anteckningar för vidarebefordran av serviceärenden, med ärendet och den saknade uppgiften. Anteckningarna kontrolleras mot ursprungsmeddelandena innan de används som träningsmaterial. Om läraren hittar på information eller missar en befintlig uppgift kan målmodellen ta över felet. Den senare bedömningen använder andra meddelanden som inte används i träningen. De förväntade resultaten fastställs utifrån verksamhetens krav. Då går det att undersöka om nödvändigt innehåll bevaras och saknad information fortfarande behandlas som saknad.

Källor

• Hinton et al. · Distilling the Knowledge in a Neural Network