Kennisdistillatie

Wat leert het kleinere model van de leraar?

Kennisdistillatie traint een doelmodel met informatie over het gedrag van een leraarmodel of een groep modellen. Dat kunnen uitvoer of kansverdelingen zijn. Het doelmodel, ook leerlingmodel genoemd, is vaak kleiner en moet de benodigde taak met minder operationele middelen uitvoeren. Er wordt gedrag voor de gekozen trainingstaken overgedragen; dat betekent geen volledige, identieke kennisinhoud. Kwantisatie verandert daarentegen de numerieke weergave van modelwaarden.

In een fictief project moet een leraarmodel korte doorstuurnotities voor servicemeldingen maken, met de vraag en ontbrekende informatie. De notities worden vóór gebruik als trainingsmateriaal tegen de oorspronkelijke meldingen gecontroleerd. Verzint het leraarmodel informatie of ziet het een aanwezig gegeven over het hoofd, dan kan het doelmodel die fout overnemen. Voor de latere beoordeling worden andere, niet voor de training gebruikte meldingen met inhoudelijk vastgelegde verwachtingen gebruikt. Zo kan worden onderzocht of de benodigde inhoud behouden blijft en ontbrekende informatie nog steeds als ontbrekend wordt behandeld.

Bronnen

• Hinton et al. · Distilling the Knowledge in a Neural Network