Kunnskapsdestillasjon

Hva lærer den mindre modellen av læreren?

Kunnskapsdestillasjon trener en målmodell med informasjon om atferden til en lærermodell eller en gruppe modeller. Det kan være utdata eller sannsynlighetsfordelinger. Målmodellen, også kalt elevmodellen, er ofte mindre og skal utføre den nødvendige oppgaven med færre driftsressurser. Atferd for de valgte treningsoppgavene overføres; det betyr ikke et fullstendig identisk kunnskapsinnhold. Kvantisering endrer derimot den numeriske representasjonen av modellverdier.

I et fiktivt prosjekt skal en lærermodell lage korte videresendingsnotater til servicehenvendelser med behovet og den manglende opplysningen. Notatene kontrolleres mot de opprinnelige henvendelsene før de brukes som treningsmateriale. Hvis læreren finner på informasjon eller overser en eksisterende opplysning, kan målmodellen overta feilen. Den senere vurderingen bruker andre henvendelser, som ikke brukes i treningen. Forventningene til dem fastsettes av fagpersoner. Dermed kan man undersøke om nødvendig innhold bevares, og om manglende opplysninger fortsatt behandles som manglende.

Kilder

• Hinton et al. · Distilling the Knowledge in a Neural Network