Vidensdestillation

Hvad lærer den mindre model af læreren?

Vidensdestillation træner en målmodel med oplysninger om adfærden i en lærermodel eller en gruppe modeller. Det kan være output eller sandsynlighedsfordelinger. Målmodellen, også kaldet elevmodellen, er ofte mindre og skal løse den nødvendige opgave med færre driftsressourcer. Der overføres adfærd for de valgte træningsopgaver; det betyder ikke et fuldstændigt identisk vidensindhold. Kvantisering ændrer derimod den numeriske gengivelse af modelværdier.

I et fiktivt projekt skal en lærermodel lave korte videresendelsesnoter til servicehenvendelser med behovet og den manglende oplysning. Noterne kontrolleres mod de oprindelige henvendelser, før de bruges som træningsmateriale. Hvis læreren opfinder oplysninger eller overser en eksisterende oplysning, kan målmodellen overtage fejlen. Den senere vurdering bruger andre henvendelser, som ikke indgår i træningen. Forventningerne til dem fastlægges fagligt. Dermed kan man undersøge, om nødvendigt indhold bevares, og manglende oplysninger fortsat behandles som manglende.

Kilder

• Hinton et al. · Distilling the Knowledge in a Neural Network