Wissensdestillation

Was lernt das kleinere Modell vom Lehrer?

Wissensdestillation trainiert ein Zielmodell anhand von Verhaltensinformationen eines Lehrermodells oder einer Modellgruppe. Dazu können Ausgaben oder Wahrscheinlichkeitsverteilungen gehören. Das Zielmodell, auch Schülermodell genannt, ist häufig kleiner und soll die benötigte Aufgabe mit geringerem Betriebsaufwand erfüllen. Übertragen wird ein Verhalten für die gewählten Trainingsaufgaben; ein vollständiger identischer Wissensbestand folgt daraus nicht. Bei der Quantisierung wird dagegen die numerische Darstellung von Modellwerten verändert.

In einem fiktiven Vorhaben soll ein Lehrermodell zu Servicemeldungen kurze Weiterleitungsnotizen mit Anliegen und fehlender Angabe liefern. Die Notizen werden vor ihrer Verwendung als Trainingsmaterial gegen die ursprünglichen Meldungen geprüft. Erfindet der Lehrer eine Information oder übersieht er eine vorhandene Angabe, könnte das Zielmodell diesen Fehler übernehmen. Für die spätere Bewertung werden andere, nicht für das Training verwendete Meldungen mit fachlich festgelegten Erwartungen verwendet. So lässt sich prüfen, ob die benötigten Inhalte erhalten bleiben und fehlende Informationen weiterhin als fehlend behandelt werden.

Quellen

• Hinton et al. · Distilling the Knowledge in a Neural Network