Modellquantisierung

Was wird am Modell kleiner dargestellt?

Modellquantisierung stellt Gewichte und bei manchen Verfahren auch Zwischenwerte mit weniger Bits dar. Dadurch können die Modelldaten weniger Speicher benötigen, während die Anzahl der Parameter gleich bleibt. Die gröbere Darstellung kann das Ergebnis verändern. Ob Berechnungen schneller werden, hängt unter anderem von Hardware, Laufzeitumgebung und Verfahren ab. Eine kleinere Modelldatei beschreibt deshalb noch nicht den gesamten Speicherbedarf einer laufenden Anwendung.

Ein fiktives Team plant, Serviceberichte für einen internen Überblick lokal zusammenzufassen. Es möchte eine Variante mit 16-Bit-Gewichten mit einer quantisierten 8-Bit-Variante derselben Modellbasis vergleichen. Anweisung und freigegebene Berichtstexte bleiben für den geplanten Vergleich gleich. Geprüft werden ausgelassene Arbeitsschritte und erfundene Ergänzungen sowie tatsächlich belegter Arbeitsspeicher und Antwortdauer auf dem vorgesehenen Rechner. Erst diese gemeinsame Betrachtung zeigt, ob die gewählte Variante die Aufgabe mit den verfügbaren Ressourcen erfüllt.

Quellen

• Hugging Face Transformers · Quantization concepts