Modelkwantisatie
Modelgewichten en, afhankelijk van de methode, tussenwaarden weergeven met lagere numerieke precisie.
Welke modelwaarden worden compacter weergegeven?
Modelkwantisatie geeft gewichten en bij sommige methoden ook tussenwaarden met minder bits weer. Daardoor kunnen modelgegevens minder geheugen nodig hebben terwijl het aantal parameters gelijk blijft. De grovere weergave kan het resultaat veranderen. Of berekeningen sneller worden, hangt ook af van hardware, uitvoeromgeving en methode. Een kleiner modelbestand beschrijft daarom niet het totale geheugenbeslag van een draaiende toepassing.
Een fictief team wil servicerapporten lokaal samenvatten voor een intern overzicht. Het wil een versie met 16-bits gewichten vergelijken met een gekwantiseerde 8-bits versie van hetzelfde basismodel. Instructie en goedgekeurde rapportteksten blijven voor de geplande vergelijking gelijk. Weggelaten werkstappen en verzonnen toevoegingen worden beoordeeld, naast werkelijk geheugengebruik en antwoordtijd op de bedoelde computer. Alleen die gezamenlijke beoordeling laat zien of de variant de taak met de beschikbare middelen uitvoert.
Bronnen
Verwante begrippen
- Machine learningModellen leren patronen uit gegevens en passen ze op nieuwe invoer toe.
- AI-inferentieEen al getraind model op invoer toepassen om een resultaat te krijgen.
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- Testgegevens bij machine learningGegevens voor de eindbeoordeling waarvan de resultaten niet zijn gebruikt om de beoordeelde modelvariant te kiezen.
- KennisdistillatieEen doelmodel trainen met informatie over het gedrag van een leraarmodel of een groep modellen.
- Herordening van zoekresultatenHerordening beoordeelt gevonden zoekkandidaten opnieuw. De aansluiting op de vraag en de grenzen van de eerste selectie blijven bepalend.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.