Modellkvantisering
Att återge modellvikter och, beroende på metod, mellanvärden med lägre numerisk precision.
Vilka modellvärden får en mer kompakt representation?
Modellkvantisering återger vikter och i vissa metoder även mellanvärden med färre bitar. Modelldata kan därmed kräva mindre minne medan antalet parametrar är oförändrat. Den grövre representationen kan ändra resultatet. Om beräkningarna blir snabbare beror också på hårdvara, körmiljö och metod. En mindre modellfil beskriver därför inte hela minnesbehovet för en applikation som körs.
Ett fiktivt team planerar att sammanfatta servicerapporter lokalt för en intern överblick. Det vill jämföra en variant med 16-bitarsvikter med en kvantiserad 8-bitarsvariant av samma basmodell. Instruktion och godkända rapporttexter hålls lika i den planerade jämförelsen. Utelämnade arbetssteg och påhittade tillägg granskas tillsammans med faktisk minnesanvändning och svarstid på den avsedda datorn. Först denna samlade bedömning visar om varianten utför uppgiften med tillgängliga resurser.
Källor
Relaterade begrepp
- MaskininlärningModeller lär sig mönster från data och använder dem på nya indata.
- AI-inferensAtt använda en redan tränad modell på indata för att få ett resultat.
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- Testdata inom maskininlärningData för slutbedömning vars resultat inte har använts för att välja den modellvariant som bedöms.
- KunskapsdestillationTräning av en målmodell med information om beteendet hos en lärarmodell eller en grupp modeller.
- Omrankning av sökresultatOmrankning bedömer redan hittade sökkandidater på nytt. Relevansen för frågan och det första urvalets begränsningar är avgörande.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.