Modellkvantisering
Representasjon av modellvekter og, avhengig av metoden, mellomverdier med lavere numerisk presisjon.
Hvilke modellverdier får en mer kompakt representasjon?
Modellkvantisering representerer vekter og i noen metoder også mellomverdier med færre biter. Modelldata kan dermed kreve mindre minne mens antall parametere er uendret. Den grovere representasjonen kan endre resultatet. Om beregningene blir raskere, avhenger også av maskinvare, kjøremiljø og metode. En mindre modellfil beskriver derfor ikke hele minnebehovet til en applikasjon som kjører.
Et fiktivt team planlegger å oppsummere servicerapporter lokalt for en intern oversikt. Det vil sammenligne en variant med 16-bits vekter med en kvantisert 8-bits variant av samme basismodell. Instruksjon og godkjente rapporttekster holdes like i den planlagte sammenligningen. Utelatte arbeidstrinn og oppdiktede tillegg vurderes sammen med faktisk minnebruk og svartid på den tiltenkte datamaskinen. Først denne samlede vurderingen viser om varianten utfører oppgaven med de tilgjengelige ressursene.
Kilder
Beslektede begreper
- MaskinlæringModeller lærer mønstre fra data og bruker dem på nye inndata.
- KI-inferensÅ bruke en allerede trent modell på inndata for å få et resultat.
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- Testdata i maskinlæringData til avsluttende vurdering der resultatene ikke er brukt til å velge modellvarianten som vurderes.
- KunnskapsdestillasjonTrening av en målmodell med informasjon om atferden til en lærermodell eller en gruppe modeller.
- Omrangering av søkeresultaterOmrangering vurderer allerede funne søkekandidater på nytt. Relevans for spørsmålet og begrensningene i det første utvalget er avgjørende.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.