Modelkvantisering
Gengivelse af modelvægte og, afhængigt af metoden, mellemværdier med lavere numerisk præcision.
Hvilke modelværdier får en mere kompakt gengivelse?
Modelkvantisering gengiver vægte og i nogle metoder også mellemværdier med færre bit. Modeldata kan dermed kræve mindre hukommelse, mens antallet af parametre er uændret. Den grovere gengivelse kan ændre resultatet. Om beregninger bliver hurtigere, afhænger også af hardware, kørselsmiljø og metode. En mindre modelfil beskriver derfor ikke hele hukommelsesbehovet i en kørende applikation.
Et fiktivt team vil sammenfatte servicerapporter lokalt til et internt overblik. Det vil sammenligne en variant med 16-bit-vægte med en kvantiseret 8-bit-variant af samme basismodel. Instruktion og godkendte rapporttekster holdes ens i den planlagte sammenligning. Udeladte arbejdstrin og opdigtede tilføjelser undersøges sammen med faktisk hukommelsesforbrug og svartid på den tiltænkte computer. Først denne samlede vurdering viser, om varianten løser opgaven med de tilgængelige ressourcer.
Kilder
Relaterede begreber
- MaskinlæringModeller lærer mønstre fra data og bruger dem på nye input.
- AI-inferensAt anvende en allerede trænet model på input for at få et resultat.
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- Testdata i maskinlæringData til afsluttende vurdering, hvis resultater ikke er brugt til at vælge den vurderede modelvariant.
- VidensdestillationTræning af en målmodel med oplysninger om adfærden i en lærermodel eller en gruppe modeller.
- Omrangering af søgeresultaterOmrangering vurderer allerede fundne søgeresultater igen. Relevansen for spørgsmålet og den første udvælgelses grænser er afgørende.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.