Quantizzazione del modello
Rappresentare i pesi di un modello e, secondo il metodo, valori intermedi con una precisione numerica inferiore.
Quali valori del modello hanno una rappresentazione più compatta?
La quantizzazione rappresenta i pesi e, in alcuni metodi, i valori intermedi con meno bit. I dati del modello possono così richiedere meno memoria mantenendo lo stesso numero di parametri. La rappresentazione meno precisa può modificare i risultati. L’accelerazione dei calcoli dipende anche da hardware, ambiente di esecuzione e metodo. Un file del modello più piccolo non descrive quindi tutta la memoria necessaria a un’applicazione in funzione.
Un gruppo fittizio prevede di riassumere localmente rapporti di assistenza per una panoramica interna. Vuole confrontare una versione con pesi a 16 bit con una versione quantizzata a 8 bit dello stesso modello di base. Istruzione e rapporti approvati restano uguali per il confronto previsto. Si esaminano passaggi di lavoro omessi e aggiunte inventate, insieme alla memoria effettivamente utilizzata e al tempo di risposta sul computer previsto. Solo questa valutazione congiunta mostra se la variante svolge il compito con le risorse disponibili.
Fonti
Termini correlati
- Apprendimento automaticoI modelli apprendono schemi dai dati e li applicano a nuovi input.
- Inferenza dell’IAApplicare un modello già addestrato agli input per ottenere un risultato.
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Dati di test nell’apprendimento automaticoDati riservati alla valutazione finale i cui risultati non sono stati usati per scegliere la variante valutata.
- Distillazione della conoscenzaAddestrare un modello destinatario con informazioni sul comportamento di un modello insegnante o di un gruppo di modelli.
- Re-rankingIl re-ranking rivaluta i candidati già trovati. Contano la pertinenza rispetto alla domanda e i limiti della selezione iniziale.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.