Temperatura nei modelli linguistici
Impostazione che influenza la distribuzione dei possibili token successivi durante il campionamento e quindi la loro selezione.
Che cosa cambia la temperatura nel testo generato?
Nel campionamento di un modello linguistico, la temperatura influenza quanto la selezione si concentri sui token successivi più probabili. Valori bassi producono in genere una distribuzione più concentrata; valori alti la rendono più piatta e consentono maggiore varietà. Questo riguarda la generazione dell’output, senza riaddestrare il modello. I valori supportati e l’interazione con altre regole di selezione dipendono dal modello. Una temperatura bassa non dimostra né correttezza operativa né un abbinamento affidabile al cliente giusto.
In un progetto fittizio, un modello deve proporre un breve oggetto interno partendo da una descrizione di assistenza. Per un confronto previsto restano uguali versione del modello, istruzione e dati in ingresso; inizialmente cambia solo la temperatura. Si valutano chiarezza, attinenza alla richiesta e aggiunte prive di fondamento. Una formulazione più varia può aiutare; una causa di guasto inventata no. Anche a temperatura molto bassa, gli output possono differire nelle ripetizioni. L’impostazione scelta viene quindi documentata insieme alle altre condizioni e ai risultati della verifica.
Fonti
Termini correlati
- Prompt engineeringProgettare e verificare compiti, contesto e regole di output per un modello generativo.
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Punteggio di confidenzaUn punteggio di confidenza valuta una previsione secondo il metodo del modello. Non concede un’approvazione operativa.
- Campionamento top-pSelezione del token successivo da un piccolo insieme di candidati probabili che coprono insieme una soglia di probabilità.
- Riproducibilità degli output dell’IAPoter ripetere la generazione con IA in condizioni documentate e confrontare i risultati secondo criteri definiti.
- Re-rankingIl re-ranking rivaluta i candidati già trovati. Contano la pertinenza rispetto alla domanda e i limiti della selezione iniziale.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.