Campionamento top-p
Selezione del token successivo da un piccolo insieme di candidati probabili che coprono insieme una soglia di probabilità.
Quali token restano disponibili per la selezione?
Il campionamento top-p, detto anche Nucleus Sampling, limita i candidati al token successivo in base alla loro probabilità complessiva. Si includono i token più probabili finché il più piccolo insieme corrispondente copre almeno la soglia p. Si campiona poi da questo insieme con probabilità riscalate. Il numero dei candidati può cambiare a ogni passo. L’interazione con temperatura o altri filtri dipende dall’implementazione; p non è la quota di risposte corrette sul piano operativo.
Un calcolo fittizio considera soltanto i candidati A, B e C con probabilità di 0,5, 0,3 e 0,2. Con p = 0,75, A e B coprono insieme 0,8 e formano l’insieme di selezione; C resta escluso. Le probabilità dei candidati restanti vengono normalizzate affinché la loro somma sia uno prima del campionamento. Si descrive un singolo momento di selezione. Al passo successivo la distribuzione può essere diversa. Una proposta di testo aziendale richiede quindi ancora la verifica di contenuto, aggiunte prive di fondamento e formato richiesto.
Fonti
Termini correlati
- Prompt engineeringProgettare e verificare compiti, contesto e regole di output per un modello generativo.
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Punteggio di confidenzaUn punteggio di confidenza valuta una previsione secondo il metodo del modello. Non concede un’approvazione operativa.
- Temperatura nei modelli linguisticiImpostazione che influenza la distribuzione dei possibili token successivi durante il campionamento e quindi la loro selezione.
- Riproducibilità degli output dell’IAPoter ripetere la generazione con IA in condizioni documentate e confrontare i risultati secondo criteri definiti.
- Re-rankingIl re-ranking rivaluta i candidati già trovati. Contano la pertinenza rispetto alla domanda e i limiti della selezione iniziale.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.