Riproducibilità degli output dell’IA
Poter ripetere la generazione con IA in condizioni documentate e confrontare i risultati secondo criteri definiti.
Che cosa deve restare uguale in una ripetizione?
La riproducibilità degli output dell’IA richiede condizioni di generazione documentate. Comprendono versione del modello, istruzioni e dati in ingresso completi, fonti o risultati degli strumenti utilizzati e impostazioni di uscita. Una ripetizione può essere valutata per testo identico o per risultati operativi equivalenti; questi obiettivi vanno definiti separatamente. Un seed fisso può aiutare il confronto se il modello lo offre. Non garantisce però un output identico, neppure insieme a una temperatura bassa.
In un progetto fittizio, un modello deve trasferire identificativo dell’apparecchiatura e data della segnalazione da un rapporto di assistenza ai campi asset_id e reported_date. Le ripetizioni previste usano lo stesso rapporto, le stesse versioni delle fonti e la stessa configurazione del modello. Si stabilisce prima come valutare valori corretti, informazioni mancanti e formato atteso. Una punteggiatura diversa in un testo esplicativo aggiuntivo può essere irrilevante; un identificativo diverso sarebbe importante per il compito operativo. I risultati vengono conservati con le condizioni di generazione per confrontare in modo mirato le successive modifiche al modello o al flusso.
Fonti
Termini correlati
- Prompt engineeringProgettare e verificare compiti, contesto e regole di output per un modello generativo.
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Dati di test nell’apprendimento automaticoDati riservati alla valutazione finale i cui risultati non sono stati usati per scegliere la variante valutata.
- Temperatura nei modelli linguisticiImpostazione che influenza la distribuzione dei possibili token successivi durante il campionamento e quindi la loro selezione.
- Campionamento top-pSelezione del token successivo da un piccolo insieme di candidati probabili che coprono insieme una soglia di probabilità.
- Re-rankingIl re-ranking rivaluta i candidati già trovati. Contano la pertinenza rispetto alla domanda e i limiti della selezione iniziale.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.