Instradamento dei modelli
Scegliere un modello adatto a ogni richiesta da un insieme definito di candidati consentiti.
Quale modello deve elaborare la richiesta?
L’instradamento dei modelli sceglie un modello per una richiesta tra candidati consentiti definiti in precedenza. La decisione può dipendere dal tipo di compito, dalle capacità richieste e dai requisiti di tempo di risposta o costo operativo. Si possono usare regole fisse o un modello di selezione separato. Il modello scelto elabora poi la richiesta. Il solo instradamento non lo addestra. I candidati autorizzati a trattare dati e compito devono essere definiti prima della scelta.
In un progetto fittizio, brevi proposte per l’oggetto di un messaggio e analisi approfondite dei rapporti devono poter usare modelli diversi. Un confronto previsto valuta l’instradamento rispetto al precedente uso di un modello fisso. Si esaminano riuscita operativa del compito, errori di instradamento, tempo di risposta e costo effettivo di esercizio. Anche un percorso alternativo in caso di guasto deve usare soltanto candidati consentiti. Percorso scelto e versione del modello vengono registrati con le condizioni di valutazione per ricondurre gli errori a un passaggio preciso.
Fonti
Termini correlati
- Inferenza dell’IAApplicare un modello già addestrato agli input per ottenere un risultato.
- Function callingUn modello linguistico richiede una funzione descritta con parametri strutturati; l’applicazione collegata la esegue.
- Valutazione degli LLMLa valutazione degli LLM verifica risultati rispetto a compiti e criteri definiti. Un buon caso isolato non dimostra la qualità generale.
- Guardrail per l’IAI guardrail limitano e verificano il comportamento dell’applicazione. Istruzioni del modello e applicazione tecnica svolgono compiti diversi.
- Quantizzazione del modelloRappresentare i pesi di un modello e, secondo il metodo, valori intermedi con una precisione numerica inferiore.
- Distillazione della conoscenzaAddestrare un modello destinatario con informazioni sul comportamento di un modello insegnante o di un gruppo di modelli.
Il vostro progetto con ASES
Descriveteci il vostro progetto. Vi ricontatteremo con una prima valutazione.