Modellroutning
Val av en lämplig modell för varje förfrågan ur en fastställd mängd tillåtna kandidater.
Vilken modell ska behandla förfrågan?
Modellroutning väljer en modell för en förfrågan ur en fastställd mängd tillåtna kandidater. Valet kan bero på uppgiftstyp, nödvändiga förmågor och krav på svarstid eller driftskostnad. Fasta regler eller en separat urvalsmodell kan användas. Därefter behandlar den valda modellen förfrågan. Vidarebefordran tränar inte i sig modellen. Vilka kandidater som får behandla uppgiften och dess data måste vara bestämt före valet.
I ett fiktivt projekt ska korta förslag på ämnesrader och utförliga rapportanalyser kunna använda olika modeller. En planerad jämförelse bedömer routning mot den tidigare användningen av en fast modell. Saklig uppgiftslösning, felaktiga modellval, svarstid och faktiska driftskostnader granskas. Även en reservväg vid fel får bara använda tillåtna kandidater. Vald väg och modellversion registreras med bedömningsvillkoren så att fel kan kopplas till ett bestämt bearbetningssteg.
Källor
Relaterade begrepp
- AI-inferensAtt använda en redan tränad modell på indata för att få ett resultat.
- FunktionsanropEn språkmodell begär en beskriven funktion med strukturerade parametrar; den anslutna applikationen utför anropet.
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- Guardrails för AIGuardrails begränsar och kontrollerar AI-beteende. Modellinstruktioner och teknisk tillämpning har olika uppgifter.
- ModellkvantiseringAtt återge modellvikter och, beroende på metod, mellanvärden med lägre numerisk precision.
- KunskapsdestillationTräning av en målmodell med information om beteendet hos en lärarmodell eller en grupp modeller.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.