Modellruting
Valg av en egnet modell for hver forespørsel fra et fastsatt sett med tillatte kandidater.
Hvilken modell skal behandle forespørselen?
Modellruting velger en modell for en forespørsel fra et fastsatt sett med tillatte kandidater. Valget kan avhenge av oppgavetype, nødvendige egenskaper og krav til svartid eller driftskostnader. Faste regler eller en egen utvalgsmodell kan brukes. Deretter behandler den valgte modellen forespørselen. Videresendingen trener ikke modellen i seg selv. Hvilke kandidater som kan behandle dataene og oppgaven, må være fastsatt før valget.
I et fiktivt prosjekt skal korte forslag til emnelinjer og grundige rapportanalyser kunne bruke ulike modeller. En planlagt sammenligning vurderer rutingen opp mot den tidligere bruken av én fast modell. Hvor godt oppgaven løses, feilvalg, svartid og faktiske driftskostnader undersøkes. Også en alternativ vei ved feil må bare bruke tillatte kandidater. Valgt rute og modellversjon registreres med vurderingsbetingelsene, slik at feil kan knyttes til et bestemt behandlingstrinn.
Kilder
Beslektede begreper
- KI-inferensÅ bruke en allerede trent modell på inndata for å få et resultat.
- FunksjonskallEn språkmodell ber om en beskrevet funksjon med strukturerte parametere; den tilknyttede applikasjonen utfører den.
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- Kontrollmekanismer for KIGuardrails begrenser og kontrollerer KI-atferd. Modellinstrukser og teknisk håndheving har ulike oppgaver.
- ModellkvantiseringRepresentasjon av modellvekter og, avhengig av metoden, mellomverdier med lavere numerisk presisjon.
- KunnskapsdestillasjonTrening av en målmodell med informasjon om atferden til en lærermodell eller en gruppe modeller.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.