Modelrouting
Valg af en egnet model til hver forespørgsel fra en fastlagt mængde tilladte kandidater.
Hvilken model skal behandle forespørgslen?
Modelrouting vælger en model til en forespørgsel fra en fastlagt mængde tilladte kandidater. Valget kan afhænge af opgavetype, nødvendige egenskaber og krav til svartid eller driftsomkostninger. Der kan bruges faste regler eller en særskilt udvælgelsesmodel. Derefter behandler den valgte model forespørgslen. Videresendelsen træner ikke i sig selv modellen. Det skal før valget være fastlagt, hvilke kandidater der må behandle dataene og opgaven.
I et fiktivt projekt skal korte forslag til emnelinjer og omfattende rapportanalyser kunne bruge forskellige modeller. En planlagt sammenligning vurderer routing op mod den hidtidige brug af en fast model. Faglig opgaveløsning, fejlvalg, svartid og faktiske driftsomkostninger vurderes. En alternativ vej ved fejl må også kun bruge tilladte kandidater. Den valgte rute og modelversion registreres sammen med vurderingsbetingelserne, så fejl kan henføres til et bestemt behandlingstrin.
Kilder
Relaterede begreber
- AI-inferensAt anvende en allerede trænet model på input for at få et resultat.
- FunktionskaldEn sprogmodel anmoder om en beskrevet funktion med strukturerede parametre; den tilknyttede applikation udfører den.
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- AI-guardrailsGuardrails begrænser og kontrollerer AI-adfærd. Modelinstruktioner og teknisk håndhævelse har forskellige opgaver.
- ModelkvantiseringGengivelse af modelvægte og, afhængigt af metoden, mellemværdier med lavere numerisk præcision.
- VidensdestillationTræning af en målmodel med oplysninger om adfærden i en lærermodel eller en gruppe modeller.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.