Modelroutering
Voor elke aanvraag een geschikt model kiezen uit een vastgelegde verzameling toegestane kandidaten.
Welk model moet de aanvraag verwerken?
Modelroutering kiest voor een aanvraag een model uit een vastgelegde verzameling toegestane kandidaten. De keuze kan afhangen van taaktype, benodigde mogelijkheden en eisen aan antwoordtijd of gebruikskosten. Vaste regels of een apart selectiemodel kunnen worden gebruikt. Daarna verwerkt het gekozen model de aanvraag. Routering alleen traint dat model niet. Welke kandidaten de gegevens en taak mogen verwerken, moet vóór de keuze vaststaan.
In een fictief project moeten korte voorstellen voor onderwerpregels en uitgebreide rapportanalyses verschillende modellen kunnen gebruiken. Een geplande vergelijking beoordeelt routering ten opzichte van het eerdere gebruik van één vast model. Inhoudelijk taaksucces, verkeerde routering, antwoordtijd en werkelijke gebruikskosten worden bekeken. Ook een uitwijkroute bij storing mag alleen toegestane kandidaten gebruiken. De gekozen route en modelversie worden samen met de beoordelingsomstandigheden vastgelegd, zodat fouten aan een concrete verwerkingsstap kunnen worden gekoppeld.
Bronnen
Verwante begrippen
- AI-inferentieEen al getraind model op invoer toepassen om een resultaat te krijgen.
- Function callingEen taalmodel vraagt een beschreven functie aan met gestructureerde parameters; de gekoppelde toepassing voert deze uit.
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- AI-guardrailsGuardrails begrenzen en controleren AI-gedrag. Modelinstructies en technische handhaving vervullen verschillende taken.
- ModelkwantisatieModelgewichten en, afhankelijk van de methode, tussenwaarden weergeven met lagere numerieke precisie.
- KennisdistillatieEen doelmodel trainen met informatie over het gedrag van een leraarmodel of een groep modellen.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.