Routage de modèles

Quel modèle doit traiter la requête ?

Le routage de modèles choisit un modèle pour une requête parmi un ensemble défini de candidats autorisés. La décision peut dépendre du type de tâche, des capacités nécessaires et des exigences de délai de réponse ou de coût d’exploitation. Des règles fixes ou un modèle de sélection distinct peuvent être utilisés. Le modèle choisi traite ensuite la requête. Le routage seul ne l’entraîne pas. Les candidats autorisés à traiter les données et la tâche doivent être définis avant la sélection.

Dans un projet fictif, des propositions brèves d’objet de message et des analyses détaillées de rapports doivent pouvoir utiliser des modèles différents. Une comparaison prévue évalue le routage par rapport à l’usage antérieur d’un modèle unique. La réussite métier, les erreurs de routage, le délai de réponse et le coût d’exploitation réel sont examinés. Un chemin de repli après une panne doit aussi utiliser uniquement des candidats autorisés. Le chemin choisi et la version du modèle sont enregistrés avec les conditions d’évaluation afin de rattacher les erreurs à une étape précise.

Sources

• Microsoft Learn · Model router for Microsoft Foundry