Reproductibilité des sorties de l’IA

Qu’est-ce qui doit rester identique lors d’une répétition ?

La reproductibilité des sorties de l’IA exige de documenter les conditions de génération. Cela comprend la version du modèle, les consignes et entrées complètes, les sources ou résultats d’outils utilisés et les réglages de sortie. Une répétition peut être évaluée sur un texte identique ou sur des résultats métier équivalents ; ces objectifs doivent être définis séparément. Une graine fixe peut aider à comparer si le modèle la propose. Elle ne garantit pas une sortie identique, même associée à une basse température.

Dans un projet fictif, un modèle doit transférer l’identifiant d’un équipement et la date du signalement depuis un rapport de service vers les champs asset_id et reported_date. Les répétitions prévues utilisent le même rapport, les mêmes versions des sources et la même configuration du modèle. Les critères d’évaluation des valeurs correctes, des informations manquantes et du format attendu sont définis à l’avance. Une ponctuation différente dans un texte explicatif supplémentaire peut être sans importance ; un identifiant d’équipement différent serait pertinent pour l’activité. Les résultats sont conservés avec leurs conditions de génération pour comparer précisément les changements ultérieurs du modèle ou du processus.

Sources

• Google Cloud · Content generation parameters