Garde-fous pour l’IA
Les garde-fous limitent et contrôlent le comportement d’une application d’IA. Consignes du modèle et application technique ont des rôles distincts.
Les garde-fous sont des règles et contrôles visant à limiter le comportement d’une application d’IA. Ils peuvent examiner entrées, sorties ou actions proposées. Consignes du modèle, vérifications techniques et validations adaptées peuvent en faire partie.
Exemple de message
Un assistant hypothétique rédige un courriel. L’envoi reste soumis à une autorisation vérifiée séparément et à la validation prévue. Le jugement du modèle sur l’innocuité du texte n’autorise pas l’envoi.
Un filtre peut manquer du contenu interdit et bloquer du contenu autorisé. Une consigne n’est pas non plus une limite d’accès ferme. Les contrôles doivent convenir à la tâche et être testés avec des cas permis et interdits. Leur nom seul ne prouve pas la sécurité.
Sources
Termes associés
- Humain dans la boucleL’humain dans la boucle participe activement à un processus automatisé. Une vérification utile exige des informations claires et des moyens d’agir.
- Injection de promptL’injection de prompt tente de détourner une application d’IA par des consignes ajoutées. Les documents récupérés peuvent aussi en contenir.
- Principe du moindre privilègeLe moindre privilège limite les droits à la tâche nécessaire et à son périmètre. Le travail requis reste possible ; les pouvoirs superflus sont retirés.
- Fiche de modèleUne fiche de modèle documente l’objectif, les bases, les conditions d’évaluation et les limites connues d’une version donnée d’un modèle d’IA.
- Préparation à l’IALa préparation à l’IA porte sur les prérequis d’un projet : objectif, données utilisables, compétences, responsabilités et fonctionnement quotidien.
- Ingénierie du contexteL’ingénierie du contexte prépare les informations de chaque appel au modèle : instructions, messages, sources et état actuel pertinents.
Articles sur le sujet
IA & automatisation avec ASES
Assistants IA et processus automatisés