Guardrails für KI
Guardrails begrenzen und prüfen das Verhalten einer KI-Anwendung. Modellanweisungen und technische Durchsetzung haben unterschiedliche Aufgaben.
Guardrails sind Regeln und Kontrollen, die das Verhalten einer KI-Anwendung begrenzen sollen. Sie können Eingaben, Ausgaben oder vorgeschlagene Aktionen prüfen. Dazu können Modellanweisungen, technische Prüfungen und passende Freigaben gehören.
Beispiel einer Nachricht
Ein hypothetischer Assistent erstellt einen E-Mail-Entwurf. Das Versenden bleibt an eine gesondert geprüfte Berechtigung und die vorgesehene Freigabe gebunden. Dass das Modell den Text für unproblematisch hält, öffnet den Versandweg nicht.
Ein Ausgabefilter kann unzulässige Inhalte übersehen und zulässige blockieren. Eine Anweisung im Prompt ist ebenso wenig eine feste Zugriffsgrenze. Die Kontrollen müssen zur Aufgabe passen und mit erlaubten sowie unerlaubten Fällen geprüft werden. Der Begriff Guardrails allein ist kein Sicherheitsnachweis.
Quellen
Verwandte Begriffe
- Human-in-the-LoopHuman-in-the-Loop bindet Menschen aktiv in einen automatisierten Ablauf ein. Wirksame Prüfung braucht verständliche Informationen und Handlungsmöglichkeiten.
- Prompt InjectionPrompt Injection versucht, eine KI-Anwendung durch eingeschleuste Anweisungen umzulenken. Auch abgerufene Dokumente können solche Texte enthalten.
- Least PrivilegeLeast Privilege begrenzt Rechte auf die benötigte Aufgabe und ihren Bereich. Erforderliche Arbeit soll möglich bleiben, unnötige Macht entfällt.
- ModellkarteEine Modellkarte dokumentiert Zweck, Grundlagen, Bewertungsbedingungen und bekannte Grenzen eines KI-Modells für eine bestimmte Version.
- KI-EinsatzbereitschaftKI-Einsatzbereitschaft beschreibt die Voraussetzungen für ein KI-Vorhaben: Ziel, nutzbare Daten, Fähigkeiten, Zuständigkeit und Betriebsablauf.
- Context EngineeringContext Engineering bereitet die Informationen für einzelne Modellaufrufe vor: passende Anweisungen, Nachrichten, Quellen und aktuelle Zustände.
Beiträge zum Thema
KI & Automatisierung mit ASES
KI-Assistenten und automatisierte Abläufe