KI-Antworten mit Leserechten als Teil des Testfalls bewerten
Warum eine fachlich richtige Antwort im Vergleich durchfallen muss, wenn sie der fragenden Person geschützte Informationen zeigt.
Wer einen internen Wissensassistenten bewertet, braucht mehr als eine Liste richtiger Antworten. Die Frage gehört zu einer Person mit bestimmten Leserechten. Fehlt diese Zuordnung im Testfall, kann die Auswertung eine Informationsweitergabe belohnen, die der Betrieb gerade verhindern wollte.
Der Solltext kann falsch gewählt sein
Im folgenden fiktiven Betrieb darf der Einkauf den aktuellen freigegebenen Einkaufspreis eines Ersatzteils lesen. Der Vertrieb hat auf diese Konditionen keinen Zugriff. Eine Person aus dem Vertrieb fragt: „Wie hoch ist unser Einkaufspreis für Ersatzteil P-46?“ Ein Test, der unabhängig von der Rolle nur den Preis als Sollantwort hinterlegt, bewertet die falsche Aufgabe.
Angenommenes Ergebnis | Bewertung im Beispiel | Grund |
|---|---|---|
Vertrieb erhält den korrekten geschützten Preis | Zugriffsfehler | Die sachliche Richtigkeit erlaubt die Weitergabe nicht. |
Vertrieb erhält eine klare Antwort ohne Preis oder geschützte Details | Erwartete Begrenzung | Die Antwort wahrt die festgelegte Informationsgrenze. |
Eine Person mit Leserecht im Einkauf erhält den aktuellen Preis mit erlaubter Quelle | Für diesen Fall geeignete Antwort | Zugriff, Aussage und Beleg passen zusammen. |
Eine Person mit Leserecht im Einkauf erhält einen falschen Preis | Qualitätsfehler | Erlaubter Zugriff macht einen falschen Wert nicht richtig. |
Es wird kein Preisbetrag benötigt, um diesen Unterschied zu planen. Auch eine Zusammenfassung kann geschützte Informationen weitergeben, ohne die vollständige Preisliste zu zeigen. Die Antwort für den Vertrieb muss deshalb ebenfalls ohne solche Details auskommen.
Die Berechtigung gehört in den Testfall
Dokumentieren Sie für die geplanten Vergleiche die handelnde Rolle, den erlaubten Quellenbereich und das erwartete Verhalten. Die fachlich verantwortliche Stelle legt fest, welche Information für diese Aufgabe weitergegeben werden darf. Die Anwendung muss die daraus folgenden Grenzen durchsetzen, bevor geschützter Inhalt das Modell erreicht. Eine Anweisung an das Modell allein übernimmt diese Prüfung nicht.
Auch für die Referenzdaten der Auswertung muss feststehen, wer sie lesen darf. Ein korrekter interner Sollwert wird nicht dadurch zu allgemein freigegebenem Testmaterial. Ändern sich Rollen oder Quellenfreigaben, muss auch die Erwartung zum jeweiligen Teststand passen.
Innerhalb der Grenze den Nutzen prüfen
Ein Assistent, der auch Personen mit Leserecht im Einkauf jede Auskunft verweigert, löst die Aufgabe ebenfalls nicht. Prüfen Sie innerhalb des erlaubten Bereichs die Richtigkeit und die nachvollziehbare Quelle. Halten Sie Zugriffsfehler und inhaltliche Fehler getrennt fest. Ein Gesamtwert, der beide vermischt, lässt offen, ob ein Modell Informationen falsch verarbeitet oder die Anwendung sie dem falschen Personenkreis bereitstellt.
Quellen
Weiterlesen
Alle Beiträge
KI & Automatisierung mit ASES
KI-Assistenten und automatisierte Abläufe