Vor dem Modellwechsel den Quellenstand prüfen
Zwei erfundene Modellantworten auf eine alte Anweisung zeigen, warum gültige Quellen und Modellqualität getrennt geprüft werden müssen.
Ein Wissensassistent nennt einen abgelösten Arbeitsweg. Bevor ein größeres Modell beschafft wird, lohnt sich die Frage, welcher Dokumentenstand die Antwort überhaupt erreicht hat. Eine gültige Anweisung, die nicht bereitgestellt wurde, ist durch zusätzliche Modellgröße nicht automatisch verfügbar.
Eine alte Anleitung als gemeinsame Grundlage
Das folgende Beispiel ist vollständig hypothetisch. Es wurden weder Modelle aufgerufen noch Antworten gemessen. Die archivierte Anweisung D-40 sieht einen Reparaturantrag als PDF per E-Mail vor. Die gültige, freigegebene Fassung D-41 verlangt das Portalformular.
Angenommen, für die Frage nach dem aktuellen Einreichungsweg wird nur der alte Abschnitt geliefert:
Erfundenes Modell | Bereitgestellte Quelle | Angenommene fehlerhafte Antwort |
|---|---|---|
|
| PDF per E-Mail einreichen |
|
| PDF per E-Mail einreichen |
Die Antworten wären mit dem alten Text vereinbar und für den aktuellen Vorgang trotzdem falsch. Auch ein Quellenlink würde den falschen Geltungsstand nicht heilen.
Ein Modell könnte das Archivmerkmal erkennen und die Antwort verweigern. Dadurch hätte es aber die fehlende neue Anweisung noch nicht erhalten. Die Tabelle zeigt mögliche Fehler, keinen Beleg, dass alle Modelle gleich reagieren.
Gültigkeit über die ganze Quellenkette verfolgen
Prüfen Sie, wer den gültigen Stand freigibt und wie ersetzte Fassungen gekennzeichnet werden. Das jüngste Dateidatum allein bestimmt nicht, welche Anleitung für die Aufgabe gilt. Auch der passende Anwendungsbereich muss stimmen.
Eine Änderung im Dokumentensystem aktualisiert nicht zwangsläufig sofort alle Suchabschnitte, gespeicherten Antworten oder Gesprächsinhalte. Der Zugriff auf die gültige Fassung muss für die jeweilige Rolle möglich bleiben; alte Kopien brauchen eine definierte Behandlung.
Danach lässt sich dieselbe Frage mit aktueller, fehlender und widersprüchlicher Grundlage prüfen. Bewertet werden Quellenwahl, Belegtreue und erlaubter Zugriff getrennt. Modellqualität bleibt dabei relevant: Ein anderes Modell kann bereitgestellte Informationen besser einordnen. Die Quellenprüfung macht einen Modellvergleich aussagekräftiger, statt ihm einen ungeklärten Dokumentenfehler mitzugeben.
Quellen
Geschrieben von
- Matthias BeckerRedakteur für KI und AutomatisierungMatthias Becker betreut bei ASES die Beiträge zu künstlicher Intelligenz und Automatisierung. Er untersucht, wie Unternehmen KI in ihren Arbeitsabläufen einsetzen können und wo die Grenzen der jeweiligen Anwendungen liegen.
Weiterlesen
Alle Beiträge
KI & Automatisierung mit ASES
KI-Assistenten und automatisierte Abläufe