KI-Demos zeigen Leistung unter ausgewählten Bedingungen
Eine Demo hilft, eine Idee zu beurteilen. Für den späteren Einsatz zählen auch die Fälle, die in der Vorführung fehlen.
Die Auswahl vor dem Ergebnis betrachten
Eine gelungene KI-Vorführung kann zeigen, dass eine Aufgabe unter den vorgeführten Bedingungen funktioniert. Für eine Aussage über den späteren Betrieb muss das Team zusätzlich prüfen, welche Eingaben, Unklarheiten und Grenzen abgedeckt waren. Das NIST AI RMF empfiehlt, Leistung unter einsatznahen Bedingungen und die Grenzen der Übertragbarkeit zu dokumentieren.
Bei einem Supportpiloten ist etwa zu unterscheiden, ob die Beispiele eindeutige Fehlermeldungen oder auch gemischte Anliegen enthalten. Eine klare Formulierung verlangt eine andere Entscheidung als eine Nachricht, deren Bedeutung erst geklärt werden muss. Ein gutes Ergebnis auf der einen Fallart beantwortet die Frage nach der anderen noch nicht.
Zwei Falllisten mit unterschiedlichem Zweck vergleichen
Ein fiktives Softwareunternehmen stellt zwei geplante Auswahlen gegenüber. Für die Demo sollen klare Nachrichten den Ablauf verständlich zeigen. Der spätere Bewertungssatz enthält gezielt zusätzliche Schwierigkeiten.
Fallart | Demoauswahl | Geplanter Bewertungssatz |
|---|---|---|
Klar geschilderter Softwarefehler | 8 | 16 |
Eindeutiger Zugangswunsch | 4 | 14 |
Unklare oder gemischte Nachricht | 0 | 12 |
Nachricht außerhalb der Aufgabe | 0 | 8 |
Die Summen sind 12 und 50. Diese Zahlen beschreiben unsere erfundene Auswahl; Erfolgsraten und betriebliche Häufigkeiten wären gesondert zu erheben. Die leeren Gruppen in der Demo machen sichtbar, welche Fragen die Vorführung offenlässt.
Auch der größere Satz ist eine zweckgebundene Zusammenstellung. Weil schwierige Fälle bewusst aufgenommen werden, bildet ihr Anteil nicht automatisch den täglichen Eingang ab. Für die Fehlersuche ist das hilfreich. Für eine Schätzung des Fehleranteils im Betrieb wären Auswahl und Auswertung an dessen tatsächlicher Verteilung auszurichten.
Die Demo für die passende Entscheidung nutzen
Soll das Team zunächst einen eng begrenzten Ablauf und dessen Oberfläche verstehen, kann eine Demo ein sinnvoller Machbarkeitsversuch sein. Sind nur klar definierte Eingaben Teil dieses ersten Umfangs, braucht die Vorführung nicht schon jede später denkbare Erweiterung abzudecken. Der nächste Einsatzschritt muss sich dann an diesem begrenzten Umfang orientieren.
Werden dieselben Beispiele laufend zur Promptverbesserung verwendet, helfen sie anschließend beim Wiedererkennen bekannter Fehler. Für eine unabhängige Beurteilung neuer Fälle braucht das Team ergänzende zurückgehaltene Beispiele. Google beschreibt für maschinelles Lernen, wie wiederholte Entscheidungen anhand derselben Testdaten deren Aussagekraft verändern. Auf die Promptauswahl übertragen heißt das: Die Demo bleibt nützlich, ihre bekannten Fälle übernehmen aber nicht zugleich die Rolle einer unabhängigen Abschlussprüfung.
Quellen
Weiterlesen
Alle Beiträge
KI & Automatisierung mit ASES
KI-Assistenten und automatisierte Abläufe