Reproduzierbarkeit von KI-Ausgaben
KI-Erzeugungen unter dokumentierten Bedingungen wiederholen und ihre Ergebnisse nach festgelegten Kriterien vergleichen können.
Was soll bei einer Wiederholung gleich bleiben?
Reproduzierbarkeit von KI-Ausgaben setzt dokumentierte Erzeugungsbedingungen voraus. Dazu gehören Modellversion, vollständige Anweisungen und Eingaben, verwendete Quellen oder Werkzeugergebnisse sowie die Ausgabeeinstellungen. Eine Wiederholung kann auf identischen Text oder auf fachlich gleiche Ergebnisse geprüft werden; diese Ziele müssen getrennt feststehen. Ein fester Seed kann den Vergleich unterstützen, sofern das Modell ihn anbietet. Er garantiert jedoch keine identische Ausgabe, auch nicht zusammen mit niedriger Temperatur.
In einem fiktiven Vorhaben soll ein Modell aus einem Servicebericht Gerätekennung und Meldedatum in die Felder asset_id und reported_date übernehmen. Für geplante Wiederholungen werden derselbe Bericht, dieselben Quellenstände und dieselbe Modellkonfiguration verwendet. Vorab wird festgelegt, wie korrekte Feldwerte, fehlende Angaben und das erwartete Format beurteilt werden. Eine andere Zeichensetzung in einem zusätzlichen Erläuterungstext kann unerheblich sein; eine abweichende Gerätekennung wäre fachlich relevant. Die Ergebnisse werden mit ihren Erzeugungsbedingungen aufbewahrt, damit spätere Änderungen des Modells oder Ablaufs gezielt verglichen werden können.
Quellen
Verwandte Begriffe
- Prompt EngineeringAufgaben, Kontext und Ausgabevorgaben für ein generatives Modell gezielt gestalten und prüfen.
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- Testdaten im maschinellen LernenFür eine abschließende Bewertung vorgesehene Daten, deren Ergebnisse nicht zur Auswahl der geprüften Modellvariante verwendet wurden.
- Temperatur bei SprachmodellenEinstellung, die beim Sampling die Verteilung der möglichen nächsten Tokens und damit die Auswahl beeinflusst.
- Top-p-SamplingAuswahl des nächsten Tokens aus einer kleinen Menge wahrscheinlicher Kandidaten, die gemeinsam eine Wahrscheinlichkeitsschwelle abdecken.
- Re-RankingRe-Ranking bewertet bereits gefundene Suchkandidaten erneut. Entscheidend sind die Passung zur Frage und die Grenzen der Vorauswahl.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.