LLM-Evaluation

Qualität an festgelegten Fällen untersuchen

Eine LLM-Evaluation ist die systematische Prüfung von Ergebnissen eines Sprachmodells anhand bestimmter Aufgaben und Bewertungskriterien. Untersucht werden kann beispielsweise, ob Antworten sachlich richtig sind, auf den bereitgestellten Quellen beruhen oder erwartete Grenzen beachten.

In einem erfundenen Test beantwortet ein Modell Lieferfragen. Ein Fall enthält einen bestätigten Termin; in einem anderen fehlt dieser. Im zweiten Fall ist das Erkennen der fehlenden Information Teil des erwarteten Ergebnisses. Eine sprachlich schöne erfundene Datumsangabe wäre ein Fehler.

Gültige Umformulierungen dürfen nicht automatisch als falsch gelten, nur weil sie vom Referenztext abweichen. Umgekehrt genügt sprachliche Ähnlichkeit nicht als Beweis für sachliche Richtigkeit. Halten Sie Modell, Eingaben und Konfiguration fest. Die Bewertung eines begrenzten Testumfangs belegt nicht die Qualität aller künftigen Fälle.

Quellen

• Google: Machine Learning Glossary — evaluation