Temperatur bei Sprachmodellen
Einstellung, die beim Sampling die Verteilung der möglichen nächsten Tokens und damit die Auswahl beeinflusst.
Was verändert die Temperatur an der Textausgabe?
Die Temperatur beeinflusst beim Sampling eines Sprachmodells, wie stark sich die Auswahl auf wahrscheinlichere nächste Tokens konzentriert. Niedrigere Werte führen typischerweise zu einer stärker konzentrierten, höhere zu einer flacheren Verteilung mit mehr Auswahlvielfalt. Das betrifft die Erzeugung der Ausgabe, nicht ein erneutes Training. Unterstützte Werte und das Zusammenspiel mit anderen Auswahlregeln hängen vom Modell ab. Eine niedrige Temperatur belegt weder die fachliche Richtigkeit noch eine verlässlich richtige Kundenzuordnung.
In einem fiktiven Vorhaben soll ein Modell aus einer Servicebeschreibung einen kurzen internen Betreff vorschlagen. Für einen geplanten Vergleich bleiben Modellversion, Anweisung und Eingabe gleich; zunächst wird nur die Temperatur variiert. Bewertet werden Verständlichkeit, Bezug zur Anfrage und unbelegte Ergänzungen. Eine abwechslungsreichere Formulierung kann nützlich sein, eine erfundene Fehlerursache wäre es nicht. Auch bei sehr niedriger Temperatur können Ausgaben zwischen Wiederholungen abweichen. Die gewählte Einstellung wird deshalb zusammen mit den übrigen Bedingungen und den Prüfergebnissen dokumentiert.
Quellen
Verwandte Begriffe
- Prompt EngineeringAufgaben, Kontext und Ausgabevorgaben für ein generatives Modell gezielt gestalten und prüfen.
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- KonfidenzwertEin Konfidenzwert bewertet die Sicherheit einer Modellvorhersage nach dem jeweiligen Verfahren. Er erteilt keine fachliche Freigabe.
- Top-p-SamplingAuswahl des nächsten Tokens aus einer kleinen Menge wahrscheinlicher Kandidaten, die gemeinsam eine Wahrscheinlichkeitsschwelle abdecken.
- Reproduzierbarkeit von KI-AusgabenKI-Erzeugungen unter dokumentierten Bedingungen wiederholen und ihre Ergebnisse nach festgelegten Kriterien vergleichen können.
- Re-RankingRe-Ranking bewertet bereits gefundene Suchkandidaten erneut. Entscheidend sind die Passung zur Frage und die Grenzen der Vorauswahl.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.