Top-p-Sampling
Auswahl des nächsten Tokens aus einer kleinen Menge wahrscheinlicher Kandidaten, die gemeinsam eine Wahrscheinlichkeitsschwelle abdecken.
Welche Tokens bleiben für die Auswahl übrig?
Top-p-Sampling, auch Nucleus Sampling, begrenzt die Kandidaten für das nächste Token anhand ihrer gemeinsamen Wahrscheinlichkeit. Die wahrscheinlichsten Tokens werden so weit aufgenommen, bis die kleinste entsprechende Menge mindestens die Schwelle p abdeckt. Aus dieser Menge wird mit neu skalierten Wahrscheinlichkeiten gezogen. Die Anzahl der Kandidaten kann sich bei jedem Schritt ändern. Das Zusammenspiel mit Temperatur oder weiteren Filtern hängt von der Umsetzung ab; p ist kein Anteil fachlich richtiger Antworten.
Ein erfundenes Rechenbeispiel betrachtet nur die Kandidaten A, B und C mit Wahrscheinlichkeiten 0,5, 0,3 und 0,2. Bei p = 0,75 bilden A und B zusammen 0,8 und damit die Auswahlmenge; C bleibt außen vor. Die Wahrscheinlichkeiten der verbleibenden Kandidaten werden für die Ziehung wieder auf die Gesamtsumme eins normiert. Dies beschreibt einen einzelnen Auswahlzeitpunkt. Im nächsten Schritt kann die Verteilung anders aussehen. Für einen betrieblichen Textvorschlag werden deshalb weiterhin Inhalt, unbelegte Ergänzungen und gewünschtes Format geprüft.
Quellen
Verwandte Begriffe
- Prompt EngineeringAufgaben, Kontext und Ausgabevorgaben für ein generatives Modell gezielt gestalten und prüfen.
- LLM-EvaluationEine LLM-Evaluation prüft Modellergebnisse anhand definierter Aufgaben und Kriterien. Ein guter Einzelfall ist noch kein belastbarer Qualitätsnachweis.
- KonfidenzwertEin Konfidenzwert bewertet die Sicherheit einer Modellvorhersage nach dem jeweiligen Verfahren. Er erteilt keine fachliche Freigabe.
- Temperatur bei SprachmodellenEinstellung, die beim Sampling die Verteilung der möglichen nächsten Tokens und damit die Auswahl beeinflusst.
- Reproduzierbarkeit von KI-AusgabenKI-Erzeugungen unter dokumentierten Bedingungen wiederholen und ihre Ergebnisse nach festgelegten Kriterien vergleichen können.
- Re-RankingRe-Ranking bewertet bereits gefundene Suchkandidaten erneut. Entscheidend sind die Passung zur Frage und die Grenzen der Vorauswahl.
Ihr Vorhaben mit ASES
Beschreiben Sie uns Ihr Vorhaben. Wir melden uns mit einer ersten Einschätzung.