Reproduceerbaarheid van AI-uitvoer
AI-generatie onder vastgelegde omstandigheden kunnen herhalen en resultaten volgens bepaalde criteria vergelijken.
Wat moet bij een herhaling gelijk blijven?
Reproduceerbaarheid van AI-uitvoer vereist vastgelegde generatieomstandigheden. Daarbij horen modelversie, volledige instructies en invoer, gebruikte bronnen of toolresultaten en uitvoerinstellingen. Een herhaling kan worden beoordeeld op identieke tekst of inhoudelijk gelijke resultaten; die doelen moeten apart vaststaan. Een vaste seed kan de vergelijking ondersteunen als het model die biedt. Die garandeert echter geen identieke uitvoer, ook niet samen met een lage temperatuur.
In een fictief project moet een model een apparaatidentificatie en meldingsdatum uit een servicerapport overnemen in de velden asset_id en reported_date. Geplande herhalingen gebruiken hetzelfde rapport, dezelfde bronversies en dezelfde modelconfiguratie. Vooraf wordt bepaald hoe juiste veldwaarden, ontbrekende informatie en het verwachte formaat worden beoordeeld. Andere interpunctie in een aanvullende toelichting kan onbelangrijk zijn; een andere apparaatidentificatie is inhoudelijk relevant. Resultaten worden met hun generatieomstandigheden bewaard, zodat latere wijzigingen in model of proces gericht kunnen worden vergeleken.
Bronnen
Verwante begrippen
- PromptengineeringTaken, context en uitvoerregels voor een generatief model doelgericht ontwerpen en toetsen.
- LLM-evaluatieLLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
- Testgegevens bij machine learningGegevens voor de eindbeoordeling waarvan de resultaten niet zijn gebruikt om de beoordeelde modelvariant te kiezen.
- Temperatuur bij taalmodellenInstelling die bij sampling de verdeling van mogelijke volgende tokens en daarmee de selectie beïnvloedt.
- Top-p-samplingHet volgende token kiezen uit een kleine verzameling waarschijnlijke kandidaten die samen een kansdrempel afdekken.
- Herordening van zoekresultatenHerordening beoordeelt gevonden zoekkandidaten opnieuw. De aansluiting op de vraag en de grenzen van de eerste selectie blijven bepalend.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.