Reproducerbarhet för AI-utdata
Att kunna upprepa AI-generering under dokumenterade villkor och jämföra resultaten enligt fastställda kriterier.
Vad ska vara lika vid en upprepning?
Reproducerbarhet för AI-utdata kräver dokumenterade villkor för genereringen. Det omfattar modellversion, fullständiga instruktioner och indata, använda källor eller verktygsresultat samt utdatainställningar. En upprepning kan bedömas utifrån identisk text eller sakligt likvärdiga resultat; målen behöver fastställas separat. Ett fast seed-värde kan stödja jämförelsen om modellen erbjuder det. Det garanterar dock inte identiska utdata, inte heller tillsammans med låg temperatur.
I ett fiktivt projekt ska en modell överföra utrustningsidentifierare och anmälningsdatum från en servicerapport till fälten asset_id och reported_date. Planerade upprepningar använder samma rapport, samma källversioner och samma modellkonfiguration. Det fastställs i förväg hur korrekta fältvärden, saknade uppgifter och förväntat format bedöms. Annan interpunktion i en kompletterande förklaring kan sakna betydelse; en annan utrustningsidentifierare vore sakligt relevant. Resultaten sparas med genereringsvillkoren så att senare ändringar i modell eller arbetsflöde kan jämföras riktat.
Källor
Relaterade begrepp
- PromptdesignAtt utforma och pröva uppgifter, kontext och utdataregler för en generativ modell.
- LLM-utvärderingLLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
- Testdata inom maskininlärningData för slutbedömning vars resultat inte har använts för att välja den modellvariant som bedöms.
- Temperatur i språkmodellerEn inställning som vid sampling påverkar fördelningen av möjliga nästa token och därmed urvalet.
- Top-p-samplingVal av nästa token ur en liten mängd sannolika kandidater som tillsammans täcker en sannolikhetströskel.
- Omrankning av sökresultatOmrankning bedömer redan hittade sökkandidater på nytt. Relevansen för frågan och det första urvalets begränsningar är avgörande.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.