Reproducerbarhed af AI-output
At kunne gentage AI-generering under dokumenterede betingelser og sammenligne resultaterne efter fastlagte kriterier.
Hvad skal være ens ved en gentagelse?
Reproducerbarhed af AI-output kræver dokumenterede betingelser for genereringen. Det omfatter modelversion, fuldstændige instruktioner og input, anvendte kilder eller værktøjsresultater samt outputindstillinger. En gentagelse kan vurderes ud fra identisk tekst eller fagligt ens resultater; målene skal fastlægges hver for sig. En fast seed-værdi kan understøtte sammenligningen, hvis modellen tilbyder den. Den garanterer dog ikke identisk output, heller ikke sammen med lav temperatur.
I et fiktivt projekt skal en model overføre udstyrsidentifikation og meldingsdato fra en servicerapport til felterne asset_id og reported_date. Planlagte gentagelser bruger samme rapport, samme kildeversioner og samme modelkonfiguration. Det fastlægges på forhånd, hvordan korrekte feltværdier, manglende oplysninger og forventet format vurderes. Anderledes tegnsætning i en supplerende forklaring kan være uvæsentlig; en anden udstyrsidentifikation ville være fagligt relevant. Resultaterne gemmes med genereringsbetingelserne, så senere ændringer af model eller forløb kan sammenlignes målrettet.
Kilder
Relaterede begreber
- PromptdesignAt udforme og kontrollere opgaver, kontekst og outputregler for en generativ model.
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- Testdata i maskinlæringData til afsluttende vurdering, hvis resultater ikke er brugt til at vælge den vurderede modelvariant.
- Temperatur i sprogmodellerEn indstilling, der ved sampling påvirker fordelingen af mulige næste tokens og dermed valget.
- Top-p-samplingValg af næste token fra en lille mængde sandsynlige kandidater, som tilsammen dækker en sandsynlighedstærskel.
- Omrangering af søgeresultaterOmrangering vurderer allerede fundne søgeresultater igen. Relevansen for spørgsmålet og den første udvælgelses grænser er afgørende.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.