Reproduserbarhet for KI-utdata
Å kunne gjenta KI-generering under dokumenterte betingelser og sammenligne resultatene etter fastsatte kriterier.
Hva skal være likt ved en gjentakelse?
Reproduserbarhet for KI-utdata krever dokumenterte betingelser for genereringen. Det omfatter modellversjon, fullstendige instruksjoner og inndata, brukte kilder eller verktøyresultater og innstillinger for utdata. En gjentakelse kan vurderes ut fra identisk tekst eller innholdsmessig likeverdige resultater; målene må fastsettes hver for seg. En fast seed-verdi kan støtte sammenligningen dersom modellen tilbyr det. Den garanterer likevel ikke identiske utdata, heller ikke sammen med lav temperatur.
I et fiktivt prosjekt skal en modell overføre utstyrsidentifikasjon og meldingsdato fra en servicerapport til feltene asset_id og reported_date. Planlagte gjentakelser bruker samme rapport, samme kildeversjoner og samme modellkonfigurasjon. Det fastsettes på forhånd hvordan riktige feltverdier, manglende opplysninger og forventet format vurderes. Annen tegnsetting i en ekstra forklaring kan være uvesentlig; en annen utstyrsidentifikasjon ville ha betydning for innholdet. Resultatene lagres med genereringsbetingelsene, slik at senere endringer i modell eller arbeidsflyt kan sammenlignes målrettet.
Kilder
Beslektede begreper
- PromptdesignÅ utforme og teste oppgaver, kontekst og utdataregler for en generativ modell.
- LLM-evalueringLLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
- Testdata i maskinlæringData til avsluttende vurdering der resultatene ikke er brukt til å velge modellvarianten som vurderes.
- Temperatur i språkmodellerEn innstilling som ved sampling påvirker fordelingen av mulige neste tokener og dermed utvalget.
- Top-p-samplingValg av neste token fra en liten mengde sannsynlige kandidater som til sammen dekker en sannsynlighetsterskel.
- Omrangering av søkeresultaterOmrangering vurderer allerede funne søkekandidater på nytt. Relevans for spørsmålet og begrensningene i det første utvalget er avgjørende.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.