Valideringsdata
Data til at vurdere og vælge modelvarianter under udviklingen.
Hvad bruges valideringsdata til?
Valideringsdata hjælper med at vurdere og vælge modelvarianter eller indstillinger under udviklingen. De har en anden rolle end de eksempler, som modellen lærer sine parametre fra. De kan bruges som et særskilt tilbageholdt datasæt eller gennem skiftende opdelinger. Den egnede opdeling afhænger også af tidsmæssige eller andre afhængigheder mellem eksemplerne. Modelvalget skal indgå i planlægningen af en afsluttende uafhængig vurdering.
I et fiktivt projekt til klassificering af reservedelsfotos planlægger teamet at sammenligne flere varianter med valideringsbilleder. Det ser på fejl pr. vareklasse og optagesituation frem for kun at vælge efter en samlet score. I dette projekt holdes billederne til den afsluttende test uden for dette valg. Gentagen tilpasning af varianter til de samme valideringstilfælde kan også dér give et for gunstigt billede. Teamet dokumenterer derfor billedernes roller og beslutningerne om modelvalg. En god valideringsscore dokumenterer ikke i sig selv lige så gode resultater på senere produktfotos.
Kilder
Relaterede begreber
- MaskinlæringModeller lærer mønstre fra data og bruger dem på nye input.
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- TræningsdataDe eksempler, som en model lærer sammenhænge eller parametre fra under træningen.
- Testdata i maskinlæringData til afsluttende vurdering, hvis resultater ikke er brugt til at vælge den vurderede modelvariant.
- OverfittingEn for stærk tilpasning til særlige træk i træningsdata, som forringer modellens generalisering til nye eksempler.
- UnderfittingEn model opfanger ikke de nødvendige sammenhænge i opgaven tilstrækkeligt og giver derfor svage forudsigelser.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.