Testdata i maskinlæring
Data til afsluttende vurdering, hvis resultater ikke er brugt til at vælge den vurderede modelvariant.
Hvad skal testdata vise?
Testdata bruges til at vurdere en valgt model med eksempler, som ikke har styret dens udvikling eller valg. De skal passe til den planlagte brug og være adskilt passende fra udviklingsdata. Opdelingen afhænger også af grupper og tidsmæssige relationer. Navnet testdatasæt dokumenterer hverken uafhængighed eller tilstrækkelig dækning. Resultatet gælder for de data og forhold, der faktisk er vurderet.
I et fiktivt reservedelsprojekt reserveres fotos af andre fysiske eksemplarer fra de samme vareklasser til den afsluttende test. Meget ens optagelser af samme eksemplar må ikke ubemærket fordeles mellem træning og test. De planlagte lys- og optageforhold tages også i betragtning. Teamet registrerer, hvilken variant og hvilke data der vurderes. Hvis det derefter bruger testresultaterne til at vælge næste variant, har testen påvirket udviklingen. En ny uafhængig slutvurdering kræver da igen en egnet kontrol uden for dette valg. Et gunstigt resultat med de tidligere billeder garanterer ikke lige så gode resultater under andre forhold.
Kilder
Relaterede begreber
- MaskinlæringModeller lærer mønstre fra data og bruger dem på nye input.
- LLM-evalueringLLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
- ComputersynMetoder til at udlede information fra billeder og video, eksempelvis ved at klassificere objekter, finde deres placering eller opdele billedområder.
- TræningsdataDe eksempler, som en model lærer sammenhænge eller parametre fra under træningen.
- ValideringsdataData til at vurdere og vælge modelvarianter under udviklingen.
- OverfittingEn for stærk tilpasning til særlige træk i træningsdata, som forringer modellens generalisering til nye eksempler.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.