LLM-evaluering
LLM-evaluering undersøger modeloutput efter definerede opgaver og kriterier. Et godt enkeltstående eksempel dokumenterer ikke generel kvalitet.
Undersøg kvalitet med fastlagte tilfælde
LLM-evaluering undersøger systematisk en sprogmodels output efter konkrete opgaver og vurderingskriterier. Det kan gælde faktuel korrekthed, støtte i de angivne kilder eller overholdelse af forventede grænser.
I en opdigtet test besvarer en model leveringsspørgsmål. Ét tilfælde indeholder en bekræftet dato; et andet mangler den. I det andet tilfælde er det at opdage den manglende oplysning en del af det forventede resultat. En flydende opdigtet dato ville være en fejl.
Gyldige omformuleringer bør ikke automatisk tælle som forkerte, blot fordi de afviger fra referenceteksten. Omvendt dokumenterer sproglig lighed ikke faktuel korrekthed. Notér model, input og konfiguration. Vurdering af et begrænset testomfang dokumenterer ikke kvalitet i alle fremtidige tilfælde.
Kilder
Relaterede begreber
- Stor sprogmodelEn stor sprogmodel behandler sprog ved hjælp af lærte mønstre. Flydende tekst dokumenterer ikke korrekthed eller adgang til aktuelle virksomhedsdata.
- AI-hallucinationEn AI-hallucination er plausibelt indhold, som er faktuelt forkert eller opdigtet. Flydende sprog dokumenterer ikke korrekthed.
- ModelkortEt modelkort dokumenterer formål, grundlag, vurderingsbetingelser og kendte begrænsninger for en bestemt version af en AI-model.
- AI-parathedAI-parathed handler om et projekts forudsætninger: mål, brugbare data, kompetencer, ansvar og et fungerende driftsforløb.
- Context engineeringContext engineering forbereder information til hvert modelkald: relevante instruktioner, beskeder, kilder og aktuelle tilstande.
- AnomalidetektionMetoder, der markerer usædvanlige observationer i forhold til en fastlagt reference eller et indlært mønster.
Artikler om emnet
AI & automatisering med ASES
AI-assistenter og automatiserede arbejdsgange