LLM-evaluering
LLM-evaluering tester modellutdata mot definerte oppgaver og kriterier. Ett godt enkelttilfelle dokumenterer ikke generell kvalitet.
Undersøk kvalitet med fastsatte tilfeller
LLM-evaluering tester systematisk en språkmodells utdata mot konkrete oppgaver og vurderingskriterier. Den kan undersøke faktariktighet, støtte i oppgitte kilder eller overholdelse av forventede grenser.
I en oppdiktet test svarer en modell på leveringsspørsmål. Ett tilfelle inneholder en bekreftet dato; et annet mangler den. I det andre tilfellet er det å oppdage den manglende opplysningen en del av forventet resultat. En velformulert oppdiktet dato ville vært en feil.
Gyldige omformuleringer bør ikke automatisk regnes som feil bare fordi de avviker fra referanseteksten. Omvendt dokumenterer språklig likhet ikke faktariktighet. Noter modell, inndata og konfigurasjon. Vurdering av et begrenset testomfang dokumenterer ikke kvalitet i alle fremtidige tilfeller.
Kilder
Beslektede begreper
- Stor språkmodellEn stor språkmodell behandler språk med innlærte mønstre. Flytende tekst beviser verken faktariktighet eller tilgang til aktuelle virksomhetsdata.
- KI-hallusinasjonEn KI-hallusinasjon er plausibelt innhold som er faktisk feil eller oppdiktet. Flytende språk dokumenterer ikke riktighet.
- ModellkortEt modellkort dokumenterer formål, grunnlag, evalueringsbetingelser og kjente begrensninger for en bestemt versjon av en KI-modell.
- KI-modenhetKI-modenhet gjelder forutsetningene for et prosjekt: mål, brukbare data, kompetanse, ansvar og et fungerende driftsopplegg.
- Context engineeringContext engineering forbereder informasjon til hvert modellkall: relevante instruksjoner, meldinger, kilder og gjeldende tilstander.
- AnomalideteksjonMetoder som markerer uvanlige observasjoner sammenlignet med en fastsatt referanse eller et innlært mønster.
Artikler om temaet
KI og automatisering med ASES
KI-assistenter og automatiserte prosesser