LLM-utvärdering
LLM-utvärdering prövar modellutdata mot definierade uppgifter och kriterier. Ett bra enskilt exempel bevisar inte allmän kvalitet.
Undersök kvalitet med fastställda fall
LLM-utvärdering prövar systematiskt en språkmodells utdata mot konkreta uppgifter och bedömningskriterier. Den kan gälla faktariktighet, stöd i tillhandahållna källor eller respekt för förväntade gränser.
I ett påhittat test besvarar en modell leveransfrågor. Ett fall innehåller ett bekräftat datum; ett annat saknar det. I det andra fallet ingår det i det förväntade resultatet att upptäcka den saknade uppgiften. Ett välformulerat påhittat datum vore ett fel.
Giltiga omformuleringar bör inte automatiskt räknas som fel bara för att de skiljer sig från referenstexten. Omvänt bevisar språklig likhet inte faktariktighet. Dokumentera modell, indata och konfiguration. Bedömning av ett begränsat testomfång visar inte kvalitet i alla framtida fall.
Källor
Relaterade begrepp
- Stor språkmodellEn stor språkmodell bearbetar språk med inlärda mönster. Flytande text bevisar varken faktariktighet eller tillgång till aktuella företagsdata.
- AI-hallucinationEn AI-hallucination är trovärdigt formulerat innehåll som är sakligt felaktigt eller påhittat. Flytande språk bevisar inte korrekthet.
- ModellkortEtt modellkort dokumenterar syfte, grunder, utvärderingsvillkor och kända begränsningar för en viss version av en AI-modell.
- Beredskap för AIBeredskap för AI gäller ett projekts förutsättningar: mål, användbara data, kompetens, ansvar och ett fungerande arbetssätt för driften.
- KontextutformningKontextutformning förbereder information inför varje modellanrop: relevanta instruktioner, meddelanden, källor och aktuella tillstånd.
- AnomalidetektionMetoder som markerar ovanliga observationer jämfört med en fastställd referens eller ett inlärt mönster.
Artiklar om ämnet
AI & automatisering med ASES
AI-assistenter och automatiserade flöden