LLM-evaluatie
LLM-evaluatie toetst modeluitvoer aan vastgelegde taken en criteria. Eén goed voorbeeld bewijst geen algemene kwaliteit.
Kwaliteit met vastgelegde gevallen onderzoeken
LLM-evaluatie toetst systematisch de uitvoer van een taalmodel aan concrete taken en beoordelingscriteria. Daarbij kan het gaan om feitelijke juistheid, onderbouwing vanuit aangeleverde bronnen of het respecteren van verwachte grenzen.
In een fictieve test beantwoordt een model leveringsvragen. Eén geval bevat een bevestigde datum; bij een ander ontbreekt die. In het tweede geval hoort het herkennen van ontbrekende informatie bij de verwachte uitkomst. Een vloeiend verzonnen datum zou een fout zijn.
Geldige herformuleringen mogen niet automatisch fout tellen omdat ze afwijken van de referentietekst. Omgekeerd bewijst taalkundige gelijkenis geen feitelijke juistheid. Leg model, invoer en configuratie vast. Een beoordeling van een beperkt testbereik bewijst geen kwaliteit voor alle toekomstige gevallen.
Bronnen
Verwante begrippen
- Groot taalmodelEen groot taalmodel verwerkt taal met geleerde patronen. Vloeiende tekst bewijst geen feitelijke juistheid of toegang tot actuele bedrijfsgegevens.
- AI-hallucinatieEen AI-hallucinatie is aannemelijk klinkende maar feitelijk onjuiste of verzonnen inhoud. Vloeiende taal bewijst geen juistheid.
- ModelkaartEen modelkaart documenteert doel, grondslagen, beoordelingsvoorwaarden en bekende beperkingen van een bepaalde versie van een AI-model.
- AI-readinessAI-readiness betreft de voorwaarden voor een project: doel, bruikbare gegevens, vaardigheden, verantwoordelijkheden en dagelijks beheer.
- ContextengineeringContextengineering bereidt informatie voor elke modelaanroep voor: passende instructies, berichten, bronnen en de actuele stand van zaken.
- AnomaliedetectieMethoden die ongebruikelijke waarnemingen markeren ten opzichte van een vastgestelde referentie of een geleerd patroon.
Artikelen over dit onderwerp
AI & automatisering met ASES
AI-assistenten en geautomatiseerde processen