Kontrollmekanismer for KI
Guardrails begrenser og kontrollerer KI-atferd. Modellinstrukser og teknisk håndheving har ulike oppgaver.
Guardrails er regler og kontroller som skal begrense atferden til en KI-applikasjon. De kan undersøke inndata, utdata eller foreslåtte handlinger. Modellinstrukser, tekniske kontroller og passende godkjenninger kan inngå.
Eksempel med en melding
En hypotetisk assistent skriver et e-postutkast. Sending krever fortsatt separat kontrollert rettighet og den planlagte godkjenningen. Modellens vurdering av teksten som ufarlig åpner ikke sendeveien.
Et filter kan overse forbudt innhold og blokkere tillatt innhold. En promptinstruks er heller ikke en fast tilgangsgrense. Kontroller må passe oppgaven og testes med tillatte og forbudte tilfeller. Navnet guardrails alene beviser ingen sikkerhet.
Kilder
Beslektede begreper
- Human-in-the-loopVed human-in-the-loop deltar et menneske aktivt i et automatisert forløp. Nyttig kontroll krever forståelige opplysninger og mulighet til å gripe inn.
- PromptinjeksjonPromptinjeksjon forsøker å styre en KI-applikasjon med innskutte instrukser. Hentede dokumenter kan også inneholde dem.
- Prinsippet om minste privilegiumPrinsippet begrenser rettigheter til den nødvendige oppgaven og dens dataområde. Nødvendig arbeid er mulig; overflødige fullmakter fjernes.
- ModellkortEt modellkort dokumenterer formål, grunnlag, evalueringsbetingelser og kjente begrensninger for en bestemt versjon av en KI-modell.
- KI-modenhetKI-modenhet gjelder forutsetningene for et prosjekt: mål, brukbare data, kompetanse, ansvar og et fungerende driftsopplegg.
- Context engineeringContext engineering forbereder informasjon til hvert modellkall: relevante instruksjoner, meldinger, kilder og gjeldende tilstander.
Artikler om temaet
KI og automatisering med ASES
KI-assistenter og automatiserte prosesser