Guardrails för AI
Guardrails begränsar och kontrollerar AI-beteende. Modellinstruktioner och teknisk tillämpning har olika uppgifter.
Guardrails är regler och kontroller som ska begränsa en AI-applikations beteende. De kan granska indata, utdata eller föreslagna handlingar. Modellinstruktioner, tekniska kontroller och lämpliga godkännanden kan ingå.
Exempel med ett meddelande
En hypotetisk assistent skriver ett e-postutkast. Sändning kräver fortfarande separat kontrollerad behörighet och avsett godkännande. Modellens bedömning att texten är harmlös öppnar inte sändningsvägen.
Ett filter kan missa förbjudet innehåll och blockera tillåtet innehåll. En promptinstruktion är inte heller en fast åtkomstgräns. Kontroller ska passa uppgiften och prövas med tillåtna och förbjudna fall. Namnet guardrails ensamt bevisar ingen säkerhet.
Källor
Relaterade begrepp
- Människa i loopenEn människa i loopen deltar aktivt i ett automatiserat flöde. Användbar granskning kräver begriplig information och möjlighet att ingripa.
- PromptinjektionPromptinjektion försöker styra om en AI-applikation med infogade instruktioner. Hämtade dokument kan också innehålla dem.
- Principen om minsta behörighetPrincipen begränsar rättigheter till den nödvändiga uppgiften och dess dataområde. Nödvändigt arbete är möjligt; överflödiga befogenheter tas bort.
- ModellkortEtt modellkort dokumenterar syfte, grunder, utvärderingsvillkor och kända begränsningar för en viss version av en AI-modell.
- Beredskap för AIBeredskap för AI gäller ett projekts förutsättningar: mål, användbara data, kompetens, ansvar och ett fungerande arbetssätt för driften.
- KontextutformningKontextutformning förbereder information inför varje modellanrop: relevanta instruktioner, meddelanden, källor och aktuella tillstånd.
Artiklar om ämnet
AI & automatisering med ASES
AI-assistenter och automatiserade flöden