Controles de protección para IA
Los guardrails limitan y comprueban el comportamiento de una aplicación de IA. Las instrucciones al modelo y la aplicación técnica de reglas cumplen funciones distintas.
Los guardrails son reglas y controles destinados a limitar el comportamiento de una aplicación de IA. Pueden revisar entradas, salidas o acciones propuestas. Pueden incluir instrucciones del modelo, comprobaciones técnicas y aprobaciones adecuadas.
Ejemplo de mensaje
Un asistente hipotético redacta un correo. Enviarlo sigue sujeto a permisos comprobados por separado y a la aprobación prevista. Que el modelo considere inocuo el texto no autoriza el envío.
Un filtro puede omitir contenido prohibido y bloquear contenido permitido. Una instrucción tampoco es un límite firme de acceso. Los controles deben ajustarse a la tarea y probarse con casos permitidos y prohibidos. El nombre guardrails no demuestra seguridad por sí solo.
Fuentes
Términos relacionados
- Humano en el circuitoCon el humano en el circuito, una persona participa activamente en un proceso automatizado. Una buena revisión necesita información clara y opciones de intervención.
- Inyección de promptsLa inyección de prompts intenta desviar una aplicación de IA mediante instrucciones insertadas. Los documentos recuperados también pueden contenerlas.
- Principio de mínimo privilegioEl mínimo privilegio limita los permisos a la tarea necesaria y a su alcance. El trabajo requerido sigue siendo posible y se retiran los permisos innecesarios.
- Ficha de modeloUna ficha de modelo documenta el propósito, las bases, las condiciones de evaluación y los límites conocidos de una versión de un modelo de IA.
- Preparación para la IALa preparación para la IA contempla las bases de un proyecto: objetivo, datos utilizables, capacidades, responsabilidades y funcionamiento.
- Ingeniería de contextoLa ingeniería de contexto prepara la información de cada llamada al modelo: instrucciones, mensajes, fuentes y estados actuales pertinentes.
Artículos sobre el tema
IA y automatización con ASES
Asistentes de IA y procesos automatizados