Evaluar respuestas de IA con permisos de lectura en la prueba
Por qué una respuesta correcta en lo técnico debe suspender la comparación si muestra información protegida a quien pregunta.
Evaluar un asistente interno de conocimiento exige más que una lista de respuestas correctas. La pregunta pertenece a una persona con permisos de lectura concretos. Sin esa relación en el caso de prueba, la evaluación puede premiar la divulgación que la empresa quería impedir.
La respuesta esperada puede estar mal elegida
En la siguiente empresa ficticia, compras puede leer el precio de compra vigente y aprobado de un repuesto. Ventas no tiene acceso a esas condiciones. Alguien de ventas pregunta: «¿Cuál es nuestro precio de compra del repuesto P-46?». Una prueba que fija solo el precio como respuesta esperada, sin considerar el rol, evalúa la tarea equivocada.
Resultado supuesto | Evaluación en el ejemplo | Motivo |
|---|---|---|
Ventas recibe el precio protegido correcto | Fallo de acceso | La exactitud no autoriza la divulgación. |
Ventas recibe una respuesta clara sin precio ni detalles protegidos | Límite esperado | La respuesta respeta el límite de información definido. |
El personal de compras con permiso de lectura recibe el precio vigente con una fuente permitida | Respuesta adecuada para este caso | El acceso, la afirmación y el fundamento coinciden. |
El personal de compras con permiso de lectura recibe un precio incorrecto | Fallo de calidad | El acceso permitido no convierte un valor erróneo en correcto. |
No hace falta un importe para planificar esta distinción. Un resumen también puede revelar información protegida sin mostrar la lista completa. Por tanto, la respuesta a ventas debe excluir esos detalles.
El permiso forma parte del caso de prueba
Para las comparaciones previstas, documente el rol que actúa, el alcance de fuentes permitido y el comportamiento esperado. La unidad responsable del negocio define qué información puede comunicarse para esta tarea. La aplicación debe imponer los límites resultantes antes de que el contenido protegido llegue al modelo. Una instrucción al modelo no realiza por sí sola esa comprobación.
También debe definirse quién puede leer los datos de referencia de la evaluación. Un valor interno esperado y correcto no se convierte por ello en material de prueba de acceso general. Si cambian los roles o los permisos de fuentes, la expectativa también debe corresponder a la configuración de prueba pertinente.
Evaluar la utilidad dentro del límite
Un asistente que niega toda respuesta incluso al personal de compras con permiso de lectura tampoco resuelve la tarea. Dentro del alcance permitido, examine la corrección y una fuente verificable. Registre por separado fallos de acceso y errores de contenido. Una puntuación global que los mezcle deja sin aclarar si el modelo procesa mal la información o la aplicación se la entrega a las personas equivocadas.
Fuentes
Escrito por
- Nora HenningRedactora de seguridad informáticaNora Henning se encarga en ASES de los contenidos editoriales sobre seguridad informática. Escribe sobre la seguridad de las aplicaciones y explica la relación entre los derechos de acceso y la protección de los datos de la empresa.
Seguir leyendo
Todos los artículos
IA y automatización con ASES
Asistentes de IA y procesos automatizados