Enrutamiento de modelos
Elegir un modelo adecuado para cada solicitud entre un conjunto definido de candidatos permitidos.
¿Qué modelo debe procesar la solicitud?
El enrutamiento de modelos elige un modelo para una solicitud entre candidatos permitidos previamente definidos. La decisión puede depender del tipo de tarea, las capacidades necesarias y los requisitos de tiempo de respuesta o coste operativo. Pueden usarse reglas fijas o un modelo de selección separado. Después, el modelo elegido procesa la solicitud. El mero enrutamiento no lo entrena. Qué candidatos pueden tratar los datos y la tarea debe estar definido antes de elegir.
En un proyecto ficticio, las propuestas breves de asunto y el análisis detallado de informes deben poder usar modelos distintos. Una comparación prevista evalúa el enrutamiento frente al uso anterior de un modelo fijo. Se examinan el resultado operativo de la tarea, los errores de enrutamiento, el tiempo de respuesta y el coste real de operación. Una vía alternativa ante un fallo también debe utilizar solo candidatos permitidos. La ruta elegida y la versión del modelo se registran con las condiciones de evaluación para atribuir los errores a un paso concreto.
Fuentes
Términos relacionados
- Inferencia de IAAplicar un modelo ya entrenado a entradas para obtener un resultado.
- Llamada a funcionesUn modelo de lenguaje solicita una función descrita con parámetros estructurados; la aplicación conectada la ejecuta.
- Evaluación de LLMLa evaluación de LLM comprueba resultados según tareas y criterios definidos. Un buen caso aislado no demuestra calidad general.
- Controles de protección para IALos guardrails limitan y comprueban el comportamiento de una aplicación de IA. Las instrucciones al modelo y la aplicación técnica de reglas cumplen funciones distintas.
- Cuantización de modelosRepresentar los pesos de un modelo y, según el método, valores intermedios con menor precisión numérica.
- Destilación de conocimientoEntrenar un modelo objetivo con información del comportamiento de un modelo profesor o un grupo de modelos.
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.