Fragmentación de documentos
Dividir un documento en fragmentos más pequeños y coherentes para la búsqueda y el contexto del modelo.
¿Qué contexto debe conservar el fragmento?
La fragmentación divide documentos en secciones más pequeñas y coherentes para recuperarlas o presentarlas a un modelo. Los límites pueden seguir frases, encabezados y tablas. Esto puede ayudar a respetar los límites de entrada y a recuperar con más precisión temas distintos. El tamaño y el posible solapamiento dependen del contenido y de la tarea; no hay una longitud ideal universal. Cada parte debe mantener su relación con la fuente, la versión y las reglas de acceso vigentes.
En una colección ficticia, una tabla indica que el identificador del equipo es obligatorio en el formulario del portal. Si se recupera solo la fila sin encabezados de columna ni título de sección, puede dejar de estar claro a qué vía de aviso se aplica la obligación. Por eso la preparación conserva el título pertinente y el contexto de la tabla con el fragmento. Las preguntas previstas evalúan si los fragmentos encontrados mantienen esa distinción y llevan a la fuente original. Al sustituir una versión, también deben actualizarse de forma trazable los fragmentos de búsqueda afectados.
Fuentes
Términos relacionados
- Ventana de contextoLa ventana de contexto limita los tokens que un modelo de lenguaje puede considerar en un paso. No es un archivo permanente de conocimientos.
- Token en modelos de lenguajeLos tokens son unidades de procesamiento de modelos de lenguaje. No equivalen siempre a palabras completas y se distinguen de los tokens de diseño.
- EmbeddingUn embedding representa un contenido como vector numérico. El modelo y el método de comparación determinan qué similitudes se detectan.
- Generación aumentada por recuperaciónRAG combina la recuperación de información con respuestas generadas. Acceder a fuentes no sustituye un diseño cuidadoso de la calidad y los permisos.
- Búsqueda semánticaBúsqueda que encuentra y ordena resultados por su proximidad de significado a la consulta.
- Búsqueda híbridaCombinar la búsqueda léxica y la vectorial en una lista común de resultados.
Su proyecto con ASES
Descríbanos su proyecto. Le responderemos con una primera valoración.