Chunking dei documenti

Quale contesto deve restare nel segmento?

Il chunking crea sezioni più piccole e coerenti dei documenti per la ricerca o la presentazione a un modello. I confini possono seguire frasi, titoli e tabelle. Questo può aiutare a rispettare i limiti di ingresso e a recuperare con più precisione temi distinti. Dimensione ed eventuale sovrapposizione dipendono da contenuto e compito; non esiste una lunghezza ideale universale. Ogni parte deve mantenere il collegamento a fonte, versione e regole di accesso applicabili.

In una raccolta fittizia, una tabella indica l’identificativo dell’apparecchiatura come campo obbligatorio del modulo del portale. Se viene recuperata soltanto la riga senza intestazioni di colonna o titolo di sezione, può non essere chiaro a quale canale di segnalazione si riferisca l’obbligo. La preparazione conserva quindi il titolo pertinente e il contesto della tabella con il segmento. Le domande di ricerca previste valutano se i segmenti trovati mantengano questa distinzione e rimandino alla fonte originale. Quando una versione viene sostituita, vanno aggiornati in modo tracciabile anche i segmenti di ricerca interessati.

Fonti

• Microsoft Learn · Chunk documents

• OWASP · RAG Security Cheat Sheet