Documenten opdelen in chunks
Een document verdelen in kleinere samenhangende delen voor zoeken en modelcontext.
Welke context moet in het deel behouden blijven?
Documenten opdelen in chunks maakt kleinere samenhangende delen voor zoeken of aanbieding aan een model. Grenzen kunnen zinnen, koppen en tabellen volgen. Dat kan helpen om invoerlimieten te respecteren en afzonderlijke onderwerpen nauwkeuriger vindbaar te maken. Grootte en eventuele overlap hangen af van inhoud en taak; er bestaat geen overal ideale lengte. Elk deel moet verbonden blijven met bron, versie en geldende toegangsregels.
In een fictieve kennisverzameling noemt een tabel de apparaatidentificatie als verplicht veld voor het portaalformulier. Wordt alleen de tabelrij zonder kolomkoppen en sectietitel opgehaald, dan kan onduidelijk worden voor welke meldingsroute die verplichting geldt. Bij de voorbereiding blijven de juiste kop en tabelcontext daarom bij het deel. Geplande zoekvragen beoordelen of gevonden delen dat onderscheid bewaren en naar de oorspronkelijke bron leiden. Als een versie wordt vervangen, moeten ook de betrokken zoekdelen navolgbaar worden bijgewerkt.
Bronnen
Verwante begrippen
- ContextvensterHet contextvenster begrenst hoeveel tokens een taalmodel in één verwerkingsstap kan meenemen. Het is geen blijvend kennisarchief.
- Token in een taalmodelTokens zijn verwerkingseenheden van taalmodellen. Ze komen niet altijd overeen met hele woorden en verschillen van designtokens.
- EmbeddingEen embedding geeft inhoud als getallenvector weer. Model en vergelijkingsmethode bepalen welke overeenkomsten zichtbaar worden.
- Retrieval-augmented generationRAG verbindt informatie ophalen met een gegenereerd antwoord. Brontoegang vervangt geen kwaliteits- en rechtenontwerp.
- Semantisch zoekenZoeken dat resultaten vindt en rangschikt op inhoudelijke verwantschap met de zoekvraag.
- Hybride zoekmethodeWoordgebaseerd zoeken en vectorzoeken combineren tot één gezamenlijke resultatenlijst.
Uw project met ASES
Beschrijf ons uw project. We nemen contact met u op met een eerste inschatting.