Uppdelning av dokument
Att dela ett dokument i mindre sammanhängande avsnitt för sökning och modellkontext.
Vilket sammanhang måste bevaras i avsnittet?
Uppdelning av dokument skapar mindre sammanhängande avsnitt för sökning eller som underlag till en modell. Gränserna kan följa meningar, rubriker och tabeller. Det kan ta hänsyn till indatagränser och göra skilda ämnen mer precist sökbara. Storlek och eventuell överlappning beror på innehåll och uppgift; ingen längd är idealisk överallt. Varje del behöver fortsatt koppling till källa, version och gällande åtkomstregler.
I en fiktiv kunskapssamling anger en tabell utrustningsidentifierare som obligatoriskt fält i portalformuläret. Om bara tabellraden hämtas utan kolumnrubriker och avsnittstitel kan det bli oklart vilken rapporteringsväg kravet gäller för. Därför följer relevant rubrik och tabellsammanhang med avsnittet vid förberedelsen. Planerade sökfrågor bedömer om hittade avsnitt bevarar skillnaden och leder tillbaka till ursprungskällan. När en version ersätts måste berörda sökavsnitt också uppdateras spårbart.
Källor
Relaterade begrepp
- KontextfönsterKontextfönstret begränsar hur många token en språkmodell kan beakta i ett bearbetningssteg. Det är inget permanent kunskapsarkiv.
- Token i språkmodellerToken är språkmodellers bearbetningsenheter. De motsvarar inte alltid hela ord och skiljer sig från designtokens.
- EmbeddingEn embedding representerar innehåll som en talvektor. Modell och jämförelsemetod avgör vilka likheter som blir synliga.
- Generering med hämtad informationRAG förenar informationssökning med ett genererat svar. Källåtkomst ersätter inte utformning av kvalitet och behörigheter.
- Semantisk sökningSökning som hittar och rangordnar träffar efter innehållslig närhet till frågan.
- HybridsökningKombination av ordbaserad sökning och vektorsökning till en gemensam träfflista.
Ditt projekt med ASES
Beskriv ditt projekt för oss. Vi hör av oss med en första bedömning.