Opdeling af dokumenter
At dele et dokument i mindre sammenhængende afsnit til søgning og modelkontekst.
Hvilken sammenhæng skal bevares i afsnittet?
Opdeling af dokumenter skaber mindre sammenhængende afsnit til søgning eller til at give en model som input. Grænserne kan følge sætninger, overskrifter og tabeller. Det kan tage højde for inputgrænser og gøre forskellige emner mere præcist søgbare. Størrelse og mulig overlapning afhænger af indhold og opgave; ingen længde er ideel overalt. Hver del skal fortsat have forbindelse til kilde, version og gældende adgangsregler.
I en fiktiv videnssamling angiver en tabel udstyrsidentifikation som obligatorisk felt i portalformularen. Hentes kun tabelrækken uden kolonneoverskrifter og afsnitstitel, kan det blive uklart, hvilken indberetningsvej kravet gælder for. Derfor følger den relevante overskrift og tabelsammenhæng med afsnittet i forberedelsen. Planlagte søgespørgsmål vurderer, om fundne afsnit bevarer forskellen og fører tilbage til den oprindelige kilde. Når en version erstattes, skal de berørte søgeafsnit også opdateres sporbart.
Kilder
Relaterede begreber
- KontekstvindueKontekstvinduet begrænser, hvor mange tokens en sprogmodel kan inddrage i ét behandlingstrin. Det er ikke et permanent vidensarkiv.
- Token i sprogmodellerTokens er sprogmodellers behandlingsenheder. De svarer ikke altid til hele ord og adskiller sig fra designtokens.
- EmbeddingEt embedding repræsenterer indhold som en talvektor. Model og sammenligningsmetode afgør, hvilke ligheder der bliver synlige.
- Retrieval-augmented generationRAG forbinder informationssøgning med et genereret svar. Kildeadgang erstatter ikke et kvalitets- og rettighedsdesign.
- Semantisk søgningSøgning, der finder og rangerer resultater efter indholdsmæssig nærhed til forespørgslen.
- Hybrid søgningKombination af ordbaseret søgning og vektorsøgning i en fælles resultatliste.
Dit projekt med ASES
Beskriv dit projekt for os. Vi vender tilbage med en første vurdering.