Oppdeling av dokumenter
Å dele et dokument i mindre sammenhengende avsnitt for søk og modellkontekst.
Hvilken sammenheng må bevares i avsnittet?
Oppdeling av dokumenter lager mindre sammenhengende avsnitt for søk eller som grunnlag for en modell. Grensene kan følge setninger, overskrifter og tabeller. Det kan ta hensyn til inndatagrensene og gjøre ulike emner mer presist søkbare. Størrelse og eventuell overlapping avhenger av innhold og oppgave; ingen lengde er ideell overalt. Hver del trenger fortsatt tilknytning til kilde, versjon og gjeldende tilgangsregler.
I en fiktiv kunnskapssamling angir en tabell utstyrsidentifikasjon som obligatorisk felt i portalskjemaet. Hvis bare tabellraden hentes uten kolonneoverskrifter og avsnittstittel, kan det bli uklart hvilken meldingsvei kravet gjelder for. Derfor følger riktig overskrift og tabellsammenheng med avsnittet under klargjøringen. Planlagte søkespørsmål vurderer om de funne avsnittene bevarer skillet og viser tilbake til den opprinnelige kilden. Når en versjon erstattes, må de berørte søkeavsnittene også oppdateres sporbart.
Kilder
Beslektede begreper
- KontekstvinduKontekstvinduet begrenser hvor mange tokener en språkmodell kan ta hensyn til i ett behandlingstrinn. Det er ikke et permanent kunnskapsarkiv.
- Token i språkmodellerTokener er språkmodellers behandlingsenheter. De tilsvarer ikke alltid hele ord og skiller seg fra designtokener.
- EmbeddingEn embedding representerer innhold som en tallvektor. Modell og sammenligningsmetode avgjør hvilke likheter som blir synlige.
- Retrieval-Augmented GenerationRAG knytter informasjonsinnhenting til genererte svar. Kildetilgang erstatter ikke utforming av kvalitet og rettigheter.
- Semantisk søkSøk som finner og rangerer treff etter innholdsmessig nærhet til forespørselen.
- HybridsøkKombinasjon av ordbasert søk og vektorsøk i en felles treffliste.
Ditt prosjekt med ASES
Beskriv prosjektet ditt for oss. Vi tar kontakt med en første vurdering.