Context engineering

At forberede arbejdskonteksten til et modelkald

Context engineering er målrettet udvælgelse og forberedelse af den information, en sprogmodel modtager ved et kald. Det kan omfatte instruktioner, relevante dele af samtalen, fundne dokumenter og resultater fra allerede udførte værktøjer. Ud over formuleringen tæller det, hvilken information der vælges, opdateres eller sammenfattes. Et begrænset kontekstvindue kræver prioritering. Varigt gemt information er ikke automatisk tilgængelig for modellen ved hvert kald; beskrivelser af tilgængelige værktøjer giver heller ikke ekstra rettigheder til at udføre handlinger.

I en fiktiv servicesag spørger en kunde, hvordan den reparerede enhed bliver leveret tilbage. En ældre samtaleopsummering nævner afhentning, mens den seneste bekræftede sagsstatus nævner forsendelse aftalt senere. Til svaret bør applikationen levere den aktuelle status med kilde og markere det tidligere ønske som erstattet. En gennemgang skulle undersøge, om modellen gengiver den aftalte returform korrekt. Mere tekst alene løser ikke modstriden. At oplyse om den aftalte forsendelse opretter ikke i sig selv en forsendelsesordre.

Kilder

• LangChain · Context engineering in agents