Kontextutformning

Att förbereda arbetskontexten för ett modellanrop

Kontextutformning, eller context engineering, innebär att medvetet välja ut och förbereda den information en språkmodell får vid ett anrop. Det kan omfatta instruktioner, relevanta samtalsdelar, hittade dokument och resultat från verktyg som redan körts. Utöver formuleringen spelar det roll vilken information som väljs, uppdateras eller sammanfattas. Ett begränsat kontextfönster kräver prioritering. Varaktigt lagrad information är inte automatiskt tillgänglig för modellen vid varje anrop; beskrivningar av tillgängliga verktyg ger inte heller ytterligare rättigheter att utföra åtgärder.

I ett fiktivt serviceärende frågar en kund hur den reparerade enheten ska lämnas tillbaka. En äldre samtalssammanfattning anger hämtning, medan den senaste bekräftade ärendestatusen anger frakt som avtalats senare. Inför svaret bör applikationen tillhandahålla aktuell status med källa och markera att det tidigare önskemålet har ersatts. En granskning skulle kontrollera om modellen återger den avtalade returmetoden korrekt. Mer text i sig löser inte motsägelsen. Information om den avtalade frakten skapar inte i sig en fraktorder.

Källor

• LangChain · Context engineering in agents