Chunking von Dokumenten

Welcher Zusammenhang muss im Abschnitt erhalten bleiben?

Chunking teilt Dokumente in kleinere zusammenhängende Abschnitte für die Suche oder die Bereitstellung an ein Modell. Grenzen können sich etwa an Sätzen, Überschriften und Tabellen orientieren. Das kann Eingabegrenzen berücksichtigen und unterschiedliche Themen genauer auffindbar machen. Größe und mögliche Überlappung richten sich nach Inhalt und Aufgabe; eine überall ideale Länge gibt es nicht. Jeder Teil braucht weiterhin einen Bezug zu Quelle, Fassung und geltenden Zugriffsregeln.

In einem fiktiven Wissensbestand nennt eine Tabelle die Gerätekennung als Pflichtfeld für das Portalformular. Wird nur die Tabellenzeile ohne Spaltenüberschriften und Abschnittstitel abgerufen, kann unklar werden, für welchen Meldeweg diese Pflicht gilt. Bei der Aufbereitung werden deshalb der passende Titel und der Tabellenzusammenhang mitgeführt. Geplante Suchfragen prüfen, ob die gefundenen Abschnitte diese Unterscheidung bewahren und zur ursprünglichen Quelle zurückführen. Wird eine Fassung ersetzt, müssen auch die betroffenen Suchabschnitte nachvollziehbar aktualisiert werden.

Quellen

• Microsoft Learn · Chunk documents

• OWASP · RAG Security Cheat Sheet