Zum Hauptinhalt springen

​
Preview einer Datei im Kontextfenster des Modells

So viel Text des Dokumentes wie möglich wird als Preview an das Modell geschickt. Bei kleinen Dateien kann dies das gesamte Dokument sein. Dateien, die direkt an einen Chat oder Agenten angehängt werden, liest das Modell direkt als Text, ohne Embedding-Suche. Bilddateien werden nicht in Text umgewandelt, sondern als visueller Inhalt an das Modell übergeben, sodass es sie direkt analysieren kann.

​
Embedding-Suche

Für Dateien in Wissensdatenbanken und synchronisierten Agenten-Ordnern kann das Modell eine Embedding-Suche nutzen. Hierbei wird die Datei beim Upload zunächst in kleinere Abschnitte (Chunks) aufgeteilt. Jeder Abschnitt wird anschließend in ein Embedding umgewandelt, eine numerische Darstellung, die die Bedeutung des Inhalts erfasst. Wenn eine Frage gestellt wird, sucht das System die Abschnitte, die inhaltlich am besten zur Frage passen. Dabei wird nicht nach konkreten Wörtern gesucht, sondern nach Abschnitten mit ähnlicher Bedeutung.
Beispiel: Wenn die Embedding-Suche nach “Brot” suchen soll, werden auch Abschnitte zu “Baguette” gefunden, ohne dass das Wort “Brot” vorkommt.
Nur diese relevanten Teile werden an das Modell im Kontext geschickt. Dies ermöglicht, mit sehr großen Dokumenten zu arbeiten, die über das Kontextfenster des Modells hinausgehen.

​
Unsere Parameter

Embedding-Dimension

Die Dimension der Vektoren beträgt 1536.

Chunk-Größe

Dokumente werden in Abschnitte von 2.000 Zeichen zerlegt.

Retrieval-Parameter (k-Wert)

Pro Anfrage werden bis zu 50 Chunks aus den Dokumenten zurückgeliefert.

​
FAQ

Kleine, direkt angehängte Dateien werden nach Möglichkeit vollständig in den Modellkontext aufgenommen. Das ist nützlich, wenn der genaue Wortlaut oder die komplette Struktur wichtig ist. Größere Dokumente werden nicht auf einmal, sondern schrittweise verarbeitet.
Langdock nutzt semantische Suche für Dateien in Wissensdatenbanken und synchronisierten Agenten-Ordnern. Der Inhalt wird in durchsuchbare Chunks aufgeteilt und die relevantesten Chunks werden für die Frage des Users abgerufen. Das hilft bei großen Dokumentensammlungen, bedeutet aber auch, dass das Modell nicht für jede Antwort jedes Dokument oder jeden Satz sieht.
Die Antwort hängt davon ab, was für die konkrete Anfrage abgerufen wurde. Inhalte können übersehen werden, wenn die Frage zu breit ist, die relevante Formulierung von der Frage des Users abweicht, die Datei nicht verarbeitet wurde, Berechtigungen den Zugriff blockieren oder zu viele Quellen um das Retrieval konkurrieren. Engere Fragen und klarere Verweise auf Dateien, Themen oder Abschnitte verbessern die Ergebnisse meist.
Abgerufenes Wissen wird für die aktuelle Anfrage zum Kontext des Modells hinzugefügt. Mehr Wissensquellen, größere abgerufene Chunks, ein langer Chatverlauf, Agenten-Anweisungen und Tool-Ergebnisse konkurrieren alle um dasselbe Kontextfenster.