Skip to main content

​
Preview einer Datei im Kontextfenster des Modells

So viel Text des Dokumentes wie möglich wird als Preview an das Modell geschickt. Bei kleinen Dateien kann dies das gesamte Dokument sein. In Chats und Agenten mit insgesamt bis zu 20 Dokumenten werden direkte Dateien im Kontext als Vorschau bereitgestellt. Bei mehr als 20 Dokumenten ruft ein Agent Dokumente stattdessen über die Dokumentensuche ab, während Tabellen angehängt bleiben. Bilddateien werden nicht in Text umgewandelt, sondern als visueller Inhalt an das Modell übergeben, sodass es sie direkt analysieren kann.

​
Embedding-Suche

Für Dateien in Wissensdatenbanken und synchronisierten Agenten-Ordnern kann das Modell eine Embedding-Suche nutzen. Hierbei wird die Datei beim Upload zunächst in kleinere Abschnitte (Chunks) aufgeteilt. Jeder Abschnitt wird anschließend in ein Embedding umgewandelt, eine numerische Darstellung, die die Bedeutung des Inhalts erfasst. Wenn eine Frage gestellt wird, sucht das System die Abschnitte, die inhaltlich am besten zur Frage passen. Dabei wird nicht nach konkreten Wörtern gesucht, sondern nach Abschnitten mit ähnlicher Bedeutung.
Beispiel: Wenn die Embedding-Suche nach “Brot” suchen soll, werden auch Abschnitte zu “Baguette” gefunden, ohne dass das Wort “Brot” vorkommt.
Nur diese relevanten Teile werden an das Modell im Kontext geschickt. Dies ermöglicht, mit sehr großen Dokumenten zu arbeiten, die über das Kontextfenster des Modells hinausgehen.

​
Unsere Parameter

Embedding-Dimension

Die Dimension der Vektoren beträgt 1536.

Chunk-Größe

Dokumente werden in Abschnitte von 2.000 Zeichen zerlegt.

Retrieval-Parameter (k-Wert)

Pro Anfrage werden bis zu 50 Chunks aus den Dokumenten zurückgeliefert.

​
FAQ

Kleine, direkt angehängte Dateien werden nach Möglichkeit vollständig in den Modellkontext aufgenommen. Agenten stellen direkte Dateien bei insgesamt bis zu 20 Dokumenten als Vorschau bereit. Bei mehr als 20 Dokumenten nutzt der Agent stattdessen die Dokumentensuche, außer für Tabellen.
Langdock nutzt semantische Suche für Dateien in Wissensdatenbanken, synchronisierten Agenten-Ordnern und direkten Agenten-Dokumenten, wenn der Agent insgesamt mehr als 20 Dokumente hat. Der Inhalt wird in durchsuchbare Chunks aufgeteilt und die relevantesten Chunks werden für die Frage des Users abgerufen. Das hilft bei großen Dokumentensammlungen, bedeutet aber auch, dass das Modell nicht für jede Antwort jedes Dokument oder jeden Satz sieht.
Die Antwort hängt davon ab, was für die konkrete Anfrage abgerufen wurde. Inhalte können übersehen werden, wenn die Frage zu breit ist, die relevante Formulierung von der Frage des Users abweicht, die Datei nicht verarbeitet wurde, Berechtigungen den Zugriff blockieren oder zu viele Quellen um das Retrieval konkurrieren. Engere Fragen und klarere Verweise auf Dateien, Themen oder Abschnitte verbessern die Ergebnisse meist.
Abgerufenes Wissen wird für die aktuelle Anfrage zum Kontext des Modells hinzugefügt. Mehr Wissensquellen, größere abgerufene Chunks, ein langer Chatverlauf, Agenten-Anweisungen und Tool-Ergebnisse konkurrieren alle um dasselbe Kontextfenster.