Preview einer Datei im Kontextfenster des Modells
Die besten Ergebnisse erhalten Nutzer, wenn das Modell möglichst den gesamten Text des Wissens verarbeiten kann. Deshalb wird so viel Text des Dokumentes wie möglich als Preview an das Modell geschickt. Bei kleinen Dateien kann dies das gesamte Dokument sein.Embedding-Suche
Zusätzlich kann das Modell eine Embedding-Suche nutzen. Hierbei wird die Datei beim Upload zunächst in kleinere Abschnitte (Chunks) aufgeteilt, die anschließend in Embeddings umgewandelt werden. Jedes Embedding erhält einen Vektor, also eine numerische Abfolge, die verschiedene thematische Dimensionen beschreibt. Wenn eine Frage gestellt wird, führt das System eine Vektorsuche durch, um die relevanten Vektoren und die dahinterliegenden Abschnitte zu identifizieren. Dabei wird nicht nach konkreten Wörtern gesucht (wie bei einer Keyword-Suche mit STRG + F), sondern nach Abschnitten mit semantischer Ähnlichkeit zur Anfrage. Nur diese relevanten Teile werden an das Modell im Kontext geschickt. Dies ermöglicht, mit sehr großen Dokumenten zu arbeiten, die über das Kontextfenster des Modells hinausgehen.Unsere Parameter
Embedding-Dimension
Die Dimension der Vektoren beträgt 1536.
Chunk-Größe
Dokumente werden in Abschnitte von 2.000 Zeichen zerlegt.
Retrieval-Parameter (k-Wert)
Pro Anfrage werden bis zu 50 Chunks aus den Dokumenten zurückgeliefert.
Land and Expand
Wir senden nicht nur die relevanten Chunks, sondern zusätzlich die umliegenden Chunks, um ausreichend Kontext zu liefern.