Die Kontextfensterlänge für LLMs bezieht sich auf die maximale Anzahl von Tokens (1 Token entspricht ungefähr 4 Zeichen), die das Modell in einer einzelnen Konversation verarbeiten kann. Diese Länge bestimmt, wie viel Text das Modell auf einmal verarbeiten kann, wenn es Antworten generiert. Eine Übersicht über die Kontextfenstergröße verschiedener LLMs in Langdock findest du hier. Für den Endnutzer gilt: Je größer das Kontextfenster, desto besser kann es längere Dokumente oder Gespräche verarbeiten, ohne den Kontext zu verlieren, was zu genaueren und relevanteren Ergebnissen führt. Bei der Verwendung von LLMs mit langen Kontextfenstern ist es entscheidend, deine Prompts effektiv zu strukturieren, um den erweiterten Speicher zu nutzen. Hier sind einige Tipps:
  • Verwende konsistente Terminologie: Konsistenz in der Terminologie hilft dem Modell, verschiedene Teile des Gesprächs oder Dokuments zu verknüpfen und verbessert die Kohärenz.
  • Explizite Verweise: Beziehe dich immer auf bestimmte Teile des vorherigen Gesprächs oder Dokuments. Dies hilft dem Modell, den Kontext zu verstehen und relevante Antworten zu geben.
  • Fasse Kernpunkte zusammen: Fasse regelmäßig die wichtigsten Punkte zusammen, um den Kontext zu verstärken. Dies kann dem Modell helfen, die Kohärenz über lange Interaktionen hinweg aufrechtzuerhalten.
Für jedes neue Thema empfehlen wir dringend, eine neue Konversation zu beginnen. Darüber hinaus empfehlen wir nach mehr als 60 Interaktionen in einer Konversation, eine neue Konversation zu eröffnen. Wenn du Prompts hast, die du wiederverwenden möchtest, speichere sie in deiner Prompt-Bibliothek, damit du sie in den neuen Konversationen schnell verwenden kannst.