1. Richte die Modelle und Schlüssel in Langdock ein
Du benötigst verschiedene Modelltypen, damit die Plattform funktioniert. Um Modelle hinzuzufügen, gehe zu den Modelleinstellungen in den Workspace-Einstellungen. Hier sind die Modelltypen, die notwendig sind, um alle Funktionalitäten abzudecken:1.1 Embedding-Modell
- Embedding-Modelle verarbeiten Dokumente und ermöglichen dem Modell, hochgeladene Dokumente zu durchsuchen.
- Die Plattform benötigt ein Embedding-Modell mit 1536 Dimensionen für die Vektorspeicherung. Jedes OpenAI- oder Azure-kompatible Embedding-Modell mit 1536 Dimensionen funktioniert.
1.2 Backbone-Modell
- Das Backbone-Modell wird verwendet für:
- Generierung von Chat-Titeln in der Seitenleiste
- Zusammenfassung des Gesprächsverlaufs für die Kontextverwaltung
- Als letzter Fallback, wenn das Hauptmodell und dessen Fallback-Modell beide fehlschlagen
- Hilfsaufgaben wie Prompt-Optimierung und OCR
- Verwende dafür ein schnelles, kosteneffizientes Modell. Es dient auch als Backbone für Deep Research.
1.3 Bildgenerierungsmodell
- Füge mindestens ein Bildgenerierungsmodell hinzu, damit Nutzer Bilder aus dem Chat generieren können.
- Schau auf der Seite Modelle hinzufügen nach unterstützten Bildgenerierungsmodellen und Einrichtungsanleitungen.
1.4 Completion-Modelle
- Das sind die Modelle, die deine Nutzer im Chat auswählen. Füge die Modelle hinzu, die du von den Anbietern anbieten möchtest, für die du Schlüssel hast.
- Stelle sicher, dass du auch die Modelle hinzufügst, die für Deep Research benötigt werden. Das Backbone-Modell aus 1.2 deckt bereits das Deep-Research-Backbone ab.
- Wir unterstützen Modelle, die von Microsoft Azure, AWS Bedrock, Google Vertex AI, Google AI Studio, OpenAI, Anthropic, Mistral, DeepSeek, Perplexity, Black Forest Labs, Replicate und jedem OpenAI-kompatiblen Endpunkt gehostet werden.
- Für Kontingente sollte alles zwischen 200k und 500k TPM (Token pro Minute) ausreichen, um die Nutzung von ~200 Nutzern abzudecken. Für dein meistgenutztes Modell benötigst du möglicherweise ein Kontingent von 500k bis 1 Mio. Token.
Für die Hauptmodelle empfehlen wir, mehrere Deployments in verschiedenen Regionen einzurichten. Wenn ein Modell in einer Region einen Fehler hat, versucht Langdock automatisch, das Modell in einer anderen Region aufzurufen.
- 1x Embedding-Modell (1536 Dimensionen)
- 1x Backbone-Modell (separate Instanz von deinen Completion-Modellen)
- 1 oder mehr Bildgenerierungsmodelle
- Modelle, die für Deep Research benötigt werden
- Completion-Modelle von den Anbietern, die du anbieten möchtest
2. Kontaktiere das Langdock-Team
Nachdem du alle benötigten Modelle eingerichtet hast, wende dich an das Langdock-Team. Wir vereinbaren mit dir ein Zeitfenster, um BYOK auf unserer Seite zu aktivieren. Normalerweise sollte dies am späten Nachmittag oder Abend geschehen, wenn weniger Nutzer aktiv sind. Es sollte keine Ausfallzeit geben; dies ist eine Vorsichtsmaßnahme, um Störungen während des Wechsels zu vermeiden. Bitte stelle sicher, dass du oder jemand, der die Modelle einrichten kann, verfügbar ist. Wir stellen sicher, dass auch auf unserer Seite ein Ingenieur verfügbar ist.3. Teste die Modelle
Bitte stelle sicher, dass alle Modelle korrekt funktionieren. So kannst du die Modelle testen:- Completion-Modelle: Sende einen Prompt an jedes Modell, das du in der Oberfläche auswählen kannst (z.B. „schreibe eine Geschichte über Hunde”).
- Embedding-Modell: Erstelle einen Wissensordner, lade eine Datei hoch, starte dann einen Chat und @erwähne den Wissensordner, um eine Frage zur Datei zu stellen. Du solltest eine Antwort basierend auf dem Dateiinhalt erhalten.
- Bildmodell: Bitte ein beliebiges Modell, ein Bild zu generieren. Du solltest ein vom Modell generiertes Bild sehen.
- Backbone-Modell: Schreibe eine Nachricht in einem neuen Chat und prüfe, ob nach dem Senden des Prompts ein Chat-Titel generiert wird. (Bitte stelle sicher, dass der Strict Mode für dieses Modell deaktiviert ist)