Zum Hauptinhalt springen

​
1. Richte die Modelle und Schlüssel in Langdock ein

Du benötigst verschiedene Modelle, damit die Plattform funktioniert. Um Modelle hinzuzufügen, musst du die Modelle und die entsprechenden Schlüssel hier in den Workspace-Einstellungen hinzufügen. Die Schlüssel können für mehrere Modelle desselben Anbieters verwendet werden, sodass beispielsweise GPT-5 und GPT-4.1 denselben Schlüssel verwenden können, wenn sie beide aus demselben Deployment stammen, z.B. in Microsoft Azure. Hier sind die Modelle, die notwendig sind, um alle Funktionalitäten abzudecken:

​
1.1 Embedding-Modell

  • Embedding-Modelle verarbeiten Dokumente und ermöglichen dem Modell, hochgeladene Dokumente zu durchsuchen.
  • Derzeit benötigen wir die Bereitstellung von ADA v2 (text-embedding-ada-002).

​
1.2 Backbone-Modell

  • Das Backbone-Modell hat drei Zwecke:
    • Es generiert Chat-Titel in der Seitenleiste links (um eine Zusammenfassung in 3 Wörtern zu generieren, brauchst du nicht das Hauptmodell)
    • Es definiert und führt Planungsschritte von Modellen aus, die nicht effizient im Tool-Calling sind (z.B. LLaMA oder DeepSeek)
    • Wenn das Hauptmodell fehlschlägt, springt das Backbone-Modell ein, um eine Antwort für den Nutzer zu vervollständigen.
  • Wir empfehlen GPT-4.1 mini (gpt-4.1-mini) für diesen Zweck.
Wichtig: Das Backbone-Modell ist ein separates Modell, das du einrichten musst. Wenn du bereits ein GPT-4.1 mini Modell hinzugefügt hast, richte bitte ein weiteres ein. Dieses Modell wird danach als Backbone-Modell festgelegt.

​
1.3 Bildgenerierungsmodell

  • Wir unterstützen dall-e-3, gpt-image-1, Google Imagen und Flux-Modelle von Black Forest Labs.
  • Für Google Imagen 3 folge dem gleichen Einrichtungsprozess wie bei Gemini mit der Modell-ID imagen-3.0-generate-001

​
1.4 Completion-Modelle

  • Damit Nutzer verschiedene Modelle im Chat auswählen können, kannst du die Completion-Modelle für deine Nutzer hinzufügen, wie GPT-5, GPT-4.1, o3, Claude Sonnet 4.5, Gemini 2.5 Flash usw.
  • Bitte füge auch die für Deep Research benötigten Modelle hinzu (o3, o4 mini und GPT-4.1 mini). Diese benötigen keine 2 Deployments wie das Backbone-Modell.
  • Wir unterstützen alle Modelle, die von Microsoft Azure, AWS, Google Vertex und OpenAI gehostet werden.
  • Für Kontingente sollte alles zwischen 200k und 500k ausreichen, um die Nutzung von ~200 Nutzern abzudecken. Für GPT-4.1, das am häufigsten verwendete Modell, benötigst du möglicherweise ein Kontingent von 500k bis 1 Mio. Token.
Für die Hauptmodelle empfehlen wir, mehrere Deployments in verschiedenen Regionen einzurichten. Wenn ein Modell in einer Region einen Fehler hat, versucht Langdock automatisch, das Modell in einer anderen Region aufzurufen.
Checkliste: Jetzt solltest du die folgenden benutzerdefinierten Modelle eingerichtet haben:
  • 1x Embedding-Modell (Ada)
  • 2x GPT-4.1 mini (eines als Completion-Modell und eines als Backbone-Modell)
  • 1 oder mehr Bildgenerierungsmodelle
  • 1x o3
  • 1x o4 mini
  • Aktuelle Hauptmodelle von OpenAI, Anthropic und Google (und anderen) als Completion-Modelle

​
2. Kontaktiere das Langdock-Team

Nachdem du alle benötigten Modelle eingerichtet hast, wende dich bitte an das Langdock-Team. Wir werden mit dir einen Zeitfenster vereinbaren, um BYOK auf unserer Seite zu aktivieren. Normalerweise sollte dies am späten Nachmittag oder Abend geschehen, wenn weniger Nutzer aktiv sind. Es sollte keine Ausfallzeit geben; dies ist eine Vorsichtsmaßnahme, um Störungen während des Wechsels zu vermeiden. Bitte stelle sicher, dass du oder jemand, der die Modelle einrichten kann, verfügbar ist. Wir stellen sicher, dass auch auf unserer Seite ein Ingenieur verfügbar ist.

​
3. Teste die Modelle

Bitte stelle sicher, dass alle Modelle korrekt funktionieren. Hier erfährst du, wie du die Modelle testen kannst:
  • Completion-Modelle: Sende einen Prompt an jedes Modell, das du in der Nutzeroberfläche auswählen kannst (z.B. “schreibe eine Geschichte über Hunde”).
  • Embedding-Modell: Lade eine Datei hoch und stelle eine Frage dazu (z.B. “was steht in der Datei”). Der Upload sollte funktionieren und du solltest eine Antwort basierend auf der Datei erhalten.
  • Bildmodell: Bitte ein beliebiges Modell, ein Bild zu generieren. Du solltest ein vom Modell im Hintergrund generiertes Bild sehen.
  • Backbone-Modell: Schreibe eine Nachricht in einem neuen Chat und prüfe, ob nach dem Senden des Prompts ein Chat-Titel generiert wird. (Bitte stelle sicher, dass der Strict Mode für dieses Modell deaktiviert ist)
Bitte zögere nicht, das Langdock-Team zu kontaktieren, wenn es hier Probleme gibt.