1. Stelle die erforderlichen API-Schlüssel bereit
Du benötigst verschiedene Modelle, damit die Plattform funktioniert. Hier sind die Modelle, die notwendig sind, um alle Funktionalitäten abzudecken:- Embedding-Modell
- Embedding-Modelle verarbeiten Dokumente und ermöglichen dem Modell, hochgeladene Dokumente zu durchsuchen.
- Derzeit benötigen wir die Bereitstellung von ADA v2 (text-embedding-ada-002).
- Backbone-Modell
- Für Chat-Titel und Planungsschritte von Modellen, die nicht effizient im Tool-Calling sind, wird ein Backbone-Modell als Grundlage benötigt.
- Wir empfehlen GPT-4o mini (gpt-4o-mini) für diesen Zweck.
- Bildgenerierungsmodell
- Derzeit benötigen wir Dall-E 3 (dall-e-3).
- Completion-Modelle
- Zusätzlich zu diesen unverzichtbaren Modellen kannst du Completion-Modelle für deine Nutzer hinzufügen, wie GPT-4o, o1, Claude 3.5 Sonnet, Gemini 1.5 Pro usw.
- Wir unterstützen alle Modelle, die von Microsoft Azure, AWS, Google Vertex und OpenAI gehostet werden.
- Für Kontingente sollte alles zwischen 200k und 500k ausreichen, um die Nutzung von ~200 Nutzern abzudecken. Für GPT-4o, das am häufigsten verwendete Modell, benötigst du möglicherweise ein Kontingent von 500k bis 1 Mio. Token.
2. Kontaktiere das Langdock-Team
Nachdem du alle benötigten Schlüssel erhalten hast, wende dich bitte an das Langdock-Team. Wir werden mit dir einen Zeitfenster vereinbaren, um BYOK auf unserer Seite zu aktivieren. Danach kannst du die verschiedenen Modelle hinzufügen. Normalerweise geschieht dies am Abend, wenn weniger Nutzer aktiv sind, da es während des Modellwechsels zu einer Ausfallzeit von einigen Minuten kommen kann.3. Richte deine Modelle ein
Nachdem BYOK aktiviert wurde, kannst du die verschiedenen Modelle in den Modelleinstellungen hinzufügen. Hier findest du eine Anleitung zum Hinzufügen von Modellen.4. Teste die Modelle
Bitte stelle sicher, dass alle Modelle korrekt funktionieren. Hier erfährst du, wie du die Modelle testen kannst:- Completion-Modelle: Sende einen Prompt an jedes Modell, das du in der Nutzeroberfläche auswählen kannst (z.B. “schreibe eine Geschichte über Hunde”).
- Embedding-Modell: Lade eine Datei hoch und stelle eine Frage dazu (z.B. “was steht in der Datei”). Der Upload sollte funktionieren und du solltest eine Antwort basierend auf der Datei erhalten.
- Bildmodell: Bitte ein beliebiges Modell, ein Bild zu generieren. Du solltest ein vom Modell im Hintergrund generiertes Bild sehen.
- Backbone-Modell: Wähle ein Modell, das natives Tool-Calling nicht unterstützt (wie Llama oder Mistral), und bitte es, das Web zu durchsuchen (z.B. “suche im Web nach Langdock”). Wenn du kein Modell ohne Tool-Calling hast, sende eine Nachricht in einem neuen Chat und beobachte, ob sich der Konversationsname in der Leiste auf der linken Seite nach einigen Sekunden ändert.