> ## Documentation Index > Fetch the complete documentation index at: https://docs.langdock.com/llms.txt > Use this file to discover all available pages before exploring further. # Einrichtungsanleitungen > Schritt-für-Schritt-Anleitungen für die Verbindung von Modellen über Google Vertex AI, AWS Bedrock, Mistral, DeepSeek, Perplexity, Vercel AI Gateway und OpenAI-kompatible Endpunkte. Wähle deinen Anbieter aus, um die Einrichtungsschritte zu sehen. Langdock unterstützt zwei Wege, Gemini-Modelle zu verbinden: * **Google Vertex AI**: verwendet Service-Account-Zugangsdaten. Am besten für Enterprise-Setups mit GCP-Infrastruktur. * **Google AI Studio**: verwendet einen einfachen API-Schlüssel. Einfacher einzurichten. ## Option 1: Google Vertex AI ### Google Cloud einrichten 1. Aktiviere die Vertex AI API in deiner [Google Cloud Platform](https://console.cloud.google.com/flows/enableapi?apiid=aiplatform.googleapis.com). 2. Gehe zu "Service Accounts" in den Google Cloud Console IAM-Einstellungen. Gehe zu Service Accounts in der Seitenleiste 3. Klicke auf "Create Service Account". 4. Gib dem Service Account einen Namen. Gib dem Service Account einen Namen 5. Weise die Rolle "Vertex AI User" zu. Weise die Vertex AI User Rolle zu 6. Erstelle den Service Account. Erstelle den Service Account 7. Du gelangst zurück zur Service Account Übersicht. Service Account Übersicht 8. Klicke auf der Übersichtsseite auf "Manage keys". Klicke auf Manage keys beim Service Account 9. Erstelle einen neuen JSON-Schlüssel. Wähle Create new key aus dem Dropdown 10. Lade die JSON-Datei herunter und öffne sie. Lade den Schlüssel herunter und öffne die JSON-Datei ### Langdock einrichten 1. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. 2. Nutze die vorgefertigte Langdock-Konfiguration oder richte es manuell ein. Setze das SDK auf **Google Vertex**. Wenn du das Google Vertex SDK auswählst, beschriftet die Oberfläche die Felder um: "Base URL" wird zu **Service Account Email** und "API Key" wird zu **Service Account Private Key**. 3. Fülle die Verbindungsfelder aus: * **Service Account Email**: füge den `client_email`-Wert aus deiner JSON-Schlüsseldatei ein (z.B. `my-sa@my-project.iam.gserviceaccount.com`) * **Service Account Private Key**: füge den `private_key`-Wert aus deiner JSON-Schlüsseldatei ein (einschließlich `-----BEGIN PRIVATE KEY-----` und `-----END PRIVATE KEY-----`) * **Region**: deine Vertex AI Region (z.B. `europe-west3`, `us-central1`). Diese bestimmt, welcher Vertex AI Endpunkt verwendet wird. * **Model ID**: die Modell-ID aus dem Vertex Portal (z.B. `gemini-2.5-flash`, `gemini-2.5-pro`) 4. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. Die GCP-Projekt-ID wird automatisch aus deiner Service Account Email extrahiert. Du musst sie nicht separat eingeben. ## Option 2: Google AI Studio 1. Hole dir einen API-Schlüssel von [Google AI Studio](https://aistudio.google.com/apikey). 2. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. Wähle **Google AI Studio** als SDK. 3. Füge deinen API-Schlüssel ein und setze die Model ID. 4. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. ## Imagen (Bildgenerierung) Folge der Vertex AI-Einrichtung oben, setze aber den Modelltyp auf **Image Generation** und verwende eine Imagen Model ID (z.B. `imagen-4.0-generate-001`). AWS Bedrock gibt dir Zugang zu Modellen wie Claude über deine eigene AWS-Infrastruktur mit Enterprise-Sicherheit und Compliance. **Voraussetzungen:** 1. Ein AWS-Konto mit aktiviertem Bedrock-Zugang 2. IAM-Zugangsdaten mit Bedrock-Berechtigungen 3. Modellzugang in deiner AWS Bedrock Konsole aktiviert 4. Admin-Zugang zu deinem Langdock Workspace ## AWS einrichten ### 1. Modellzugang aktivieren 1. Gehe zur [AWS Bedrock Konsole](https://console.aws.amazon.com/bedrock). 2. Navigiere zu **Model access** in der linken Seitenleiste. 3. Klicke auf **Manage model access** und aktiviere die benötigten Modelle. 4. Warte, bis der Zugang gewährt wurde (kann einige Minuten dauern). ### 2. IAM-Zugangsdaten erstellen 1. Gehe zur [AWS IAM Konsole](https://console.aws.amazon.com/iam). 2. Navigiere zu **Users** und klicke auf **Create user**. 3. Gib dem Nutzer einen beschreibenden Namen (z.B. `langdock-bedrock-access`). 4. Füge die `AmazonBedrockFullAccess`-Richtlinie hinzu oder erstelle eine benutzerdefinierte Richtlinie mit den Mindestberechtigungen: ```json theme={null} { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "bedrock:InvokeModel", "bedrock:InvokeModelWithResponseStream" ], "Resource": "*" } ] } ``` 5. Gehe zum Tab **Security credentials** des Nutzers, klicke auf **Create access key**, wähle **Third-party service** und speichere sowohl die Access Key ID als auch den Secret Access Key. Der Secret Access Key wird nur einmal angezeigt. Bewahre ihn sicher auf, bevor du den Dialog schließt. ## Langdock einrichten 1. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. 2. Wähle **Bedrock** als SDK. 3. Fülle die Verbindungsfelder aus: * **Access Key ID**: deine AWS Access Key ID * **Secret Access Key**: dein AWS Secret Access Key * **Region**: deine AWS Region (z.B. `us-east-1`, `eu-central-1`) * **Model ID**: verwende den Bedrock Modell-Identifier (siehe unten) * **Context Size**: entsprechend dem Modell einstellen (siehe [Modellkonfigurationstabellen](/de/admin/byok/recommended-models#modellspezifische-konfiguration)) 4. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. ## Model IDs | Anbieter | Format | Beispiel | | --------- | -------------------------- | ---------------------------------------- | | Anthropic | `anthropic.{model-name}` | `anthropic.claude-sonnet-4-6` | | Meta | `meta.{model-name}-v1:0` | `meta.llama4-maverick-17b-instruct-v1:0` | | Amazon | `amazon.{model-name}-v1:0` | `amazon.nova-pro-v1:0` | Schau auf der [AWS Bedrock Seite für unterstützte Modelle](https://docs.aws.amazon.com/bedrock/latest/userguide/models-supported.html) für genaue Model IDs. ## Cross-Region Inference Profiles Stelle der Model ID einen geografischen Code voran, um automatisch über Regionen zu routen: | Präfix | Geltungsbereich | | --------- | --------------------------- | | `us.` | US-Regionen | | `eu.` | Europäische Regionen | | `global.` | Alle kommerziellen Regionen | | `apac.` | Asien-Pazifik Regionen | Beispiel: `eu.anthropic.claude-sonnet-4-6` Schau in die [Inference Profiles Dokumentation](https://docs.aws.amazon.com/bedrock/latest/userguide/inference-profiles-support.html) für verfügbare Profile je Modell. ## Unterstützte Regionen * **US East (N. Virginia)**: `us-east-1` * **US West (Oregon)**: `us-west-2` * **EU (Frankfurt)**: `eu-central-1` * **EU (Irland)**: `eu-west-1` * **EU (Paris)**: `eu-west-3` * **Asien-Pazifik (Tokio)**: `ap-northeast-1` * **Asien-Pazifik (Sydney)**: `ap-southeast-2` ## Netzwerkkonfiguration Wenn deine Organisation Network Allowlisting verwendet, füge `bedrock.REGION.amazonaws.com` zu deiner Allowlist hinzu (ersetze `REGION` durch deine AWS Region, z.B. `us-east-1`). ## Fehlerbehebung **"Access Denied"-Fehler**: überprüfe die IAM-Berechtigungen und dass der Modellzugang in der Bedrock Konsole aktiviert ist. **Modell nicht verfügbar**: bestätige, dass das Modell in deinen AWS Bedrock Modellzugriffseinstellungen aktiviert und in deiner ausgewählten Region verfügbar ist. **Authentifizierungsfehler**: überprüfe, dass Access Key ID und Secret Access Key korrekt sind und die Region-Einstellung deiner Bedrock-Region entspricht. **Langsame Antworten oder Timeouts**: erwäge die Nutzung einer Region näher bei deinen Nutzern. Prüfe das [AWS Service Health Dashboard](https://health.aws.amazon.com/health/status) auf laufende Probleme. Stelle sicher, dass dein AWS-Konto ausreichende Kontingente für das Modell hat. Mistral-Modelle verbinden sich über die Mistral API oder über Azure (für Azure-gehostetes Mistral). **Voraussetzungen:** 1. Ein Mistral-Konto bei [console.mistral.ai](https://console.mistral.ai) 2. Ein API-Schlüssel von der Mistral-Plattform 3. Admin-Zugang zu deinem Langdock Workspace ## Einrichtung 1. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. 2. Fülle die Verbindungsfelder aus: * **SDK**: wähle **Mistral** * **Base URL**: leer lassen für den Standard (`https://api.mistral.ai/v1`) oder einen benutzerdefinierten Endpunkt angeben * **Model ID**: verwende den offiziellen Modell-Identifier (siehe unten) * **API Key**: füge deinen Mistral API-Schlüssel ein 3. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. ## Model IDs | Model ID | Anwendungsfall | | ---------------------- | ----------------------------------------------------------------------- | | `mistral-large-latest` | Flagship-Modell — komplexes Reasoning, mehrsprachig, Instruktionsfolgen | | `codestral-latest` | Code-spezialisiert — Code-Generierung und technische Aufgaben | | `mistral-small-latest` | Schnell und kosteneffizient — gut für alltägliche Aufgaben | Schau in [Mistrals Modelldokumentation](https://docs.mistral.ai/getting-started/models/models_overview/) für die vollständige Liste der verfügbaren Modelle. ## Mistral über Azure verwenden Wenn du Mistral-Modelle über Azure (via Azure AI Models-as-a-Service) verwendest, musst du trotzdem **"Mistral"** als SDK in Langdock auswählen. Die SDK-Auswahl bezieht sich auf das API-Format, nicht den Hosting-Anbieter. Beim Konfigurieren von Azure-gehosteten Mistral-Modellen: * Setze den **Hosting-Anbieter** auf Azure * Setze das **SDK** auf "Mistral" (nicht Azure OpenAI) * Verwende deinen Azure-Endpunkt als Base URL * Verwende deinen Azure API-Schlüssel ## Konfigurationshinweise * Mistral-Modelle unterstützen Tool Calling nativ. * Der Standard-API-Endpunkt `https://api.mistral.ai/v1` wird automatisch verwendet, wenn keine benutzerdefinierte Base URL angegeben wird. * Mistral-Modelle sind bekannt für starke mehrsprachige Fähigkeiten, besonders in europäischen Sprachen. ## Fehlerbehebung **Modell antwortet nicht**: überprüfe, ob dein API-Schlüssel gültig ist und du ausreichend Credits in deinem Mistral-Konto hast. Stelle sicher, dass die Model ID exakt übereinstimmt (Groß-/Kleinschreibung beachten). **Authentifizierungsfehler mit Azure**: überprüfe, dass du "Mistral" als SDK verwendest. Verifiziere, dass deine Azure-Endpunkt-URL und dein API-Schlüssel korrekt sind. **Langsame Antworten**: größere Modelle benötigen möglicherweise mehr Zeit für komplexe Reasoning-Aufgaben. Erwäge ein kleineres Modell für schnellere Antworten bei einfacheren Aufgaben. DeepSeek-Modelle verbinden sich über die DeepSeek API. Alle Modelle werden in der US-Region gehostet. **Voraussetzungen:** 1. Ein DeepSeek-Konto mit [API-Schlüssel](https://platform.deepseek.com/api_keys) 2. Admin-Zugang zu deinem Langdock Workspace ## Einrichtung 1. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. 2. Fülle die Verbindungsfelder aus: * **SDK**: wähle **DeepSeek** * **Base URL**: `https://api.deepseek.com/v1` * **Model ID**: siehe Tabelle unten * **API Key**: füge deinen DeepSeek API-Schlüssel ein * **Region**: US 3. Für Reasoning-Modelle (R1), aktiviere **Always show reasoning**, um den Denkprozess des Modells in der UI anzuzeigen. 4. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. ## Model IDs | Model ID | Typ | | ------------------- | ------------------------------------------------------------------------------------ | | `deepseek-reasoner` | Reasoning-Modell (R1-Serie) — hervorragend für schrittweises Problemlösen und Coding | | `deepseek-chat` | Allzweck-Modell (V3-Serie) — schnelle Antworten, gut für alltägliche Aufgaben | Schau in [DeepSeeks API-Dokumentation](https://api-docs.deepseek.com/quick_start/pricing) für die neuesten verfügbaren Modelle. ## Konfigurationshinweise * DeepSeek-Modelle werden nur in der US-Region gehostet. DeepSeek-Modelle unterstützen keine Bildanalyse. * DeepSeek R1 ist ein Reasoning-Modell. Aktiviere **Always show reasoning**, um seine Reasoning-Schritte in der UI zu sehen. * Die Base URL muss den `/v1`-Pfad enthalten: `https://api.deepseek.com/v1`. ## Fehlerbehebung **Modell antwortet nicht**: überprüfe, ob dein API-Schlüssel gültig ist und du ausreichend Credits hast. Stelle sicher, dass die Model ID exakt übereinstimmt (Groß-/Kleinschreibung beachten). **Langsame Antworten**: DeepSeek R1 (Reasoning-Modell) benötigt aufgrund seines schrittweisen Reasoning-Prozesses möglicherweise mehr Zeit. Verwende DeepSeek V3 für schnellere Antworten bei einfacheren Aufgaben. Perplexitys Sonar-Modelle kombinieren LLM-Fähigkeiten mit Echtzeit-Websuche. Alle Modelle werden in der US-Region gehostet. **Voraussetzungen:** 1. Ein Perplexity-Konto bei [perplexity.ai](https://www.perplexity.ai) 2. Ein API-Schlüssel aus deinen [Perplexity API-Einstellungen](https://www.perplexity.ai/settings/api) 3. Admin-Zugang zu deinem Langdock Workspace ## Einrichtung 1. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. 2. Fülle die Verbindungsfelder aus: * **SDK**: wähle **Perplexity** * **Base URL**: leer lassen für den Standard (`https://api.perplexity.ai`) * **Model ID**: siehe Tabelle unten * **API Key**: füge deinen Perplexity API-Schlüssel ein * **Region**: US 3. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. ## Model IDs | Model ID | Typ | | --------------------- | ------------------------------------------------------------- | | `sonar-pro` | Erweiterte suchbasierte Generierung mit detaillierten Zitaten | | `sonar` | Schnelle suchbasierte Antworten für allgemeine Anfragen | | `sonar-reasoning-pro` | Tiefgehende Analyse mit Suche und mehrstufigem Reasoning | | `sonar-reasoning` | Reasoning mit Suchunterstützung | Schau in [Perplexitys Modelldokumentation](https://docs.perplexity.ai/guides/model-cards) für die vollständige Liste der verfügbaren Modelle. ## Konfigurationshinweise * Perplexity-Modelle haben eingebaute Websuchfähigkeiten und haben immer Zugang zu aktuellen Informationen. * Der API-Endpunkt `https://api.perplexity.ai` wird automatisch verwendet, wenn keine benutzerdefinierte Base URL angegeben wird. * Sonar Pro-Modelle liefern detailliertere Antworten mit besseren Quellzitaten. * Reasoning-Varianten eignen sich am besten für komplexe analytische Aufgaben, die von schrittweisem Denken profitieren. * Perplexity-Modelle unterstützen keine Bildanalyse. ## Fehlerbehebung **Fehlende Zitate**: Perplexity-Modelle fügen Zitate automatisch hinzu, wenn eine Websuche durchgeführt wird. Fehlen Zitate, hat das Modell aus seinem Basiswissen geantwortet. **Langsame Antworten**: Perplexity-Modelle führen Websuchen durch, was Latenz hinzufügt. Sonar (non-Pro) Varianten sind schneller als Pro-Versionen. Für zeitkritische Aufgaben ohne Suchbedarf erwäge ein anderes Modell. **Modell antwortet nicht**: überprüfe, ob dein API-Schlüssel gültig ist und du ausreichend Credits hast. Das [Vercel AI Gateway](https://vercel.com/docs/ai-gateway) ist eine vereinheitlichte API, die Anfragen über einen einzigen Schlüssel an viele Modellanbieter (OpenAI, Anthropic, Google, xAI und weitere) weiterleitet. Verwende es, wenn du mit einem Credential auf Modelle verschiedener Anbieter zugreifen, automatisches Failover zwischen Anbietern nutzen und Verbrauch und Abrechnung zentral über Vercel abwickeln möchtest. Wenn Langdock ein Modell über das Vercel AI Gateway anspricht, wird jede Anfrage mit **Zero Data Retention** und **deaktiviertem Prompt-Training** auf Gateway-Ebene gesendet. Das eignet sich gut für Teams, die eine breite Modellabdeckung wollen, ohne separate Datenschutzvereinbarungen mit jedem Upstream-Anbieter zu verhandeln. **Voraussetzungen:** 1. Ein Vercel-Konto mit aktiviertem [AI Gateway](https://vercel.com/docs/ai-gateway) 2. Ein API-Schlüssel aus deinem Vercel-Dashboard (beginnt mit `vck_`) 3. Admin-Zugang zu deinem Langdock Workspace ## Einrichtung 1. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. 2. Fülle die Verbindungsfelder aus: * **SDK**: wähle **Vercel AI Gateway** * **Base URL**: leer lassen für den Standard (`https://ai-gateway.vercel.sh/v3/ai`) * **Model ID**: die Gateway-Modellkennung im Format `provider/model` (z. B. `openai/gpt-5.2`, `anthropic/claude-sonnet-4.6`, `google/gemini-2.5-pro`) * **API Key**: füge deinen Vercel AI Gateway-Schlüssel ein (`vck_…`) * **Region**: die Region, in der das Upstream-Modell gehostet wird (z. B. `eu`, `us`) 3. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. Der [Vercel AI Gateway-Modellkatalog](https://vercel.com/ai-gateway/models) enthält die vollständige Liste der unterstützten Model IDs und ihrer Upstream-Anbieter. ## Konfigurationshinweise * Langdock setzt bei jeder Anfrage über das Gateway automatisch `zeroDataRetention: true` und `disallowPromptTraining: true`. Du musst das nicht selbst konfigurieren. * Nutze das Feld **Hosting-Anbieter**, um Upstream-Regionen für Nutzer transparent zu halten — im Modell-Selektor wird „Vercel" als Hoster angezeigt. * Die Preise im Vercel AI Gateway entsprechen in der Regel den Preisen des Upstream-Anbieters. Konfiguriere die **Pricing**-Felder in Langdock entsprechend, damit [Usage Limits](/de/admin/manage-usage/byok/usage-limits) die tatsächlichen Kosten widerspiegeln. * Das Gateway unterstützt Streaming, Tool Calls, Vision und Embeddings, sofern das zugrunde liegende Modell dies tut. ## Fehlerbehebung **Authentifizierungsfehler**: überprüfe, dass der Schlüssel mit `vck_` beginnt und in deinem Vercel-Dashboard aktiv ist. Gateway-Schlüssel sind getrennt von normalen Vercel-Deployment-Tokens. **Modell nicht gefunden**: Model IDs müssen den Provider-Präfix enthalten (z. B. `openai/gpt-5.2`, nicht nur `gpt-5.2`). Prüfe den [Vercel-Modellkatalog](https://vercel.com/ai-gateway/models) auf die exakte Kennung. **Upstream-Anbieter-Fehler**: Fehler des zugrunde liegenden Anbieters (Rate Limits, Content-Filter, Regionsbeschränkungen) werden vom Gateway weitergegeben. Die Fehlermeldung gibt an, welcher Upstream-Anbieter die Anfrage abgelehnt hat. Verwende dies für jede API, die der OpenAI-Spezifikation folgt, einschließlich vLLM, LiteLLM, Ollama und selbst gehosteter Modelle. Viele LLM-Inference-Lösungen implementieren die OpenAI API-Spezifikation als Standard-Interface. Das bedeutet, sie akzeptieren Anfragen und geben Antworten im gleichen Format wie OpenAIs API zurück, wodurch sie aus Integrationsperspektive austauschbar sind. Gängige OpenAI-kompatible Lösungen: * **vLLM**: Hochdurchsatz-Inferenzserver für Large Language Models * **LiteLLM**: Proxy-Server mit einheitlichem Interface für 100+ LLM-Anbieter * **Ollama**: Large Language Models lokal ausführen * **Text Generation Inference (TGI)**: Hugging Faces Inferenzserver * **LocalAI**: selbst gehostete, OpenAI-kompatible API * **Benutzerdefinierte Deployments**: jeder Service, der die OpenAI Chat Completions API implementiert **Voraussetzungen:** 1. Ein laufender OpenAI-kompatibler Inferenz-Endpunkt, erreichbar über HTTPS 2. Die Base URL deines Endpunkts 3. Die Model ID/Name, wie in deinem Inferenzserver konfiguriert 4. Ein API-Schlüssel (falls dein Endpunkt Authentifizierung erfordert) 5. Admin-Zugang zu deinem Langdock Workspace ## Einrichtung 1. Navigiere zu [Workspace-Einstellungen -> Modelle](https://app.langdock.com/settings/workspace/models) und klicke auf **Eigenes Modell hinzufügen**. 2. Fülle die Verbindungsfelder aus: * **SDK**: wähle **OpenAI Compatible** * **Base URL**: deine Endpunkt-URL (z.B. `https://your-server.com/v1`). Pflichtfeld. * **Model ID**: der genaue Modell-Identifier, wie in deinem Inferenzserver konfiguriert * **API Key**: dein Authentifizierungsschlüssel, oder leer lassen wenn nicht erforderlich * **Context Size**: die Kontextfenstergröße deines Modells in Token 3. Klicke auf **Testen & weiter** und nach erfolgreichem Test auf **Modell speichern**. Dein Endpunkt muss über HTTPS öffentlich erreichbar sein. Langdock blockiert Anfragen an private IPs, localhost und interne Hostnamen. Kontaktiere [support@langdock.com](mailto:support@langdock.com), wenn du eine Verbindung zu einem internen Endpunkt herstellen musst. ## Beispielkonfigurationen | Server | Base URL | Model ID | | ------------- | ---------------------------- | --------------------------------------------------------------------- | | vLLM | `https://your-server.com/v1` | Modellname beim vLLM-Start (z.B. `meta-llama/Llama-3.1-70B-Instruct`) | | LiteLLM Proxy | `https://your-litellm.com` | Alias aus deiner LiteLLM-Konfiguration | | Ollama | `https://your-ollama.com/v1` | Name aus `ollama list` (z.B. `llama3.1`) | Für Azure OpenAI verwende stattdessen das dedizierte **Azure** SDK. Es verwaltet API-Versionierung und deployment-basiertes URL-Routing automatisch. ## Häufige Anwendungsfälle * **Datenschutz**: betreibe Modelle auf deiner eigenen Infrastruktur, damit Prompts und Antworten in deinem Netzwerk bleiben. * **Kostenoptimierung**: Open-Source-Modelle auf eigener Hardware können die Kosten bei hohem Volumen erheblich senken. * **Benutzerdefinierte Fine-Tuned-Modelle**: deploye Modelle, die für spezifische Aufgaben oder Domänen fine-tuned wurden, mit vLLM oder ähnlichen Servern. * **Multi-Anbieter-Abstraktion**: verwende LiteLLM als Proxy, um Anfragen von einem einzigen Interface aus an verschiedene Anbieter zu routen. ## Fehlerbehebung **Verbindung verweigert oder Timeout**: überprüfe, ob der Endpunkt von externen Servern über HTTPS erreichbar ist. Stelle sicher, dass deine Firewall eingehende Verbindungen erlaubt. Stelle sicher, dass dein Inferenzserver läuft und gesund ist. **Authentifizierungsfehler**: überprüfe deinen API-Schlüssel und prüfe, ob dein Endpunkt ein spezifisches `Bearer`-Token-Format erwartet. **Modell nicht gefunden**: stelle sicher, dass die Model ID exakt mit dem übereinstimmt, was dein Inferenzserver erwartet (Groß-/Kleinschreibung beachten). Überprüfe, ob das Modell geladen und auf deinem Server verfügbar ist. **Antworten werden abgeschnitten**: überprüfe die Max Output Tokens Einstellung in Langdock und die Generierungslängenbeschränkungen deines Inferenzservers. **Langsame Antworten**: überprüfe den verfügbaren GPU-Speicher und die Rechenressourcen deines Servers. Erwäge quantisierte Modellversionen für schnellere Inferenz. Überwache die Queue-Länge und Skalierungskonfiguration deines Servers. **Inkompatibles API-Format**: nicht alle "OpenAI-kompatiblen" Server implementieren die vollständige API-Spezifikation. Überprüfe, ob dein Server den `/v1/chat/completions`-Endpunkt unterstützt und ob spezifische API-Versions-Header erforderlich sind. FLUX-Bildmodelle verbinden sich über die native Black Forest Labs API oder über Azure AI Foundry (für Azure-gehostete FLUX-Modelle). **Voraussetzungen:** 1. Ein Black Forest Labs API-Schlüssel von [api.bfl.ai](https://api.bfl.ai) **oder** eine Azure AI Foundry-Ressource mit einem FLUX-Deployment 2. Admin-Zugriff auf deinen Langdock-Workspace ## Einrichtung 1. Gehe zu [Workspace Settings -> Models](https://app.langdock.com/settings/workspace/models) und klicke auf **Add custom model**. 2. Wähle im Tab **Image** ein FLUX-Modell aus dem Katalog (empfohlen) oder richte es manuell ein. 3. Füge einen Model Key mit den Verbindungsdaten deines Hosting-Anbieters hinzu (siehe unten). 4. Klicke auf **Test & continue** und dann auf **Save model**, sobald der Test erfolgreich war. ## FLUX über Azure AI Foundry verwenden Azure AI Foundry stellt FLUX-Modelle über die Black Forest Labs-Provider-Route bereit, nicht über die OpenAI-kompatible Route. Langdock übernimmt das Routing automatisch, sofern das SDK korrekt gesetzt ist. Beim Konfigurieren von Azure-gehosteten FLUX-Modellen: * Setze das **SDK** auf **Black Forest Labs** (nicht Azure OpenAI) * Verwende deinen Azure AI Foundry-Ressourcen-Endpunkt als Base URL (z. B. `https://.services.ai.azure.com/openai`) * Verwende deinen Azure-API-Schlüssel * Der **Provider model name** in Langdock muss exakt mit deinem **Azure-Deployment-Namen** übereinstimmen, einschließlich Groß-/Kleinschreibung und Satzzeichen (z. B. `FLUX.2-pro`) Die exakte Übereinstimmung des Deployment-Namens ist erforderlich, da Azure das FLUX-Deployment aus dem Request-Body auflöst. Eine Abweichung führt zu einem `DeploymentNotFound`-Fehler. ## Unterstützte FLUX-Modelle | Provider model name | Hinweise | | ------------------- | -------------------------------------------------- | | `flux-2-pro` | Unterstützt HD (2K)-Ausgabe und Seitenverhältnisse | | `flux-2-flex` | Schnellere, kostengünstigere FLUX.2-Variante | | `flux-1.1-pro` | Ausgabe auf Azure auf 1440px pro Seite begrenzt | | `flux-kontext-pro` | Bildbearbeitung und kontextbezogene Generierung | Verwende den oben angegebenen Modellnamen, wenn du das Modell über die native Black Forest Labs API hinzufügst. In Azure AI Foundry verwendest du stattdessen deinen exakten Deployment-Namen — Langdock leitet ihn an die korrekte Provider-Route weiter. ## Konfigurationshinweise * Seitenverhältnisse (z. B. 16:9, 1:1) werden sowohl über die native BFL-API als auch über Azure AI Foundry unterstützt. * Die High-Definition-Generierung (2K) erfordert `flux-2-pro` mit aktiviertem HD-Schalter im Chat. * FLUX 1.1-Dimensionen werden auf Azure automatisch auf 1440px begrenzt, um Validierungsfehler zu vermeiden. ## Fehlerbehebung **`DeploymentNotFound` auf Azure**: stelle sicher, dass der Provider model name in Langdock zeichengenau mit deinem Azure-Deployment-Namen übereinstimmt, einschließlich Groß-/Kleinschreibung und Punkten (z. B. `FLUX.2-pro`, nicht `flux-2-pro`). **Authentifizierungsfehler auf Azure**: überprüfe, dass das SDK auf **Black Forest Labs** gesetzt ist, die Base URL auf deine Azure AI Foundry-Ressource zeigt und der API-Schlüssel Zugriff auf das FLUX-Deployment hat. **Bilder werden immer im Verhältnis 1:1 geliefert**: stelle sicher, dass das SDK auf **Black Forest Labs** gesetzt ist. Seitenverhältnisse werden auf der OpenAI-kompatiblen Bild-Route nicht unterstützt.