Einrichtungsanleitungen

• Google Vertex AI: verwendet Service-Account-Zugangsdaten. Am besten für Enterprise-Setups mit GCP-Infrastruktur.
• Google AI Studio: verwendet einen einfachen API-Schlüssel. Einfacher einzurichten.

​

Option 1: Google Vertex AI

​

Google Cloud einrichten

1. Aktiviere die Vertex AI API in deiner Google Cloud Platform.
2. Gehe zu “Service Accounts” in den Google Cloud Console IAM-Einstellungen.

3. Klicke auf “Create Service Account”.
4. Gib dem Service Account einen Namen.

5. Weise die Rolle “Vertex AI User” zu.

6. Erstelle den Service Account.

7. Du gelangst zurück zur Service Account Übersicht.

8. Klicke auf der Übersichtsseite auf “Manage keys”.

9. Erstelle einen neuen JSON-Schlüssel.

10. Lade die JSON-Datei herunter und öffne sie.

​

Langdock einrichten

1. Navigiere zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen.
2. Nutze die vorgefertigte Langdock-Konfiguration oder richte es manuell ein. Setze das SDK auf Google Vertex.

3. Fülle die Verbindungsfelder aus:
   • Service Account Email: füge den client_email-Wert aus deiner JSON-Schlüsseldatei ein (z.B. my-sa@my-project.iam.gserviceaccount.com)
   • Service Account Private Key: füge den private_key-Wert aus deiner JSON-Schlüsseldatei ein (einschließlich -----BEGIN PRIVATE KEY----- und -----END PRIVATE KEY-----)
   • Region: deine Vertex AI Region (z.B. europe-west3, us-central1). Diese bestimmt, welcher Vertex AI Endpunkt verwendet wird.
   • Model ID: die Modell-ID aus dem Vertex Portal (z.B. gemini-2.5-flash, gemini-2.5-pro)
4. Führe den Live-Test durch und speichere.

​

Option 2: Google AI Studio

1. Hole dir einen API-Schlüssel von Google AI Studio.
2. Navigiere zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen. Wähle Google AI Studio als SDK.
3. Füge deinen API-Schlüssel ein und setze die Model ID.
4. Führe den Live-Test durch und speichere.

​

Imagen (Bildgenerierung)

1. Ein AWS-Konto mit aktiviertem Bedrock-Zugang
2. IAM-Zugangsdaten mit Bedrock-Berechtigungen
3. Modellzugang in deiner AWS Bedrock Konsole aktiviert
4. Admin-Zugang zu deinem Langdock Workspace

​

AWS einrichten

​

1. Modellzugang aktivieren

1. Gehe zur AWS Bedrock Konsole.
2. Navigiere zu Model access in der linken Seitenleiste.
3. Klicke auf Manage model access und aktiviere die benötigten Modelle.
4. Warte, bis der Zugang gewährt wurde (kann einige Minuten dauern).

​

2. IAM-Zugangsdaten erstellen

1. Gehe zur AWS IAM Konsole.
2. Navigiere zu Users und klicke auf Create user.
3. Gib dem Nutzer einen beschreibenden Namen (z.B. langdock-bedrock-access).
4. Füge die AmazonBedrockFullAccess-Richtlinie hinzu oder erstelle eine benutzerdefinierte Richtlinie mit den Mindestberechtigungen:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel",
                "bedrock:InvokeModelWithResponseStream"
            ],
            "Resource": "*"
        }
    ]
}

5. Gehe zum Tab Security credentials des Nutzers, klicke auf Create access key, wähle Third-party service und speichere sowohl die Access Key ID als auch den Secret Access Key.

​

Langdock einrichten

1. Navigiere zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen.
2. Wähle Bedrock als SDK.

3. Fülle die Verbindungsfelder aus:
   • Access Key ID: deine AWS Access Key ID
   • Secret Access Key: dein AWS Secret Access Key
   • Region: deine AWS Region (z.B. us-east-1, eu-central-1)
   • Model ID: verwende den Bedrock Modell-Identifier (siehe unten)
   • Context Size: entsprechend dem Modell einstellen (siehe Modellkonfigurationstabellen)
4. Klicke auf Save und teste das Modell, bevor du es für alle Nutzer sichtbar machst.

​

Model IDs

​

Cross-Region Inference Profiles

​

Unterstützte Regionen

• US East (N. Virginia): us-east-1
• US West (Oregon): us-west-2
• EU (Frankfurt): eu-central-1
• EU (Irland): eu-west-1
• EU (Paris): eu-west-3
• Asien-Pazifik (Tokio): ap-northeast-1
• Asien-Pazifik (Sydney): ap-southeast-2

​

Netzwerkkonfiguration

​

Fehlerbehebung

1. Ein Mistral-Konto bei console.mistral.ai
2. Ein API-Schlüssel von der Mistral-Plattform
3. Admin-Zugang zu deinem Langdock Workspace

​

Einrichtung

1. Navigiere zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen.
2. Fülle die Verbindungsfelder aus:
   • SDK: wähle Mistral
   • Base URL: leer lassen für den Standard (https://api.mistral.ai/v1) oder einen benutzerdefinierten Endpunkt angeben
   • Model ID: verwende den offiziellen Modell-Identifier (siehe unten)
   • API Key: füge deinen Mistral API-Schlüssel ein
3. Klicke auf Save und teste das Modell.

​

Model IDs

​

Mistral über Azure verwenden

​

Konfigurationshinweise

• Mistral-Modelle unterstützen Tool Calling nativ.
• Der Standard-API-Endpunkt https://api.mistral.ai/v1 wird automatisch verwendet, wenn keine benutzerdefinierte Base URL angegeben wird.
• Mistral-Modelle sind bekannt für starke mehrsprachige Fähigkeiten, besonders in europäischen Sprachen.

​

Fehlerbehebung

1. Ein DeepSeek-Konto bei platform.deepseek.com
2. Ein API-Schlüssel von der DeepSeek-Plattform
3. Admin-Zugang zu deinem Langdock Workspace

​

Einrichtung

1. Navigiere zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen.
2. Fülle die Verbindungsfelder aus:
   • SDK: wähle DeepSeek
   • Base URL: https://api.deepseek.com/v1
   • Model ID: siehe Tabelle unten
   • API Key: füge deinen DeepSeek API-Schlüssel ein
   • Region: US
3. Für Reasoning-Modelle (R1), aktiviere Always show reasoning, um den Denkprozess des Modells in der UI anzuzeigen.
4. Klicke auf Save und teste das Modell.

​

Model IDs

​

Konfigurationshinweise

• DeepSeek-Modelle werden nur in der US-Region gehostet. DeepSeek-Modelle unterstützen keine Bildanalyse.
• DeepSeek R1 ist ein Reasoning-Modell. Aktiviere Always show reasoning, um seine Reasoning-Schritte in der UI zu sehen.
• Die Base URL muss den /v1-Pfad enthalten: https://api.deepseek.com/v1.

​

Fehlerbehebung

1. Ein Perplexity-Konto bei perplexity.ai
2. Ein API-Schlüssel aus deinen Perplexity API-Einstellungen
3. Admin-Zugang zu deinem Langdock Workspace

​

Einrichtung

1. Navigiere zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen.
2. Fülle die Verbindungsfelder aus:
   • SDK: wähle Perplexity
   • Base URL: leer lassen für den Standard (https://api.perplexity.ai)
   • Model ID: siehe Tabelle unten
   • API Key: füge deinen Perplexity API-Schlüssel ein
   • Region: US
3. Klicke auf Save und teste das Modell.

​

Model IDs

​

Konfigurationshinweise

• Perplexity-Modelle haben eingebaute Websuchfähigkeiten und haben immer Zugang zu aktuellen Informationen.
• Der API-Endpunkt https://api.perplexity.ai wird automatisch verwendet, wenn keine benutzerdefinierte Base URL angegeben wird.
• Sonar Pro-Modelle liefern detailliertere Antworten mit besseren Quellzitaten.
• Reasoning-Varianten eignen sich am besten für komplexe analytische Aufgaben, die von schrittweisem Denken profitieren.
• Perplexity-Modelle unterstützen keine Bildanalyse.

​

Fehlerbehebung

• vLLM: Hochdurchsatz-Inferenzserver für Large Language Models
• LiteLLM: Proxy-Server mit einheitlichem Interface für 100+ LLM-Anbieter
• Ollama: Large Language Models lokal ausführen
• Text Generation Inference (TGI): Hugging Faces Inferenzserver
• LocalAI: selbst gehostete, OpenAI-kompatible API
• Benutzerdefinierte Deployments: jeder Service, der die OpenAI Chat Completions API implementiert

1. Ein laufender OpenAI-kompatibler Inferenz-Endpunkt, erreichbar über HTTPS
2. Die Base URL deines Endpunkts
3. Die Model ID/Name, wie in deinem Inferenzserver konfiguriert
4. Ein API-Schlüssel (falls dein Endpunkt Authentifizierung erfordert)
5. Admin-Zugang zu deinem Langdock Workspace

​

Einrichtung

1. Navigiere zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen.
2. Fülle die Verbindungsfelder aus:
   • SDK: wähle OpenAI Compatible
   • Base URL: deine Endpunkt-URL (z.B. https://your-server.com/v1). Pflichtfeld.
   • Model ID: der genaue Modell-Identifier, wie in deinem Inferenzserver konfiguriert
   • API Key: dein Authentifizierungsschlüssel, oder leer lassen wenn nicht erforderlich
   • Context Size: die Kontextfenstergröße deines Modells in Token
3. Klicke auf Save und teste das Modell.

​

Beispielkonfigurationen

​

Häufige Anwendungsfälle

• Datenschutz: betreibe Modelle auf deiner eigenen Infrastruktur, damit Prompts und Antworten in deinem Netzwerk bleiben.
• Kostenoptimierung: Open-Source-Modelle auf eigener Hardware können die Kosten bei hohem Volumen erheblich senken.
• Benutzerdefinierte Fine-Tuned-Modelle: deploye Modelle, die für spezifische Aufgaben oder Domänen fine-tuned wurden, mit vLLM oder ähnlichen Servern.
• Multi-Anbieter-Abstraktion: verwende LiteLLM als Proxy, um Anfragen von einem einzigen Interface aus an verschiedene Anbieter zu routen.

​

Fehlerbehebung