Zum Hauptinhalt springen
Sende mit Completion-Anfragen einen Identifier pro Nutzer, damit LiteLLM Ausgaben zuordnen und Customer-Budgets anwenden kann. Das ist nur Zuordnung. Langdock authentifiziert sich nicht mit dem Token jedes Nutzers bei LiteLLM und zeigt LiteLLM-Ausgaben nicht in Langdock an. Cloud und Dedicated laufen bis zum Model Key gleich. Dedicated-Keys zeigen zusätzlich Authentifizierungsmethode. Für die Ausgabenzuordnung bleibt API-Key.
Nutzer-Identifier gibt es nur bei Completion-Modellen, im Katalog und in der manuellen Einrichtung. Die Wizard-Schritte für Bild und Embedding enthalten das Feld nicht.

​
Voraussetzungen

  • Admin-Zugang zu deinem Langdock Workspace
  • Ein LiteLLM-Proxy, der über HTTPS erreichbar ist
  • Der Modell-Alias aus deiner LiteLLM-Konfiguration
  • Ein API-Key, falls dein Proxy Authentifizierung verlangt
Langdock blockiert Anfragen an private IPs, localhost und interne Hostnamen. Kontaktiere support@langdock.com, wenn du einen internen LiteLLM-Endpunkt erreichen musst.

​
LiteLLM verbinden

​
1. Wizard öffnen

Gehe zu Workspace-Einstellungen -> Modelle und klicke auf Eigenes Modell hinzufügen. Modelle-Seite mit den Filtern Alle, Completion, Bild und Benutzerdefiniert, Suche und Eigenes Modell hinzufügen

​
2. Katalog oder manuell

Wähle ein Completion-Modell aus dem Katalog, wenn LiteLLM ein Modell ausliefert, das Langdock schon mitbringt. Sonst klicke auf manuell einrichten. Wizard Modelle wählen mit Katalogkarten und manuell einrichten im Footer Beim manuellen Modell füllst du Modellname und Anbieter-Modellname. Das sieht man später in der Modellauswahl. Den LiteLLM-Alias setzt du erst beim Deployment.

​
3. Nutzer-Identifier setzen

Öffne unter Konfigurieren den Bereich Erweitert und setze Nutzer-Identifier. Wähle Microsoft UPN, wenn LiteLLM-Kunden über Microsoft-Login laufen. Nutzer-Identifier auf Microsoft UPN, Dropdown offen mit Keine, Benutzer-ID, E-Mail und Alternative E-Mail Klicke auf Weiter.

​
4. LiteLLM-Key anlegen

Klicke unter Deployment auf Neuer Schlüssel. Setze Anbieter-SDK auf OpenAI Compatible, Base URL auf deinen Proxy (zum Beispiel https://litellm.example.com/v1), API Key auf den Proxy-Key und Hosting-Anbieter auf einen Namen, den dein Team erkennt.
In der Cloud gibt es Authentifizierungsmethode nicht. Der Proxy-Key reicht.Neuen API-Schlüssel erstellen für OpenAI Compatible mit Base URL https://litellm.example.com/v1, API Key und Hosting-Anbieter LiteLLM
Setze Modellname / ID auf den LiteLLM-Alias, denselben Wert wie model_name in LiteLLM.
Individuelle Header am Model Key sind fester Text. Sie können keinen Platzhalter pro Nutzer enthalten. Sende x-litellm-end-user-id nicht auf diesem Weg.
Klicke auf Schlüssel speichern, danach auf Testen & weiter.

​
5. Modell speichern

Prüfe unter Überprüfen das Deployment und dass Nutzer-Identifier gesetzt ist. Klicke auf Modell speichern. Schritt Überprüfen mit LiteLLM GPT-4o, Deployment gpt-4o auf LiteLLM proxy und Nutzer-Identifier userPrincipalName Die übrigen Felder für OpenAI-kompatible Endpunkte findest du unter Setup Guides.

​
Nutzer-Identifier wählen

Microsoft UPN ist die richtige Wahl, wenn LiteLLM-Kunden über Microsoft-Login zugeordnet werden. Langdock speichert den Wert bei der Microsoft-Anmeldung. Andere Login-Methoden können den UPN leer lassen.

​
Identifier in LiteLLM zuordnen

Der Header heißt immer x-user-id. Du kannst den Namen nicht ändern. Wenn das Modell das OpenAI- oder Azure-SDK nutzt, sendet Langdock zusätzlich das Feld user im Request-Body, sobald der Identifier nicht leer ist. LiteLLM behandelt dieses Body-Feld ohne Extra-Konfiguration als Customer-ID. Über OpenAI Compatible kommt nur der Header. Trage das Mapping in der LiteLLM-config.yaml ein:
Danach kann LiteLLM Ausgaben tracken und Customer-Budgets pro Identifier anwenden. Siehe LiteLLM customers. Wenn in LiteLLM validate_end_user_id_in_db aktiv ist, wird der Identifier nur akzeptiert, wenn er bereits zu einem LiteLLM-Customer oder zur ID oder E-Mail eines internen Users passt. Lege diese Customer-Einträge in LiteLLM an, bevor du dich auf diese Einstellung verlässt.
Über OpenAI Compatible sendet Langdock den Identifier nur als x-user-id. Trage das Header-Mapping in LiteLLM ein. Das Feld user im Request-Body wird mit diesem SDK nicht gesendet.

​
Grenzen

  • Jedes Completion-Modell sendet einen Identifier. Du kannst nicht zwei Felder gleichzeitig senden.
  • Leere x-user-id-Werte (fehlender UPN oder fehlende alternative E-Mail) enthalten den Header trotzdem. Wie LiteLLM eine leere Customer-ID behandelt, hängt von deinem Proxy ab.
  • Das ersetzt keine Gateway-Tokens pro Nutzer. Zuordnung und tokenbasierte Authentifizierung sind getrennt.