Wenn ein Nutzer eine Anfrage eingibt und an das Modell sendet, wird eine Antwort generiert und an den Nutzer zurückgesendet. Für diese Antwortgenerierung fallen Kosten für das zugrundeliegende KI-Modell an.

​
Optionen für LLM-Kosten

Es gibt zwei Optionen für die Bezahlung dieser Kosten an den Modellanbieter (z.B. Microsoft Azure für GPT-Modelle):

​
Option 1: Pauschalgebühr für LLM-Kosten

  • Der Kunde verwendet beispielsweise Langdocks API-Schlüssel von Microsoft.
  • Die gesamte Nutzung wird über Langdock abgerechnet.
  • Langdock bietet allen Nutzern im Workspace Zugang zu allen Modellen zu einer Pauschalgebühr.
  • Diese Pauschalgebühr kostet derzeit 5€ pro Nutzer pro Monat.

​
Option 2: Bring your own keys (BYOK)

  • Der Kunde bringt seine eigenen API-Schlüssel vom Modellanbieter mit (zum Beispiel Microsoft).
  • Für Langdock wird nur die Lizenzgebühr für die Plattform bezahlt.
  • Alle modell-/nutzungsbezogenen Kosten entstehen direkt zwischen dem Kunden und dem Modellanbieter.
Option 1 ist die “All-inclusive”-Version von Langdock, bei der der Kunde keine Schlüssel auf seiner Seite einrichten und verwalten muss (Schlüssel für die Modelle beschaffen, Kontingente beantragen, Modelle aktuell halten,…). Option 2 ist in der Regel insgesamt etwas günstiger. Zur Transparenz: Wir bieten die Nutzung unserer API-Schlüssel günstig an, da wir uns nicht selbst dazu anreizen wollen, mit LLM-API-Arbitrage Geld zu verdienen, und um uns darauf zu konzentrieren, eine großartige Anwendungsschicht auf Basis von LLMs zu entwickeln.

​
Einrichtung von BYOK

Um BYOK zu nutzen und nicht die Pauschalgebühr für LLM-Kosten zu zahlen, muss BYOK manuell für deinen Workspace vom Langdock-Team aktiviert werden. Andernfalls verwendet dein Workspace weiterhin die Modelle von Langdock im Hintergrund (für Embeddings und Bildgenerierung). Hier ist eine Anleitung zur Einrichtung von BYOK.