Wenn du einen Prompt einreichst und an das Modell sendest, wird eine Antwort generiert und an dich zurückgesendet. Für diese Antwortgenerierung fallen Kosten für das zugrundeliegende KI-Modell an.

​
Optionen für LLM-Kosten

Es gibt zwei Optionen, um diese Kosten an den Modellanbieter (z.B. Microsoft Azure für GPT-Modelle) zu zahlen:

​
Option 1: Pauschale für LLM-Kosten

  • Du verwendest Langdocks API-Schlüssel von Microsoft, zum Beispiel.
  • Die gesamte Nutzung wird über Langdock abgerechnet.
  • Langdock bietet allen Nutzern im Workspace Zugang zu allen Modellen zu einer Pauschale.
  • Diese Pauschale kostet derzeit 5€ pro Nutzer pro Monat.

​
Option 2: Bring your own keys (BYOK)

  • Du bringst deine eigenen API-Schlüssel vom Modellanbieter mit (zum Beispiel Microsoft).
  • Für Langdock wird nur die Lizenzgebühr für die Plattform bezahlt.
  • Alle modell-/nutzungsbezogenen Kosten fallen direkt zwischen dir und dem Modellanbieter an.
Option 1 ist die “All-inclusive”-Version von Langdock, bei der du keine Schlüssel auf deiner Seite einrichten und verwalten musst (Schlüssel für die Modelle beschaffen, Kontingente beantragen, Modelle aktuell halten,…). Option 2 ist in der Regel insgesamt etwas günstiger. Hinweis: Wir bieten die Nutzung unserer API-Schlüssel günstig an, da wir uns nicht selbst dazu anreizen wollen, mit LLM-API-Arbitrage Geld zu verdienen, und um uns darauf zu konzentrieren, eine großartige Anwendungsschicht auf Basis von LLMs zu entwickeln.

​
Einrichtung von BYOK

Um BYOK zu nutzen und nicht die Pauschalgebühr für LLM-Kosten zu zahlen, muss BYOK manuell für deinen Workspace vom Langdock-Team aktiviert werden. Andernfalls verwendet dein Workspace weiterhin die Modelle von Langdock im Hintergrund (für Embeddings und Bildgenerierung). Hier ist eine Anleitung zur Einrichtung von BYOK.