Zum Hauptinhalt springen
Erstellt eine Modellantwort für die gegebene Chat-Konversation. Dieser Endpunkt folgt der Anthropic API-Spezifikation und die Anfragen werden je nach gewähltem Modell an AWS Bedrock Anthropic, Google Vertex Anthropic oder die eigenen Deployments von Anthropic gesendet.

Bevor du startest

  • API-Key: Um die API zu nutzen, erstellst du einen persönlichen API-Key oder fragst deinen Workspace-Admin nach einem Workspace-API-Key mit dem Scope Completion API.

Basis-URL

Dedicated DeploymentsErsetze api.langdock.com durch <your-deployment-url>/api/public in allen Anfragen.

Parameter

Der Body folgt der Form des Anthropic “Create a message” Endpunkts, mit den folgenden Ausnahmen: Aus dem Request-Header anthropic-beta leitet Langdock nur fine-grained-tool-streaming-2025-05-14 weiter und verwirft andere kommaseparierte Werte. Bedrock erhält den Wert im Body als anthropic_beta. Anthropic erhält ihn als Header anthropic-beta. Vertex-Routen lassen ihn weg.

Prompt Caching

Cache große, stabile Prompt-Teile wie System-Prompts und Tool-Definitionen über mehrere Anfragen hinweg, um Latenz und Input-Token-Kosten zu reduzieren. Füge dazu einen cache_control Marker mit {"type": "ephemeral"} zum letzten Block des Prompt-Abschnitts hinzu, den du cachen möchtest:
  • cache_control wird auf system Text-Blöcken, auf text, image, tool_use und tool_result Blöcken in messages sowie auf Tool-Definitionen in tools unterstützt.
  • Der System-Prompt muss als Array von Text-Blöcken übergeben werden. Ein system Wert als einfacher String kann keinen cache_control Marker enthalten.
  • Nur der Block-Marker mit {"type": "ephemeral"} wird unterstützt. Anthropics Top-Level-Feld für automatisches Caching und TTL-Optionen werden nicht unterstützt.
Wenn das angeforderte Modell zu einer Provider-Route ohne Prompt-Caching-Unterstützung aufgelöst wird, geben Anfragen mit cache_control Markern 400 Bad Request zurück, mit der aufgelösten Route in der Fehlermeldung. Antworten melden die Cache-Aktivität in usage.cache_creation_input_tokens (in den Cache geschriebene Tokens) und usage.cache_read_input_tokens (aus dem Cache gelesene Tokens). Details zu Caching-Strategie, minimalen cachebaren Prompt-Längen und Modell-Unterstützung findest du im Anthropic Prompt Caching Guide.

Rate Limits

Die Standard-Limits sind 500 RPM (Anfragen pro Minute) und 150.000 TPM (Tokens pro Minute).
  • RPM wird je Workspace, Modell und API-Key begrenzt.
  • TPM teilen sich alle API-Keys, die dasselbe Modell in einem Workspace verwenden.
  • In der Cloud können Admins unter Einstellungen > Workspace > Produkte > API die TPM für eigene Modelle setzen; sie begrenzt die geschätzte Größe einer einzelnen Anfrage.
  • In Dedicated Deployments können Admins unter Einstellungen > Workspace > Produkte > API eigene Limits je Modell festlegen.
Wenn du dein Rate Limit überschreitest, erhältst du eine 429 Too Many Requests Antwort. Bei Streaming-Anfragen (stream: true) bleibt die Verbindung offen und sendet Keep-Alive-Bytes, solange das Modell langsam antwortet. Wenn eine Anfrage ohne Streaming nicht innerhalb von 105 Sekunden abgeschlossen ist, erhältst du 504 Gateway Timeout mit {"message": "The model did not respond in time. Please retry."}.

Verwendung von Anthropic-kompatiblen Bibliotheken

Du kannst beliebte Bibliotheken wie die Anthropic Python-Bibliothek oder das Vercel AI SDK mit diesem Endpunkt nutzen. Der Body muss zu den Angaben unter Parameter passen.

Beispiel mit der Anthropic Python-Bibliothek

Beispiel mit dem Vercel AI SDK in Node.js

Langdock blockiert bewusst Browser-basierte Anfragen, um deinen API-Schlüssel zu schützen und die Sicherheit deiner Anwendungen zu gewährleisten. Weitere Informationen findest du in unserem Guide zu Best Practices für API-Schlüssel.