Bevor du startest
- API-Key: Um die API zu nutzen, erstellst du einen persönlichen API-Key oder fragst deinen Workspace-Admin nach einem Workspace-API-Key mit dem Scope Completion API.
Basis-URL
Parameter
Der Body folgt der Form des Anthropic “Create a message” Endpunkts, mit den folgenden Ausnahmen:
Aus dem Request-Header
anthropic-beta leitet Langdock nur fine-grained-tool-streaming-2025-05-14 weiter und verwirft andere kommaseparierte Werte. Bedrock erhält den Wert im Body als anthropic_beta. Anthropic erhält ihn als Header anthropic-beta. Vertex-Routen lassen ihn weg.
Prompt Caching
Cache große, stabile Prompt-Teile wie System-Prompts und Tool-Definitionen über mehrere Anfragen hinweg, um Latenz und Input-Token-Kosten zu reduzieren. Füge dazu einencache_control Marker mit {"type": "ephemeral"} zum letzten Block des Prompt-Abschnitts hinzu, den du cachen möchtest:
cache_controlwird aufsystemText-Blöcken, auftext,image,tool_useundtool_resultBlöcken inmessagessowie auf Tool-Definitionen intoolsunterstützt.- Der System-Prompt muss als Array von Text-Blöcken übergeben werden. Ein
systemWert als einfacher String kann keinencache_controlMarker enthalten. - Nur der Block-Marker mit
{"type": "ephemeral"}wird unterstützt. Anthropics Top-Level-Feld für automatisches Caching und TTL-Optionen werden nicht unterstützt.
cache_control Markern 400 Bad Request zurück, mit der aufgelösten Route in der Fehlermeldung. Antworten melden die Cache-Aktivität in usage.cache_creation_input_tokens (in den Cache geschriebene Tokens) und usage.cache_read_input_tokens (aus dem Cache gelesene Tokens).
Details zu Caching-Strategie, minimalen cachebaren Prompt-Längen und Modell-Unterstützung findest du im Anthropic Prompt Caching Guide.
Rate Limits
Die Standard-Limits sind 500 RPM (Anfragen pro Minute) und 150.000 TPM (Tokens pro Minute).- RPM wird je Workspace, Modell und API-Key begrenzt.
- TPM teilen sich alle API-Keys, die dasselbe Modell in einem Workspace verwenden.
- In der Cloud können Admins unter Einstellungen > Workspace > Produkte > API die TPM für eigene Modelle setzen; sie begrenzt die geschätzte Größe einer einzelnen Anfrage.
- In Dedicated Deployments können Admins unter Einstellungen > Workspace > Produkte > API eigene Limits je Modell festlegen.
429 Too Many Requests Antwort.
Bei Streaming-Anfragen (stream: true) bleibt die Verbindung offen und sendet Keep-Alive-Bytes, solange das Modell langsam antwortet. Wenn eine Anfrage ohne Streaming nicht innerhalb von 105 Sekunden abgeschlossen ist, erhältst du 504 Gateway Timeout mit {"message": "The model did not respond in time. Please retry."}.
Verwendung von Anthropic-kompatiblen Bibliotheken
Du kannst beliebte Bibliotheken wie die Anthropic Python-Bibliothek oder das Vercel AI SDK mit diesem Endpunkt nutzen. Der Body muss zu den Angaben unter Parameter passen.Beispiel mit der Anthropic Python-Bibliothek
Beispiel mit dem Vercel AI SDK in Node.js
Langdock blockiert bewusst Browser-basierte Anfragen, um deinen API-Schlüssel zu schützen und die Sicherheit deiner Anwendungen zu gewährleisten. Weitere Informationen findest du in unserem Guide zu Best Practices für API-Schlüssel.