Hinzufügen eigener Modelle

​

Modelle hinzufügen

​

Modelldialog öffnen

1. Gehe zu den Modelleinstellungen und klicke auf Modell hinzufügen, um ein neues Modell zur Plattform hinzuzufügen
2. Es öffnet sich ein Modal, in dem du Modelle hinzufügen kannst. Hier findest du zwei Abschnitte.

• Die Anzeigeeinstellungen oben ermöglichen es dir, anzupassen, was der Nutzer in der Modellauswahl sieht.
• Die Modellkonfiguration ermöglicht es dir, deinen Langdock-Workspace mit deiner Modell-API zu verbinden.

​

Anzeigeeinstellungen

1. Um die Anzeigeeinstellungen zu konfigurieren, kannst du die folgenden Schritte befolgen. Diese Informationen sind auch bei dem Unternehmen verfügbar, das das Modell hostet.
   • Der Anbieter ist die Organisation, die das Modell gebaut und trainiert hat. Dies stimmt nicht unbedingt mit dem Unternehmen überein, von dem du das Modell beziehst. Zum Beispiel kannst du Microsoft Azure verwenden, um OpenAI-Modelle in der EU zu nutzen. Aber der Anbieter wird immer noch OpenAI sein.
   • Der Modellname ist der Name des Modells.
   • Der Hosting-Anbieter ist der Ort, an dem du das Modell beziehst. Zum Beispiel kann GPT-4o von Microsoft Azure gehostet werden.
   • Die Region zeigt dem Nutzer, wo das Modell gehostet wird. Dies kann auf die USA oder die EU eingestellt werden.
   • Um den Nutzern einen Hinweis darauf zu geben, wie das Modell in Bezug auf Geschwindigkeit und Qualität abschneidet, kannst du eine Bewertung von 1 bis 5 hinzufügen. Kleinere Modelle wie Claude 3 Haiku, GPT-4o mini oder Llama 3.1 8B sind schneller, haben aber nicht die höchste Qualität. Die Top-Modelle, GPT-4o oder Claude 3.5, haben eine hohe Ausgabequalität.
   • Der Wissensstichtag ist der Zeitpunkt, zu dem die Trainingsdaten des Modells endeten. Die meisten Modelle haben einen Wissensstichtag Ende 2023.
   • Die letzte Option lässt dich angeben, ob das Modell Bilder analysieren kann. Diese Information ist vom Modellanbieter und dem Modellhoster verfügbar. Bitte aktiviere diese Einstellung nur, wenn das Modell Vision/Bildanalyse unterstützt. Modelle, die Bildanalyse ermöglichen, sind GPT-4o, GPT-4o mini, Claude und Gemini-Modelle.

​

Modellkonfigurationen

1. Um die Modellkonfiguration einzurichten, wähle das SDK, das du verwendest. Du findest einige Informationen zur Konfiguration des Modellanbieters (z.B. Azure oder AWS). Dies ist:
   • Der SDK, das Kit oder die Bibliothek, die Langdock benötigt, um das von dir hinzugefügte Modell zu verwenden. Die Base URL zum Senden von Prompts an den entsprechenden Endpunkt deines Modells. Die Model ID ist der Name des Modells in deiner Konfiguration (dies muss nicht der “offizielle” Modellname sein, wie GPT-4o). Der API key ermöglicht es deinen Nutzern, sich bei der Verwendung des Modells innerhalb von Langdock zu authentifizieren, wenn sie Prompts senden. Die Context Size ist die Anzahl der Token, die das Modell in seinem Kontextfenster verarbeiten kann. Bitte verwende den exakten Wert des Modells, um sicherzustellen, dass die Kontextverwaltung in Langdock korrekt funktioniert.
2. Weitere Konfigurationsoptionen:
   • Maximum messages in 3 hours ermöglicht es dir, die Nutzung/Kosten zu beeinflussen und Nachrichten pro Nutzer zu begrenzen. Diese Einstellung ist optional.
   • Input and output token pricing ermöglicht die Festlegung der Token-Preise des individuellen Modells, um Nutzung und Kosten zu überwachen.
   • Du kannst das Modell visible to everyone im Workspace einstellen. Wenn diese Option deaktiviert ist, ist das Modell nur für Administratoren sichtbar und kann von anderen Nutzern nicht verwendet werden. Dies ermöglicht es dir, das Modell zu testen, bevor du es für den gesamten Workspace freigibst.
   • Der maintenance mode kann aktiviert werden, um Nutzern in der Nutzeroberfläche anzuzeigen, dass das Modell möglicherweise nicht wie erwartet funktioniert. Dies ist nützlich, wenn du einige Konfigurationen änderst oder wenn es ein vorübergehendes Problem mit dem Modell von deinem Modellanbieter gibt.
3. Nach Eingabe aller erforderlichen Einstellungen klicke auf Save.
4. Wir empfehlen, das Modell zu testen, bevor du es für alle sichtbar machst. Sende eine Nachricht an das Modell und prüfe, ob eine Antwort vom Modell generiert wird. Wenn du auf Probleme stößt, kontaktiere bitte support@langdock.com

​

Spezialfälle während der Einrichtung