1. Configure les modèles et les clés dans Langdock
Tu as besoin de différents types de modèles pour que la plateforme fonctionne. Pour ajouter des modèles, va dans les paramètres de modèles dans les paramètres du workspace. Voici les types de modèles nécessaires pour couvrir toutes les fonctionnalités :1.1 Modèle d’Embedding
- Les modèles d’embedding traitent les documents et permettent au modèle de rechercher dans les documents téléchargés.
- La plateforme nécessite un modèle d’embedding avec 1536 dimensions pour le stockage vectoriel. Tout modèle d’embedding compatible OpenAI ou Azure avec 1536 dimensions fonctionnera.
1.2 Modèle Backbone
- Le modèle backbone est utilisé pour :
- La génération des titres de chat dans la barre latérale
- Le résumé de l’historique de conversation pour la gestion du contexte
- Le dernier recours en cas d’échec du modèle principal et de son modèle de secours
- Les tâches auxiliaires comme l’optimisation de prompts et l’OCR
- Utilise un modèle rapide et économique pour cela. Il sert également de backbone pour Deep Research.
1.3 Modèle de Génération d’Images
- Ajoute au moins un modèle de génération d’images pour que les utilisateurs puissent générer des images depuis le chat.
- Consulte la page Ajouter des modèles pour les modèles de génération d’images supportés et les instructions de configuration.
1.4 Modèles de Complétion
- Ce sont les modèles que tes utilisateurs sélectionnent dans le chat. Ajoute les modèles que tu souhaites proposer des fournisseurs pour lesquels tu as des clés.
- Assure-toi d’ajouter aussi les modèles nécessaires pour Deep Research. Le modèle backbone configuré en 1.2 couvre déjà le backbone de Deep Research.
- Nous supportons les modèles hébergés par Microsoft Azure, AWS Bedrock, Google Vertex AI, Google AI Studio, OpenAI, Anthropic, Mistral, DeepSeek, Perplexity, Black Forest Labs, Replicate et tout endpoint compatible OpenAI.
- Pour les quotas, entre 200k et 500k TPM (tokens par minute) devrait suffire pour couvrir l’utilisation d’environ 200 utilisateurs. Pour ton modèle le plus utilisé, tu pourrais avoir besoin d’un quota de 500k à 1 million de tokens.
Pour les modèles principaux, nous recommandons de configurer plusieurs déploiements dans différentes régions. Si un modèle a une erreur dans une région, Langdock réessaie automatiquement l’appel dans une autre région.
- 1x Modèle d’embedding (1536 dimensions)
- 1x Modèle backbone (instance séparée de tes modèles de complétion)
- 1 ou plusieurs modèles de génération d’images
- Modèles nécessaires pour Deep Research
- Modèles de complétion des fournisseurs que tu souhaites proposer
2. Contacte l’équipe Langdock
Après avoir configuré tous les modèles nécessaires, contacte l’équipe Langdock. Nous conviendrons avec toi d’un créneau horaire pour activer BYOK de notre côté. Habituellement, cela devrait être fait en fin d’après-midi ou en soirée lorsque moins d’utilisateurs sont actifs. Il ne devrait pas y avoir de temps d’arrêt ; c’est une mesure de précaution pour éviter les perturbations pendant le changement. Assure-toi que toi ou quelqu’un capable de configurer les modèles est disponible. Nous veillerons à ce qu’un ingénieur soit également disponible de notre côté.3. Teste les modèles
Assure-toi que tous les modèles fonctionnent correctement. Voici comment tester les modèles :- Modèles de complétion : Envoie un prompt à chaque modèle que tu peux sélectionner dans l’interface (par ex., « écris une histoire sur les chiens »).
- Modèle d’embedding : Crée un dossier de connaissances, télécharge un fichier, puis démarre un chat et @mentionne le dossier de connaissances pour poser une question sur le fichier. Tu devrais recevoir une réponse basée sur le contenu du fichier.
- Modèle d’image : Demande à n’importe quel modèle de générer une image. Tu devrais voir une image générée par le modèle.
- Modèle backbone : Écris un message dans un nouveau chat et vérifie si un titre de chat est généré après l’envoi du prompt. (Assure-toi que le mode strict est désactivé pour ce modèle)