Gérez les fournisseurs et modèles LLM, synchronisez les modèles depuis des registres externes, exécutez des contrôles de santé et configurez des clés API par organisation pour une facturation indépendante.
Entity Enricher prend en charge un large éventail de fournisseurs LLM. Chaque fournisseur peut proposer plusieurs modèles avec une tarification, des capacités et une configuration individuelles.
De nombreuses équipes font transiter leur trafic LLM par une passerelle IA d'entreprise, un point de terminaison régional ou un fournisseur non intégré — par exemple un proxy LiteLLM d'entreprise, Cloudflare AI Gateway ou Alibaba DashScope (pour les modèles Qwen). Vous les ajoutez en tant que fournisseur Standard (compatible OpenAI) distinct avec une URL de base personnalisée.
acme-openai-gw). Les noms intégrés comme openai ou anthropic sont réservés. https://gateway.example.com/v1. Ce champ est obligatoire pour tout fournisseur pour lequel Entity Enricher ne dispose pas de client intégré. https://. Les adresses de bouclage et les plages privées (localhost, 10.x, 192.168.x) sont rejetées pour prévenir les attaques SSRF — un serveur auto-hébergé doit être accessible depuis Internet. Pour un Ollama local, utilisez plutôt le tunnel Ollama dédié./v1 (chat completions, /models). {endpoint}/models pour vérifier la clé et l'URL de base avant de lancer un enrichissement.Chaque fournisseur dispose d'un paramètre Nombre maximal d'appels simultanés par clé (sa limite de débit personnalisée). Il plafonne le nombre d'appels LLM qu'une même clé API exécute en parallèle — couvrant tous les flux qui utilisent la clé : la répartition d'enrichissement multi-expertise, la classification, l'arbitrage et la génération de schémas / d'exemples.
Ceci est distinct de la limite de tâches simultanées maximum de votre forfait, qui plafonne le nombre de tâches d'enrichissement exécutées à la fois par l'ensemble de votre organisation, tous fournisseurs confondus.
Chaque modèle suit ses capacités, affichées sous forme d'icônes dans le sélecteur de modèles :
| Capacité | Description |
|---|---|
| Vision | Peut traiter des images et des entrées visuelles |
| Appels d'outils | Prend en charge l'appel de fonctions / l'utilisation d'outils |
| Entrée audio | Peut traiter des entrées audio |
| Entrée PDF | Peut traiter des documents PDF |
| Mise en cache des prompts | Prend en charge la mise en cache des prompts pour réduire les coûts |
| Raisonnement | Capacités de réflexion étendue / chaîne de pensée |
Maintenez les tarifs des modèles à jour en les synchronisant depuis des registres externes. Le processus de synchronisation détecte automatiquement les nouveaux modèles, les changements de prix et les modèles supprimés.
La source de tarification par défaut. Récupère les données depuis le registre communautaire de LiteLLM sur GitHub, avec les vrais noms de modèles API, les tarifs, les longueurs de contexte et les capacités.
Couvre ~30 fournisseurs. N'inclut pas les noms d'affichage, les benchmarks ni la vitesse de génération.
Une source alternative provenant de pricepertoken.com. Inclut les noms d'affichage, les benchmarks (scores en programmation et en mathématiques) et la vitesse de génération (tokens par seconde).
Couvre ~20 fournisseurs. Fournit des métadonnées plus riches que LiteLLM.
Validez proactivement l'accessibilité des modèles en exécutant un prompt minimal de vérification d'état. Cela permet de détecter les modèles défaillants avant que les utilisateurs ne rencontrent des erreurs lors de l'enrichissement.
Les vérifications d'état peuvent être exécutées sur tous les modèles, sur les modèles d'un fournisseur spécifique ou sur un seul modèle. Les résultats sont diffusés en temps réel via SSE, avec une barre de progression affichant le nombre de réussites et d'échecs.
Lorsqu'un appel d'enrichissement échoue avec une erreur « modèle introuvable », le modèle est automatiquement désactivé pour éviter des échecs répétés. Cela se produit en temps réel pendant les opérations d'enrichissement normales.
| Motif de désactivation | Défini par | Réactivé automatiquement ? |
|---|---|---|
| Modèle introuvable | Erreurs d'enrichissement ou vérifications d'état | Oui (par synchronisation des tarifs ou validation) |
| Supprimés à la synchronisation | Synchronisation des tarifs (modèle disparu) | Oui (si le modèle réapparaît dans le registre) |
| Manuel | Bascule administrateur dans l'interface | Non (réactivation manuelle uniquement) |
Les organisations peuvent configurer leurs propres clés API de fournisseur LLM pour une facturation et un suivi d'utilisation indépendants. Le système utilise une résolution de clés à deux niveaux avec sélection LRU :
Clés par organisation configurées dans la page Clés API. Prend en charge plusieurs clés par fournisseur avec rotation LRU. Chiffrées avec Fernet.
Clés à l'échelle du système gérées par les administrateurs. Partagées entre toutes les organisations. Prend également en charge plusieurs clés par fournisseur avec rotation LRU.
Chaque enrichissement enregistre la clé utilisée, ce qui vous permet de suivre les coûts par clé. Les clés bénéficient d'une vérification d'état et de compteurs d'utilisation, et sont automatiquement désactivées en cas d'échec permanent (clé invalide, paiement requis). Les clés soumises à une limite de débit sont temporairement mises en attente pendant que les autres clés du pool sont utilisées. Découvrez comment gérer les clés dans le guide Clés API.
Exportez l'ensemble de votre configuration de fournisseurs et de modèles au format JSON pour une sauvegarde ou un transfert vers une autre instance. L'import est toujours un upsert : les fournisseurs et modèles existants sont identifiés par leur nom et mis à jour sur place, tandis que les nouveaux sont ajoutés — rien n'est supprimé.
L'export inclut les paramètres des fournisseurs, les configurations de modèles, la tarification, les capacités et les spécifications canoniques des modèles — mais jamais les clés API, qui sont stockées séparément. Après l'import, configurez les clés API séparément. Les administrateurs système sauvegardent l'intégralité du catalogue global ; les propriétaires d'organisation exportent et importent uniquement les fournisseurs et modèles de leur propre organisation — le catalogue global partagé ne peut être ni créé ni modifié via l'import.