Beheer LLM-providers en models, synchroniseer models vanuit externe registers, voer statuscontroles uit en configureer API-sleutels per organization voor onafhankelijke facturatie.
Entity Enricher ondersteunt een breed scala aan LLM-providers. Elke provider kan meerdere modellen hebben met individuele prijzen, mogelijkheden en configuratie.
Veel teams sturen LLM-verkeer via een bedrijfs-AI-gateway, een regionaal endpoint of een provider die niet standaard is ingebouwd — bijvoorbeeld een enterprise LiteLLM-proxy, Cloudflare AI Gateway of Alibaba DashScope (voor Qwen-modellen). Je voegt deze toe als een eigen Standard (OpenAI-compatible)provider met een aangepaste base-URL.
acme-openai-gw). Ingebouwde namen zoals openai of anthropic zijn gereserveerd. https://gateway.example.com/v1. Dit veld is vereist voor elke provider waarvoor Entity Enricher geen ingebouwde client heeft. https://-URL's zijn. Loopback- en privébereiken (localhost, 10.x, 192.168.x) worden geweigerd om SSRF te voorkomen — een zelf gehoste server moet bereikbaar zijn via internet. Gebruik voor een lokale Ollama in plaats daarvan de speciale Ollama-tunnel./v1-protocol spreken (chat completions, /models). {endpoint}/models om de sleutel en de basis-URL te verifiëren voordat je een enrichment uitvoert.Elke provider heeft een instelling Max concurrent calls per key (de override voor de rate limit). Deze bepaalt hoeveel LLM-aanroepen een enkele API-sleutel parallel uitvoert — voor elke flow die de sleutel gebruikt: de fan-out van de multi-expertise-enrichment, classification, arbitration en schema-/samplegeneratie.
Dit staat los van de limiet max gelijktijdige jobs van je abonnement, die bepaalt hoeveel enrichment-jobs je hele organization tegelijk uitvoert over alle providers heen.
Elk model houdt zijn mogelijkheden bij, die als pictogrammen worden getoond in de modelkiezer:
| Mogelijkheid | Beschrijving |
|---|---|
| Vision | Kan afbeeldingen en visuele invoer verwerken |
| Tool-aanroepen | Ondersteunt function calling / tool use |
| Audio-invoer | Kan audio-invoer verwerken |
| PDF-invoer | Kan PDF-documenten verwerken |
| Promptcaching | Ondersteunt prompt-caching voor kostenreductie |
| Redeneren | Uitgebreid denken / chain-of-thought-mogelijkheden |
Houd modelprijzen up-to-date door te synchroniseren vanuit externe registers. Het synchronisatieproces detecteert automatisch nieuwe modellen, prijswijzigingen en verwijderde modellen.
De standaardprijsbron. Haalt gegevens op uit LiteLLM's door de community onderhouden register op GitHub met echte API-modelnamen, prijzen, contextlengtes en mogelijkheden.
Dekt ~30 providers. Bevat geen weergavenamen, benchmarks of generatiesnelheid.
Een alternatieve bron van pricepertoken.com. Bevat weergavenamen, benchmarks (coderings- en wiskundescores) en generatiesnelheid (tokens per seconde).
Dekt ~20 providers. Biedt rijkere metadata dan LiteLLM.
Valideer proactief of modellen bereikbaar zijn door een minimale health check-prompt uit te voeren. Zo worden defecte modellen opgespoord voordat gebruikers fouten tegenkomen tijdens verrijking.
Statuscontroles kunnen worden uitgevoerd op alle modellen, de modellen van een specifieke provider of een enkel model. Resultaten worden in realtime gestreamd via SSE met een voortgangsbalk die het aantal geslaagde/mislukte controles toont.
Wanneer een verrijkingsaanroep mislukt met een “model niet gevonden”-fout, wordt het model automatisch gedeactiveerd om herhaalde fouten te voorkomen. Dit gebeurt in realtime tijdens normale verrijkingsbewerkingen.
| Reden voor deactivering | Ingesteld door | Automatisch heractiveerd? |
|---|---|---|
| Model niet gevonden | Verrijkingsfouten of health checks | Ja (via prijssynchronisatie of validatie) |
| Synchronisatie verwijderd | Prijssynchronisatie (model verdwenen) | Ja (als het model opnieuw in het register verschijnt) |
| Handmatig | Beheerdersschakelaar in de UI | Nee (alleen handmatige reactivering) |
Organisaties kunnen hun eigen API-sleutels voor LLM-providers configureren voor onafhankelijke facturering en gebruiksregistratie. Het systeem gebruikt een sleutelresolutie in twee niveaus met LRU-selectie:
Sleutels per organisatie geconfigureerd op de pagina API Keys. Ondersteunt meerdere sleutels per provider met LRU-rotatie. Versleuteld met Fernet.
Platformbrede sleutels beheerd door beheerders. Gedeeld over alle organizations. Ondersteunt ook meerdere sleutels per provider met LRU-rotatie.
Elke enrichment legt vast welke sleutel is gebruikt, zodat je de kosten per sleutel kunt volgen. Sleutels ondersteunen health checks en gebruikstellers en worden automatisch uitgeschakeld bij permanente storingen (ongeldige sleutel, betaling vereist). Sleutels met een rate limit worden tijdelijk teruggeschakeld terwijl andere sleutels in de pool worden gebruikt. Lees hoe je sleutels beheert in de API Keys-gids.
Exporteer je volledige provider- en modelconfiguratie als JSON voor back-up of overdracht naar een andere instantie. Importeren is altijd een upsert: bestaande providers en modellen worden op naam gematcht en ter plekke bijgewerkt, terwijl nieuwe worden toegevoegd — er wordt niets verwijderd.
De export bevat providerinstellingen, modelconfiguraties, prijzen, mogelijkheden en de canonieke modelspecificaties — maar nooit API-sleutels, die apart worden opgeslagen. Configureer API-sleutels na het importeren apart. Systeembeheerders maken een back-up van de volledige globale catalogus; organisatie-eigenaren exporteren en importeren alleen de providers en modellen van hun eigen organisatie — de gedeelde globale catalogus kan niet via import worden aangemaakt of bewerkt.