Gestisci provider e modelli LLM, sincronizza i modelli da registri esterni, esegui controlli di integrità e configura chiavi API per organizzazione per una fatturazione indipendente.
Entity Enricher supporta un'ampia gamma di provider LLM. Ogni provider può disporre di più modelli con prezzi, funzionalità e configurazione individuali.
Molti team instradano il traffico LLM attraverso un gateway AI aziendale, un endpoint regionale o un provider non integrato — ad esempio un proxy LiteLLM enterprise, Cloudflare AI Gateway o Alibaba DashScope (per i modelli Qwen). Puoi aggiungerli come provider Standard (compatibile con OpenAI) con un URL di base personalizzato.
acme-openai-gw). I nomi integrati come openai o anthropic sono riservati. https://gateway.example.com/v1. Questo campo è obbligatorio per qualsiasi provider per cui Entity Enricher non dispone di un client integrato. https://. Loopback e intervalli privati (localhost, 10.x, 192.168.x) vengono rifiutati per prevenire SSRF — un server self-hosted deve essere raggiungibile via internet. Per un Ollama locale, utilizzare invece il tunnel Ollama dedicato./v1 (chat completions, /models). {endpoint}/models per verificare la chiave e l'URL di base prima di eseguire un arricchimento.Ogni provider dispone di un'impostazione Numero massimo di chiamate simultanee per chiave (l'override del suo limite di frequenza). Limita quante chiamate LLM esegue in parallelo una singola chiave API — coprendo ogni flusso che utilizza la chiave: la distribuzione dell'enrichment multi-expertise, la classification, l'arbitration e la generazione di schema / campioni.
Questo è distinto dal limite di job concorrenti massimi del vostro piano, che stabilisce quanti job di enrichment l'intera organization può eseguire contemporaneamente su tutti i provider.
Ogni model tiene traccia delle proprie capacità, che vengono visualizzate come icone nel selettore di model:
| Funzionalità | Descrizione |
|---|---|
| Visione | Può elaborare input di immagini e visivi |
| Chiamate agli strumenti | Supporta function calling / uso di strumenti |
| Input audio | Può elaborare input audio |
| Input PDF | Può elaborare documenti PDF |
| Caching dei prompt | Supporta il caching dei prompt per la riduzione dei costi |
| Ragionamento | Capacità di extended thinking / catena di ragionamento |
Mantieni aggiornati i prezzi dei modelli sincronizzandoli dai registri esterni. Il processo di sincronizzazione rileva automaticamente nuovi modelli, variazioni di prezzo e modelli rimossi.
La fonte di prezzi predefinita. Recupera i dati dal registro mantenuto dalla community di LiteLLM su GitHub, con nomi reali dei modelli API, prezzi, lunghezze di contesto e capacità.
Copre circa 30 provider. Non include nomi visualizzati, benchmark o velocità di generazione.
Una fonte alternativa da pricepertoken.com. Include nomi visualizzati, benchmark (punteggi di coding e matematica) e velocità di generazione (token al secondo).
Copre circa 20 provider. Fornisce metadati più ricchi rispetto a LiteLLM.
Convalida in modo proattivo la raggiungibilità dei model eseguendo un prompt minimo di health check. Ciò intercetta i model non funzionanti prima che gli utenti incontrino errori durante l'enrichment.
I controlli di integrità possono essere eseguiti su tutti i modelli, sui modelli di un provider specifico o su un singolo modello. I risultati vengono trasmessi in tempo reale tramite SSE con una barra di avanzamento che mostra il conteggio dei successi/fallimenti.
Quando una chiamata di arricchimento fallisce con un errore «modello non trovato», il modello viene automaticamente disattivato per evitare errori ripetuti. Ciò avviene in tempo reale durante le normali operazioni di arricchimento.
| Motivo della disattivazione | Impostato da | Riattivato automaticamente? |
|---|---|---|
| Modello non trovato | Errori di arricchimento o controlli di stato | Sì (tramite sincronizzazione dei prezzi o validazione) |
| Sincronizzazione rimossa | Sincronizzazione prezzi (model scomparso) | Sì (se il model riappare nel registro) |
| Manuale | Interruttore admin nell'interfaccia utente | No (solo riattivazione manuale) |
Le organizzazioni possono configurare le proprie chiavi API dei provider LLM per una fatturazione e un monitoraggio dell'utilizzo indipendenti. Il sistema utilizza una risoluzione delle chiavi a due livelli con selezione LRU:
Chiavi per organizzazione configurate nella pagina Chiavi API. Supporta più chiavi per provider con rotazione LRU. Crittografate con Fernet.
Chiavi a livello di sistema gestite dagli amministratori. Condivise tra tutte le organization. Supporta anche più chiavi per provider con rotazione LRU.
Ogni enrichment registra quale chiave è stata utilizzata, così è possibile monitorare i costi per chiave. Le chiavi includono il supporto per il controllo dello stato, contatori di utilizzo e vengono disabilitate automaticamente in caso di errori permanenti (chiave non valida, pagamento richiesto). Le chiavi soggette a limitazione della frequenza vengono temporaneamente sospese mentre vengono utilizzate altre chiavi del pool. Scoprite come gestire le chiavi nella guida Chiavi API.
Esporta l'intera configurazione di provider e model come JSON per il backup o il trasferimento su un'altra istanza. L'importazione è sempre un upsert: i provider e i model esistenti vengono abbinati per nome e aggiornati sul posto, mentre quelli nuovi vengono aggiunti — nulla viene eliminato.
L'esportazione include le impostazioni del provider, le configurazioni dei modelli, i prezzi, le capacità e le specifiche canoniche dei modelli, ma mai le chiavi API, che vengono memorizzate separatamente. Dopo l'importazione, configurare le chiavi API separatamente. Gli amministratori di sistema eseguono il backup dell'intero catalogo globale; i proprietari dell'organizzazione esportano e importano solo i provider e i modelli della propria organizzazione — il catalogo globale condiviso non può essere creato o modificato tramite importazione.