Faça a gestão dos fornecedores e modelos de LLM, sincronize modelos a partir de registos externos, execute verificações de estado e configure API keys por organização para faturação independente.
O Entity Enricher suporta uma ampla variedade de fornecedores de LLM. Cada fornecedor pode ter múltiplos modelos com preços, capacidades e configuração individuais.
Muitas equipas encaminham o tráfego de LLM através de um gateway de IA empresarial, um endpoint regional ou um fornecedor que não está integrado — por exemplo, um proxy LiteLLM empresarial, o Cloudflare AI Gateway ou o Alibaba DashScope (para modelos Qwen). Adiciona-os como o seu próprio fornecedor Standard (compatível com OpenAI) com um URL base personalizado.
acme-openai-gw). Nomes integrados como openai ou anthropic estão reservados. https://gateway.example.com/v1. Este campo é obrigatório para qualquer provider para o qual o Entity Enricher não tenha um cliente incorporado. https://. Loopback e intervalos privados (localhost, 10.x, 192.168.x) são rejeitados para evitar SSRF — um servidor auto-hospedado tem de ser acessível pela internet. Para um Ollama local, utilize antes o túnel Ollama dedicado./v1 (chat completions, /models). {endpoint}/models para verificar a chave e o URL base antes de executar um enriquecimento.Cada chamada feita com uma chave API é cadenciada dentro do orçamento que o fornecedor concede a essa chave — pedidos e tokens por minuto, por modelo — para que uma distribuição em paralelo nunca esbarre em erros 429. O orçamento não é introduzido manualmente: é lido nos próprios cabeçalhos de resposta do fornecedor, aprendido a partir de uma rejeição quando o fornecedor nada indica ou, em último recurso, introduzido por um proprietário.
Isto é distinto do limite de trabalhos concorrentes máximos do seu plano, que restringe quantos trabalhos de enriquecimento a sua organização executa em simultâneo em todos os fornecedores.
Cada modelo regista as suas capacidades, que são apresentadas como ícones no seletor de modelos:
| Capacidade | Descrição |
|---|---|
| Visão | Pode processar entradas de imagem e visuais |
| Chamadas de ferramenta | Suporta chamada de funções / uso de ferramentas |
| Entrada de Áudio | Pode processar entradas de áudio |
| Entrada de PDF | Pode processar documentos PDF |
| Caching de Prompts | Suporta cache de prompts para redução de custos |
| Raciocínio | Capacidades de raciocínio alargado / cadeia de pensamento |
| Embeddings | Transforma texto num vetor em vez de responder — é com isto que os IDs semânticos são resolvidos. Os modelos de embedding são uma família à parte, com o seu próprio tamanho de vetor, e nunca aparecem num seletor de enriquecimento |
Indicar um modelo é opcional. O enriquecimento, a geração de esquemas e a geração de amostras aceitam todos auto — e tratam um modelo omitido como auto —, valor que é resolvido no servidor, por tarefa, no momento em que o trabalho arranca. A execução indica que modelo foi escolhido, por isso automático nunca significa opaco.
Os proprietários podem fixar um modelo preferido por tarefa em Definições → Organização → Seleção de modelo. Se estiver definido um para a tarefa em causa, é esse que prevalece.
Na ausência de um modelo fixado, a escolha recai sobre o modelo com a melhor pontuação combinada dos seus benchmarks de fonte de pontuação — as suas próprias medições de qualidade, velocidade e custo nos seus esquemas. Sem qualquer fonte de pontuação, o pedido é recusado em vez de adivinhado.
Ativar a pesquisa web, ou anexar um documento que tem de ser enviado tal como está, restringe os candidatos aos modelos que o conseguem realmente fazer — e, se nenhum se qualificar, recebe um erro explícito em vez de uma degradação silenciosa.
Um modelo também pode ser vedado a uma tarefa sem ser desativado: um modelo que enriquece bem mas gera maus esquemas pode ser ocultado apenas nos seletores de geração de esquemas e de amostras, seja para a sua organização, seja globalmente por um administrador. Continua totalmente disponível em todo o resto — um instrumento mais suave do que a desativação apresentada abaixo.
Mantenha os preços dos modelos atualizados sincronizando a partir de registos externos. O processo de sincronização deteta automaticamente novos modelos, alterações de preços e modelos removidos.
A fonte de preços predefinida. Obtém dados do registo mantido pela comunidade da LiteLLM no GitHub, com nomes reais de modelos da API, preços, comprimentos de contexto e capacidades.
Cobre ~30 providers. Não inclui nomes de apresentação, benchmarks nem velocidade de geração.
Uma fonte alternativa de pricepertoken.com. Inclui nomes de apresentação, benchmarks (pontuações de programação e matemática) e velocidade de geração (tokens por segundo).
Cobre ~20 providers. Fornece metadados mais ricos do que o LiteLLM.
Um catálogo oficial e autenticado de identificadores de modelos GLM, com preços extraídos diretamente da documentação da Z.AI e lacunas de capacidades investigadas na mesma.
Substitui as entradas da Z.AI importadas anteriormente do LiteLLM e do PricePerToken.
Valide proativamente se os models estão acessíveis executando um prompt mínimo de verificação de estado. Isto deteta models avariados antes de os utilizadores encontrarem erros durante o enriquecimento.
As verificações de estado podem ser executadas em todos os modelos, nos modelos de um fornecedor específico ou num único modelo. Os resultados são transmitidos em tempo real via SSE com uma barra de progresso que mostra as contagens de aprovações/falhas.
Quando uma chamada de enriquecimento falha com um erro “model not found”, o modelo é automaticamente desativado para evitar falhas repetidas. Isto acontece em tempo real durante as operações normais de enriquecimento.
| Motivo da desativação | Definido por | Reativado automaticamente? |
|---|---|---|
| Modelo não encontrado | Erros de enriquecimento, verificações de estado ou uma sondagem de capacidades a que nenhuma rota responde | Sim (por sincronização de preços ou validação) |
| Sem Saída Estruturada | Sondagem de capacidades: nem o canal de ferramentas nem o nativo em qualquer rota acessível | Sim, apenas por uma sondagem de capacidades posterior |
| Sincronização removida | Sincronização de preços (model desapareceu) | Sim (se o model reaparecer no registo) |
| Manual | Alternância de administrador na interface | Não (apenas reativação manual) |
As organizações podem configurar as suas próprias chaves de API de provider de LLM para faturação e monitorização de utilização independentes. O sistema utiliza uma resolução de chaves em dois níveis com seleção LRU:
Chaves por organização configuradas na página de Chaves API. Suporta várias chaves por fornecedor com rotação LRU. Encriptadas com Fernet.
Chaves de todo o sistema geridas por administradores. Partilhadas por todas as organizações. Também suporta várias chaves por fornecedor com rotação LRU.
Cada enriquecimento regista qual a chave utilizada, para que possa acompanhar os custos por chave. As chaves incluem suporte para verificações de estado e contadores de utilização. Dentro de um conjunto, a chave seguinte a ser escolhida é a chave ativa com a data de última utilização mais antiga; uma chave só sai da rotação quando você a desativa manualmente, pelo que um erro do fornecedor nunca retira silenciosamente uma chave de serviço. Saiba como gerir chaves no guia Chaves de API.
Exporte toda a sua configuração de providers e models em JSON para cópia de segurança ou transferência para outra instância. A importação é sempre uma inserção-ou-atualização: os providers e models existentes são correspondidos pelo nome e atualizados no local, enquanto os novos são adicionados — nada é eliminado.
A exportação inclui as definições do fornecedor, as configurações do modelo, os preços, as capacidades e as especificações canónicas do modelo — mas nunca as chaves de API, que são armazenadas separadamente. Após a importação, configure as chaves de API separadamente. Os administradores do sistema fazem cópias de segurança do catálogo global completo; os proprietários da organização exportam e importam apenas os fornecedores e modelos da sua própria organização — o catálogo global partilhado não pode ser criado nem editado através da importação.
A página de modelos apresenta o catálogo global a qualquer pessoa: preços do fornecedor, capacidades medidas e as pontuações que cada modelo obteve nos cenários de benchmark publicados como fontes globais de pontuação. Lê dois ficheiros JSON estáticos que a atualização noturna de modelos reescreve e que pode transferir e reutilizar. Um modelo que o fornecedor já não disponibiliza (desativado como “modelo não encontrado”) fica de fora; todos os outros modelos do catálogo são listados.
/data/models.json — a tabela: uma entrada por fornecedor × modelo, com tabelas de consulta para fornecedores, cenários e especificações./data/benchmarks.json — todos os resultados de benchmark públicos, agrupados por chave de modelo.Ambos são servidos com um ETag e uma cache pública de uma hora, codificados em gzip quando o cliente o aceita. O campo version é incrementado a cada alteração a que um consumidor tenha de se adaptar.
generated_at, counts, default_weightsQuando o ficheiro foi escrito, quantos modelos, fornecedores e cenários contém, e a combinação qualidade / velocidade / custo (em percentagem) por trás de cada pontuação global.providers[], scenarios[], specs{}Tabelas de consulta: os modelos referenciam um fornecedor e os cenários por índice; as specs são as pontuações públicas de benchmark dos pesos (inteligência, programação, matemática e as restantes em extra), indexadas por chave canónica para que os revendedores de um mesmo modelo as partilhem.models[].key, model, display_name, canonical_keyA chave composta que a API aceita (provider::model), o id bruto do modelo, o respetivo rótulo e a identidade transversal aos fornecedores.models[].pricingPreços de tabela do fornecedor em USD por milhão de tokens: input, output, cache_read, cache_write, cache_write_1h, reasoning_output, mais web_search_per_query com a respetiva unidade. Antes de qualquer comissão do plano.models[].capabilities[]As flags ativas: vision, pdf_input, audio_input, audio_output, video_input, tool_calls, tool_choice, response_schema, strict_structured_output, reasoning, reasoning_effort, web_search, prompt_caching, embeddings, requires_streaming. Uma flag em falta significa falso ou não medido.models[].context_length, max_input_tokens, max_output_tokens, deprecation_date, latencyLimites, a data de descontinuação anunciada pelo fabricante e os valores de latência recolhidos (tokens por segundo, tempo até ao primeiro token).models[].enrichment_capable, disabled_tasks[]Se o modelo dispõe sequer de um canal de saída estruturada e as tarefas para as quais a aplicação nunca o disponibiliza (a classificação e a arbitragem exigem chamadas de ferramentas; a geração de esquemas e de amostras segue a condição de geração de esquemas).models[].scores{task}Por tipo de tarefa (enrichment, schema_generation, sample_generation): a média de qualidade, velocidade e custo nos cenários públicos dessa tarefa, a pontuação global com os pesos predefinidos e os índices dos cenários. A velocidade e o custo são relativos aos outros modelos no mesmo cenário.A forma como as pontuações de qualidade, velocidade e custo são calculadas é explicada em Pontuação de Benchmark.