Processamento em Lote - Entity Enricher

Processamento em Lote

Enriqueça até 100 entidades em paralelo com acompanhamento de progresso em tempo real, limitação de taxa por fornecedor, fusão multimodelo automática e exportação para JSON ou Excel. O processamento em lote transforma o Entity Enricher de uma ferramenta de entidade única num pipeline de dados de nível de produção.

Pipeline de Processamento em Lote

ENTRADA A

Colar array JSON

ENTRADA B

Obter a partir de URL

ENTRADA C

Arrastar e largar ficheiro

VALIDAR E SELECIONAR

Lista de entidades

Selecione entidades, valide em relação ao esquema, edição inline

EXECUÇÃO EM PARALELO

Enriqueça Todas as Entidades em Simultâneo

Limitação de taxa por fornecedor, progresso SSE por entidade, suporte a cancelar/repetir

AUTO-FUSÃO (se 2+ models)

Combinar resultados por entidade

A deteção e resolução de conflitos é executada automaticamente após a conclusão de cada entidade

EXPORTAÇÃO JSON

Array de resultados estruturados

EXPORTAÇÃO PARA EXCEL

Livro de 3 folhas com conflitos

Métodos de entrada flexíveis

Colar JSON

Cole um array JSON de objetos de entidade diretamente no editor. O sistema deteta automaticamente a estrutura do array e extrai as entidades individuais. O editor JSON oferece realce de sintaxe, marcadores de validação e números de linha.

Obter a partir de URL

Introduza um URL de API REST para obter entities remotamente. Suporta autenticação por bearer token, chave de API e básica. O sistema extrai automaticamente arrays de wrappers de resposta aninhados (por exemplo, { results: [...] }).

Arrastar e largar

Arraste um ficheiro JSON diretamente para a página. A sobreposição de colagem deteta conteúdo JSON da área de transferência ou de ficheiros largados e carrega as entidades automaticamente.

Acompanhamento do Progresso em Tempo Real

Cada tarefa de lote transmite eventos de progresso através de Server-Sent Events (SSE). A interface mostra:

Cada cartão de resultado de entidade é recolhível, mostrando separadores por modelo com o output em bruto e um separador de resultado combinado quando a fusão está ativada. As entidades falhadas podem ser repetidas individualmente sem executar novamente todo o lote.

Limitação de taxa por fornecedor

O processamento em lote utiliza semáforos concorrentes por fornecedor para se manter dentro dos limites de taxa da API. Se estiver a enriquecer 50 entidades com 3 modelos, o sistema não dispara 150 chamadas à API de uma só vez. Em vez disso, respeita o limite de taxa configurado de cada fornecedor -- por exemplo, 5 chamadas concorrentes à Anthropic, 10 à OpenAI e 3 a uma instância Ollama auto-hospedada.

Os limites de taxa são configuráveis por provider nas definições de gestão de modelos. O sistema maximiza o débito dentro dos seus limites, evitando erros 429.

Formatos de exportação

Exportação JSON

Um array JSON estruturado com um objeto por entidade. Inclui a saída enriquecida completa, os metadados e os resultados da fusão. Ideal para consumo programático e para pipelines de dados a jusante.

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

Exportação para Excel

Um livro de trabalho com três folhas, concebido para analistas e partes interessadas:

  • Folha de resultados: Uma linha por entidade com os campos de enriquecimento achatados como colunas.
  • Folha de resumo: Metadados do lote, configuração do modelo, custo total e tempo de processamento.
  • Folha de conflitos: Detalhes de conflitos ao nível do campo com o raciocínio de arbitragem e pontuações de confiança.

Cancelar e Tentar Novamente

As tarefas de lote em execução podem ser canceladas a qualquer momento. O cancelamento é gradual -- as chamadas LLM em curso são concluídas (recebe na mesma os seus resultados), mas nenhuma nova chamada é iniciada. As entidades já concluídas mantêm os seus resultados.

Antes de iniciar um lote, o sistema fornece uma estimativa de custo com base nos modelos selecionados, no número de entidades e na complexidade do esquema. Isto permite-lhe validar o custo esperado antes de avançar com a execução.

Iniciar Enriquecimento em Lote

Carregue a sua lista de entidades, selecione modelos e enriqueça até 100 entidades em paralelo. Exporte os resultados como JSON ou Excel com relatórios de conflitos completos.

Começar gratuitamente