Processamento em Lote

Enriqueça qualquer número de entidades em paralelo com acompanhamento de progresso em tempo real, fusão automática multimodelo e exportação para JSON ou Excel — limitado apenas pela quota de utilização do seu plano, não por um tamanho de lote fixo.

Métodos de entrada

As linhas entram pela barra de origem acima da grelha — três separadores, apenas um aberto de cada vez. Carregar linhas reduz a barra a uma única linha («Colar / CSV · 12 linhas carregadas») para a grelha manter a altura; clique nessa linha para carregar um conjunto diferente.

  1. 1Colar / CSV, Ficheiro e URL — apenas uma origem aberta de cada vez
  2. 2O botão conta as linhas antes de as carregar
  3. 3Número de colunas e linha de cabeçalho detetados
O delimitador — vírgula, tabulação ou ponto e vírgula — e a linha de cabeçalho são determinados no browser à medida que cola, pelo que uma deteção errada fica visível antes de carregar uma única linha.

Colar / CSV

Cole linhas diretamente do Excel, do Google Sheets ou de uma exportação CSV. Vírgula, tabulação e ponto e vírgula são todos reconhecidos, uma célula entre aspas pode conter o delimitador e uma primeira linha com nomes não numéricos é tratada como cabeçalho das colunas.

Ficheiro

Largue um ficheiro .csv, .tsv ou .json no separador, ou escolha um a partir do disco. Um ficheiro JSON pode conter uma matriz de objetos ou um único objeto; as colunas são a união das suas chaves, pelo que registos irregulares também são carregados.

URL

Obtenha entidades a partir de qualquer endpoint REST. O que for devolvido é lido como uma lista de objetos de formato livre, e o conjunto de colunas é a união das suas chaves.

Autenticação suportada:

NenhumBearer TokenCabeçalho da chave de APIAutenticação básica

Se a API devolver um objeto, o sistema verifica chaves como data, results, items à procura de um array incorporado.

Seleção e validação de entidades

Após carregar as entidades, estas aparecem numa lista selecionável com o estado de validação. Pode escolher que entidades incluir no lote:

Seleção múltipla— Assinale as linhas uma a uma, ou a caixa do cabeçalho para as selecionar todas; Ctrl+A seleciona tudo o que o filtro atual mostra. Clicar numa linha abre o painel com o respetivo resultado, em vez de alterar a seleção.
Edição inline— Faça duplo clique em qualquer célula de entrada para corrigir um valor no local — todas as colunas que os seus dados trouxeram são editáveis, não apenas as chaves de pesquisa do esquema.
Validação— As suas linhas não têm de usar os nomes dos campos do schema — os modelos leem-nos tal como estão. O único veredicto que a grelha aplica é o vazio: uma linha sem qualquer valor é assinalada, apresentada a cinzento e excluída da execução. Escolha um modelo de classificação para descartar automaticamente as entidades do tipo errado.
Processamento seletivo— Apenas as entidades selecionadas são enviadas para enriquecimento. Desmarque as entidades que não pretende processar.
Verificação do contrato por linha— O servidor valida cada linha face ao contrato de entrada do schema antes de gastar seja o que for e reporta todas as linhas problemáticas, em vez de falhar logo na primeira — para que corrija o lote inteiro de uma só vez.
  1. 1As caixas de seleção por linha decidem em que é que a execução gasta
  2. 2A linha vazia é assinalada aqui — e excluída da execução
  3. 312 selecionadas — mas apenas 11 podem ser executadas
A linha 11 não tem nome, apenas um país e um ticker, e é enriquecida à mesma: os modelos conseguem contornar a falta de uma chave de pesquisa, mas não uma linha vazia. Aqui, entrada, validação e estado da execução são uma só linha, não três listas separadas.

Configuração

A barra lateral reflete as opções de configuração de enriquecimento individual:

OpçãoDescrição
EsquemaSchema de destino que define a estrutura de saída do enriquecimento
EstratégiaPassagem única, domínios de especialista ou multiespecialização (chamadas paralelas por domínio)
ModelosUm ou mais modelos de IA a executar por entidade. Vários modelos permitem a fusão automática.
IdiomasIdiomas para enriquecimento multilingue de campos (por exemplo, inglês + francês)
ClassificaçãoModelo rápido opcional para verificação do tipo de entity antes do enrichment
ArbitragemModel para resolução de conflitos baseada em LLM durante a fusion. Se não estiver definido, é usada a fusão baseada em regras.

Estimativa de Custos

O custo estimado aparece na barra de execução, junto ao botão que o gasta. É calculado a partir do número de propriedades do seu schema, do preço por token dos modelos selecionados e do número de entidades que selecionou. Com a seleção automática de modelo, o modelo só é escolhido quando a execução arranca, pelo que o valor apresentado é uma mediana dos modelos que poderiam ser escolhidos. A caixa de confirmação surge quando a execução comporta um risco real — escreve numa base de dados ligada, a estimativa é elevada ou há linhas selecionadas que serão ignoradas — e não em todas as execuções.

  1. 1Dois modelos: uma chamada cada, por entidade
  2. 2A estimativa, recalculada à medida que a seleção muda
  3. 311 entidades, não as 12 carregadas — a linha vazia é descartada
O botão indica o que está prestes a executar, para que a contagem e o preço sejam lidos em conjunto. Abaixo do breakpoint de telemóvel, os seletores recolhem para “Mais opções” e a estimativa mantém-se junto ao botão.

Execução em paralelo

Todas as entidades selecionadas são processadas em simultâneo. Cada entidade passa pelo pipeline de enriquecimento completo de forma independente:

Pipeline por entidade

  1. Classificação (opcional) — Um modelo rápido verifica o tipo de entidade. No modo em lote, as incompatibilidades não pausam a tarefa; o contexto é transmitido.
  2. Enriquecimento multimodelo — Cada modelo selecionado enriquece a entidade em paralelo, cadenciado dentro do orçamento de taxa da respetiva chave.
  3. Fusão automática (quando 2+ modelos têm sucesso) — Os resultados são fundidos automaticamente através de deteção e resolução de conflitos.

Cadência de taxa

Todas as entidades partilham o orçamento de taxa de cada chave API e modelo — os pedidos e tokens por minuto que o fornecedor concede a essa chave, lidos nas suas respostas ou aprendidos a partir de uma rejeição. Com 20 entidades e 2 modelos, as chamadas a um modelo que permite 15 pedidos por minuto são distribuídas ao longo do minuto, enquanto o outro modelo avança ao seu próprio ritmo, pelo que o lote termina sem erros 429.

Progresso em Tempo Real

Iniciar uma execução abre uma barra de execução entre a barra de ferramentas e a grelha, alimentada por Server-Sent Events (SSE): uma barra de progresso para o lote, contadores separados para concluídos / falhados / ignorados em vez de um número único, o tempo decorrido com uma ETA calculada a partir das linhas já resolvidas e o valor gasto até ao momento face à estimativa prévia. Nada se sobrepõe à grelha — as linhas ficam onde as deixou e cada uma indica o seu próprio estado na coluna Estado, ao lado do Tempo e do Custo que exigiu.

Não executado

A linha ainda não passou por nenhuma execução — a célula Estado mostra um travessão em vez de se repetir ao longo da coluna.

Em fila

Admitido no lote, à espera de espaço no orçamento de taxa da chave.

A executar

A etiqueta dá lugar a uma barra inline que conta os passos de especialidade concluídos face ao total.

Concluído

Todos os modelos responderam. Tempo e Custo são preenchidos e as colunas de Resultado tornam-se legíveis.

Falhou

Nenhum modelo produziu resultado para esta linha. Assim que o lote parar, a barra propõe repetir apenas as linhas falhadas.

Ignorado

Descartada antes do enriquecimento — por exemplo, uma classificação divergente com elevada confiança — pelo que a linha nunca teve qualquer custo.

Os chips Concluído / Falhado / Ignorado da barra de ferramentas filtram a grelha para essas linhas, e o seletor Entrada / Ambos / Resultado mostra as mesmas linhas como aquilo que enviou, aquilo que foi devolvido, ou ambos lado a lado.

Cancelamento e Tratamento de Erros

Você pode cancelar um batch em execução a qualquer momento. O cancelamento é cooperativo — as entities já em curso concluem a sua chamada de LLM atual, mas não são iniciadas novas chamadas. Os resultados parciais das entities concluídas são preservados.

Resiliência a erros

O processamento em lote foi concebido para ser resiliente. As falhas individuais não interrompem o lote:

  • Se a classification falhar para uma entity, o enrichment prossegue sem contexto
  • Se um modelo falhar, os outros modelos para essa entity continuam
  • Com dois ou mais modelos, a fusão automática só é executada para as entidades em que todos os modelos tiveram sucesso — uma entidade parcial não produz qualquer resultado fundido e nada chega à sua base de dados enquanto o modelo em falta não for recuperado, repetindo os domínios de especialização que falharam
  • Se todos os modelos falharem para uma entity, esta é marcada como falhada enquanto as restantes prosseguem
  • Os modelos que devolvem erros de “não encontrado” são desativados automaticamente

Formatos de exportação

Após a conclusão do lote, exporte os resultados em três formatos. Para cada entidade, é preferido o resultado da fusão, se disponível; caso contrário, é usado o melhor resultado de modelo.

Ficheiro JSON

Transfira os resultados completos como um ficheiro JSON estruturado com todos os dados da entidade, os resultados dos modelos e os metadados de fusão.

Área de transferência

Copie os resultados JSON diretamente para a área de transferência para colar noutras ferramentas ou scripts.

Excel

Um livro de trabalho com três folhas: Resultados (uma linha por entidade com propriedades aplanadas), Resumo (metadados do lote, modelos, custos) e Conflitos (detalhes de conflitos por entidade com o raciocínio de resolução).

Limites

LimiteValor
Máx. de entidades por loteSem limite fixo — limitado pela quota de utilização do seu plano
Tamanho máx. dos dados da entidade50 000 caracteres
Comprimento máx. do prompt100 000 caracteres
Tempo limite da obtenção de URL30 segundos

Próximos Passos