Os cenários de benchmark permitem-lhe comparar modelos LLM numa tarefa de enriquecimento real e repetível — de forma equitativa — capturando o resultado e o custo total de cada modelo para que possa escolher o modelo certo para a tarefa.
Os modelos diferem enormemente em precisão, fiabilidade da saída estruturada e preço. Em vez de adivinhar, um cenário de benchmark executa o mesmo esquema e entidade em vários modelos de uma só vez e regista o que cada um produziu e quanto custou. Compare com base em evidências e, depois, fixe o modelo mais barato que cumpre o seu nível de qualidade.
Um cenário de benchmark é um teste de modelo guardado e reutilizável. Pode fazer benchmark de enriquecimento (um esquema, uma entrada de entidade fixa, uma estratégia de enriquecimento, idiomas, os interruptores de esquema de resposta / saída estruturada estrita e quaisquer anexos), de geração de amostras (uma descrição de tipo de entidade que cada modelo transforma num JSON de exemplo) ou de geração de esquemas (um JSON de amostra fixo que cada modelo converte num esquema). Também contém a sua referência gold e a forma como os resultados são avaliados em relação a ela (um modelo de juiz, um modelo de embeddings e um limiar de rigor — a geração de amostras é pontuada por rubrica apenas pelo juiz, sem referência). Defina-o uma vez e reutilize-o em todos os modelos que pretende comparar.
Assim que o cenário tem uma referência verificada, execute-o contra os modelos ativos de um fornecedor ou todos os modelos ativos em vista. Cada modelo é enriquecido de forma independente — sem fusão — para que obtenha um resultado limpo, lado a lado, por modelo. O progresso é transmitido em tempo real e cada resultado bem-sucedido é pontuado automaticamente em relação à referência à medida que a execução termina. Se o cenário incluir anexos binários, ative Ignorar modelos que não conseguem ler os anexos e os modelos sem a capacidade de ficheiros necessária são reportados como Ignorados em vez de produzirem falhas garantidas.
Cada execução é guardada com o seu resultado estruturado, estado de sucesso, contagens de tokens, tempo de processamento e custo total faturado. Expanda qualquer linha para inspecionar o resultado JSON ou saltar para o registo de enriquecimento subjacente.
Voltar a executar um cenário no mesmo modelo substitui o resultado anterior, pelo que a tabela reflete sempre a execução mais recente. Se editar a configuração de um cenário, os resultados antigos são assinalados como desatualizados até os voltar a executar. Defina Execuções por modelo como 2 ou 3 e cada modelo é avaliado em benchmark esse número de vezes — a tabela guarda a média de custo, qualidade e velocidade, mais uma dispersão de consistência (os modelos variam de execução para execução), a sensivelmente esse múltiplo de créditos. Uma dispersão elevada deve-se muitas vezes a propriedades do esquema que fazem mais do que uma pergunta, e não ao modelo — a verificação de ambiguidade encontra-as e corrige-as.
A tabela de resultados foi concebida para comparação. Uma faixa de resumo no topo destaca a taxa de sucesso e os modelos mais baratos e mais rápidos que tiveram sucesso. Cada coluna — modelo, estado, estratégia, custo, tokens e tempo — é ordenável, pelo que um clique ordena os modelos por preço ou latência. Filtre por nome de modelo, estado ou estratégia para restringir a vista e expanda qualquer linha para ler a saída estruturada completa ou abrir o registo de enriquecimento subjacente.
Um benchmark vale mais do que uma tabela que se lê uma vez. Assinale um cenário como fonte de pontuação e os seus resultados por modelo passam a orientar a plataforma: os modelos exibem as pontuações que mediu como distintivos em todos os seletores, os seletores ordenam por elas, e a seleção automática de modelo resolve para o modelo que as suas próprias medições classificam como o melhor para essa tarefa. Assinale vários e as pontuações são combinadas por média — por isso “melhor modelo” significa melhor nos seus esquemas, e não numa tabela pública. Os administradores de sistema podem publicar um cenário global como alternativa para as organizações que não tenham nenhum próprio.
O que “melhor” pesa é definido por si: qualidade, velocidade e custo combinam-se segundo um rácio configurado por tipo de cenário em Definições → Organização → Predefinições (somando 100, um terço cada por predefinição). Uma equipa que otimize para o custo do lote e uma equipa que otimize para a qualidade das respostas irão, legitimamente, selecionar automaticamente modelos diferentes a partir do mesmo benchmark.
A avaliação por benchmark é iterativa. Marque as linhas com as caixas de seleção (shift-clique para um intervalo) e use o menu ··· para atuar sobre um subconjunto sem executar tudo novamente:
Cada cenário contém um resultado de referência — o resultado esperado para a sua entidade — e um cenário só pode ser avaliado por benchmark depois de essa referência estar verificada. Até lá, não aparecerá em nenhum menu de execução. A referência é a base para julgar a qualidade: quão perto chega cada modelo, campo a campo, e (para listas como o elenco de um filme) quantos dos itens corretos encontrou efetivamente. Define-a — juntamente com o modelo de avaliação, o modelo de embedding e o rigor usados para a classificar — diretamente no editor de cenários.
Crie de duas formas. Gere: anexe um documento que contenha os valores corretos (uma ficha técnica, uma página oficial), ative a pesquisa web e execute alguns modelos fortes — eles extraem a resposta da sua fonte em vez da memória, pelo que o resultado se baseia na verdade e não em suposições. Ou cole um resultado fiável que já tenha. Em qualquer dos casos, reveja o JSON, corrija o que for necessário e marque-o como verificado — uma confirmação explícita de que esta é a resposta de referência.
Como a referência é fundamentada e verificada por humanos uma única vez, serve também de padrão fiável que você reutiliza em todos os modelos e em todas as execuções futuras.
Os benchmarks estão em Gestão de Modelos → Benchmarks (disponível para proprietários e administradores da organização). Crie e faça a gestão de cenários aí, ou inicie uma execução a partir de qualquer um de quatro locais: o botão Fazer benchmark dos modelos na barra de ferramentas (todos os modelos ativos em vista), a ação Fazer benchmark dos modelos em qualquer linha de fornecedor (os modelos ativos desse fornecedor), o menu suspenso Benchmark que aparece quando seleciona modelos no painel Modelos (os modelos selecionados), ou a ação Fazer benchmark do modelo em qualquer linha de um único modelo.
Os botões Executar e Pontuar resultados de um cenário funcionam de forma incremental por predefinição — abrangem apenas os modelos ainda sem resultado, além dos resultados obsoletos (e as pontuações em falta ou obsoletas ao pontuar). A caixa de diálogo de confirmação permite alargar o âmbito a todos os modelos ativos para uma reexecução completa, ou restringi-lo para excluir as entradas obsoletas. O filtro Modelos apresentados da tabela de resultados também pode listar os modelos ativos que ainda não têm benchmark.
As execuções de benchmark fazem chamadas reais ao LLM e deduzem créditos com base no uso real, exatamente como um enriquecimento normal. A caixa de diálogo de confirmação indica quantos modelos está prestes a executar antes de qualquer gasto acontecer. Cada resultado guardado mostra o seu custo faturado, por isso um benchmark serve também de ferramenta de comparação de custos.