Les scénarios de benchmark vous permettent de comparer des modèles LLM sur une tâche d'enrichissement réelle et reproductible — à conditions égales — en capturant la sortie et le coût total de chaque modèle afin de choisir le bon modèle pour la tâche.
Les modèles varient énormément en précision, en fiabilité des sorties structurées et en prix. Plutôt que de deviner, un scénario de benchmark exécute le même schéma et la même entité sur de nombreux modèles à la fois et enregistre ce que chacun a produit et ce que cela a coûté. Vous comparez sur la base de preuves, puis retenez le modèle le moins cher qui atteint votre niveau de qualité.
Un scénario de benchmark est un test de modèle enregistré et réutilisable. Il peut évaluer l'enrichissement (un schéma, une entrée d'entité fixe, une stratégie d'enrichissement, des langues, les options de schéma de réponse / sortie structurée stricte, et toutes les pièces jointes), la génération d'échantillon (une description de type d'entité que chaque modèle transforme en un exemple JSON), ou la génération de schéma (un exemple JSON fixe que chaque modèle convertit en schéma). Il contient également sa référence gold et la manière dont les résultats sont évalués par rapport à celle-ci (un modèle juge, un modèle d'embedding, et un seuil de rigueur — la génération d'échantillon est évaluée selon une grille par le juge seul, sans référence). Définissez-le une fois et réutilisez-le pour chaque modèle que vous souhaitez comparer.
Une fois que le scénario dispose d'une référence vérifiée, exécutez-le sur les modèles actifs d'un provider ou sur tous les modèles actifs affichés. Chaque modèle est enrichi indépendamment — sans fusion — vous obtenez donc un résultat clair, côte à côte, par modèle. La progression s'affiche en direct, et chaque résultat réussi est automatiquement noté par rapport à la référence à la fin de l'exécution. Si le scénario comporte des pièces jointes binaires, activez Ignorer les modèles qui ne peuvent pas lire les pièces jointes : les modèles ne disposant pas de la capacité de fichier requise sont signalés comme Ignorés au lieu de produire des échecs garantis.
Chaque exécution est enregistrée avec sa sortie structurée, son statut de réussite, ses nombres de tokens, son temps de traitement et son coût total facturé. Développez une ligne pour inspecter la sortie JSON ou accéder à l'enregistrement d'enrichissement sous-jacent.
Relancer un scénario sur le même modèle écrase son résultat précédent : le tableau reflète donc toujours la dernière exécution. Modifiez la configuration d'un scénario et les résultats plus anciens sont marqués obsolètes jusqu'à ce que vous les relanciez. Réglez Exécutions par modèle sur 2 ou 3 et chaque modèle est évalué autant de fois — le tableau conserve la moyenne du coût, de la qualité et de la vitesse, ainsi qu'un écart de cohérence (les modèles varient d'une exécution à l'autre), pour environ ce multiple de crédits. Un écart important s'explique souvent par des propriétés du schéma qui posent plusieurs questions à la fois plutôt que par le modèle — la vérification d'ambiguïté les repère et les corrige.
Le tableau de résultats est conçu pour la comparaison. Un bandeau de synthèse en haut met en avant le taux de réussite ainsi que les modèles le moins cher et le plus rapide ayant réussi. Chaque colonne — modèle, statut, stratégie, coût, tokens et temps — est triable : un clic suffit pour classer les modèles par prix ou par latence. Filtrez par nom de modèle, statut ou stratégie pour affiner la vue, et dépliez n'importe quelle ligne pour lire la sortie structurée complète ou ouvrir l'enregistrement d'enrichissement sous-jacent.
Un benchmark vaut mieux qu'un tableau que l'on consulte une seule fois. Marquez un scénario comme source de notation et ses résultats par modèle se mettent à piloter la plateforme : les modèles portent vos scores mesurés sous forme de badges dans tous les sélecteurs, ceux-ci s'en servent pour trier, et la sélection automatique du modèle retient le modèle que vos propres mesures classent en tête pour cette tâche. Marquez-en plusieurs et les scores sont moyennés — « meilleur modèle » signifie donc meilleur sur vos schémas, et non sur un classement public. Les administrateurs système peuvent publier un scénario global comme solution de repli pour les organisations qui n'en ont aucun.
C'est à vous de définir ce que pèse le « meilleur » : qualité, vitesse et coût se combinent selon un ratio configuré par type de scénario dans Paramètres → Organisation → Valeurs par défaut (dont la somme fait 100, un tiers chacun par défaut). Une équipe qui optimise le coût du traitement par lot et une équipe qui optimise la qualité des réponses sélectionneront légitimement des modèles différents à partir du même benchmark.
Le benchmarking est itératif. Cochez des lignes avec les cases à cocher (Maj+clic pour une plage), puis utilisez le menu ··· pour agir sur un sous-ensemble sans tout réexécuter :
Chaque scénario contient un résultat de référence — la sortie attendue pour son entité — et un scénario ne peut être soumis à un benchmark qu'une fois cette référence vérifiée. D'ici là, il n'apparaîtra dans aucun menu d'exécution. La référence sert de base pour juger la qualité : à quel point chaque modèle s'en approche, champ par champ, et (pour les listes comme le casting d'un film) combien d'éléments corrects il a réellement trouvés. Vous la définissez — ainsi que le modèle juge, le modèle d'embedding et le niveau de rigueur utilisés pour l'évaluation — directement dans l'éditeur de scénario.
Deux façons de le construire. Générez-le : joignez un document contenant les valeurs correctes (une fiche technique, une page officielle), activez la recherche web et exécutez quelques modèles performants — ils extraient la réponse de votre source plutôt que de leur mémoire, le résultat repose donc sur des faits, pas sur des suppositions. Ou collez un résultat fiable que vous possédez déjà. Dans les deux cas, vous relisez le JSON, corrigez ce qui doit l'être et le marquez comme vérifié — une validation explicite indiquant qu'il s'agit de la réponse de référence.
Comme la référence est ancrée dans les faits et vérifiée une seule fois par un humain, elle sert aussi d'étalon fiable que vous réutilisez pour chaque modèle et chaque exécution future.
Les benchmarks se trouvent dans Gestion des modèles → Benchmarks(accessible aux propriétaires et administrateurs de l'organisation). Créez et gérez les scénarios à cet endroit, ou lancez une exécution depuis l'un des quatre emplacements suivants : le bouton Benchmarker les modèlesde la barre d'outils (tous les modèles actifs affichés), l'action Benchmarker les modèles sur n'importe quelle ligne de fournisseur (les modèles actifs de ce fournisseur), le menu déroulant Benchmark qui apparaît lorsque vous sélectionnez des modèles dans le panneau Modèles (les modèles sélectionnés), ou l'action Benchmarker le modèle sur n'importe quelle ligne de modèle individuelle.
Les boutons Exécuter et Noter les résultats d’un scénario fonctionnent de manière incrémentale par défaut — ils ne ciblent que les modèles encore sans résultat ainsi que les résultats obsolètes (et les scores manquants ou obsolètes lors de la notation). La boîte de dialogue de confirmation vous permet d’élargir la portée à tous les modèles actifs pour une réexécution complète, ou de la restreindre afin d’exclure les entrées obsolètes. Le filtre Modèles affichés du tableau des résultats peut aussi afficher les modèles actifs qui n’ont pas encore été benchmarkés.
Les exécutions de benchmark effectuent de vrais appels LLM et déduisent des crédits selon l'utilisation réelle, exactement comme un enrichissement normal. La boîte de dialogue de confirmation vous indique combien de modèles vous êtes sur le point d'exécuter avant toute dépense. Chaque résultat enregistré affiche son coût facturé, si bien qu'un benchmark sert aussi d'outil de comparaison des coûts.