Mit Benchmark-Szenarien können Sie LLM-Modelle anhand einer realen, wiederholbaren Anreicherungsaufgabe vergleichen — direkt und unter gleichen Bedingungen — und dabei die Ausgabe und Gesamtkosten jedes Modells erfassen, sodass Sie das passende Modell für die Aufgabe auswählen können.
Modelle unterscheiden sich stark in Genauigkeit, Zuverlässigkeit der strukturierten Ausgabe und Preis. Anstatt zu raten, führt ein Benchmark-Szenario dasselbe Schema und dieselbe Entität durch viele Modelle gleichzeitig und erfasst, was jedes erzeugt und was es gekostet hat. Sie vergleichen anhand von Belegen und legen dann das günstigste Modell fest, das Ihre Qualitätsanforderungen erfüllt.
Ein Benchmark-Szenario ist ein gespeicherter, wiederverwendbarer Modelltest. Es kann Enrichment benchmarken (ein Schema, eine feste Entity-Eingabe, eine Enrichment-Strategie, Sprachen, die Umschalter für Response-Schema / Strict-Structured-Output sowie alle Attachments), Sample generation (eine Beschreibung eines Entity-Typs, die jedes Modell in ein Beispiel-JSON umwandelt) oder Schema generation (ein festes Sample-JSON, das jedes Modell in ein Schema umwandelt). Es enthält außerdem seine Gold-Referenz und die Art, wie Ergebnisse damit bewertet werden (ein Judge-Modell, ein Embedding-Modell und ein Strenge-Schwellenwert – Sample generation wird allein vom Judge anhand eines Rasters bewertet, ohne Referenz). Definieren Sie es einmal und verwenden Sie es für jedes Modell wieder, das Sie vergleichen möchten.
Sobald das Szenario über eine verifizierte Referenz verfügt, führen Sie es gegen die aktiven Modelle eines Providers oder jedes aktive Modell in der Ansicht aus. Jedes Modell wird unabhängig angereichert – keine Fusion – sodass Sie pro Modell ein klares Ergebnis zum direkten Vergleich erhalten. Der Fortschritt wird live gestreamt, und jedes erfolgreiche Ergebnis wird beim Abschluss des Laufs automatisch gegen die Referenz bewertet. Wenn das Szenario binäre Anhänge enthält, aktivieren Sie Modelle überspringen, die die Anhänge nicht lesen können, und Modelle ohne die erforderliche Dateifähigkeit werden als Übersprungen gemeldet, statt garantierte Fehlschläge zu erzeugen.
Jeder Durchlauf wird mit seiner strukturierten Ausgabe, dem Erfolgsstatus, den Token-Anzahlen, der Verarbeitungszeit und den gesamten abgerechneten Kosten gespeichert. Erweitern Sie eine beliebige Zeile, um die JSON-Ausgabe zu prüfen oder zum zugrunde liegenden Anreicherungs-Datensatz zu springen.
Wird ein Szenario erneut mit demselben Modell ausgeführt, überschreibtdies das vorherige Ergebnis, sodass die Tabelle stets den neuesten Lauf zeigt. Bearbeiten Sie die Konfiguration eines Szenarios, werden ältere Ergebnisse als veraltet markiert, bis Sie sie erneut ausführen. Setzen Sie Läufe pro Modell auf 2 oder 3, wird jedes Modell entsprechend oft gebenchmarkt – die Tabelle behält den Mittelwert von Kosten, Qualität und Geschwindigkeit sowie eine Konsistenzspanne (Modelle schwanken von Lauf zu Lauf), zu ungefähr dem Vielfachen an Credits. Eine große Spanne geht oft nicht auf das Modell zurück, sondern auf Schema-Eigenschaften, die mehr als eine Frage stellen – die Mehrdeutigkeitsprüfung findet und behebt sie.
Die Ergebnistabelle ist für Vergleiche konzipiert. Eine Zusammenfassungsleiste am oberen Rand hebt die Erfolgsrate sowie das günstigste und schnellste erfolgreiche Modell hervor. Jede Spalte — Modell, Status, Strategie, Kosten, Tokens und Zeit — ist sortierbar, sodass ein Klick die Modelle nach Preis oder Latenz ordnet. Filtern Sie nach Modellname, Status oder Strategie, um die Ansicht einzugrenzen, und klappen Sie eine beliebige Zeile auf, um die vollständige strukturierte Ausgabe zu lesen oder den zugrunde liegenden Anreicherungs-Datensatz zu öffnen.
Ein Benchmark ist mehr wert als eine Tabelle, die Sie einmal lesen. Markieren Sie ein Szenario als Bewertungsquelle, und seine modellbezogenen Ergebnisse steuern fortan die Plattform: Modelle tragen Ihre gemessenen Werte als Badges in jeder Auswahlliste, die Listen sortieren danach, und die automatische Modellauswahl wählt genau das Modell, das Ihre eigenen Messungen für diese Aufgabe am höchsten einstufen. Markieren Sie mehrere, werden die Werte gemittelt — „bestes Modell“ heißt also am besten auf Ihren Schemas, nicht auf einer öffentlichen Bestenliste. Systemadministratoren können ein globales Szenario als Rückfalloption für Organisationen veröffentlichen, die kein eigenes haben.
Was „am besten“ bedeutet, legen Sie fest: Qualität, Geschwindigkeit und Kosten werden nach einem Verhältnis gewichtet, das pro Szenariotyp unter Einstellungen → Organisation → Standardwerte konfiguriert wird (jeweils in Summe 100, standardmäßig je ein Drittel). Ein Team, das auf Batch-Kosten optimiert, und ein Team, das auf Antwortqualität optimiert, wählen aus demselben Benchmark berechtigterweise unterschiedliche Modelle automatisch aus.
Benchmarking ist ein iterativer Prozess. Markieren Sie Zeilen mit den Kontrollkästchen (Shift-Klick für einen Bereich) und nutzen Sie dann das ···-Menü, um auf eine Teilmenge zu wirken, ohne alles erneut auszuführen:
Jedes Szenario enthält ein Referenzergebnis — die erwartete Ausgabe für seine Entität — und ein Szenario kann erst dann als Benchmark verwendet werden, sobald diese Referenz verifiziert ist. Bis dahin erscheint es in keinem Durchlauf-Menü. Die Referenz ist die Grundlage für die Qualitätsbewertung: wie nah jedes Modell Feld für Feld herankommt und (bei Listen wie der Besetzung eines Films) wie viele der korrekten Einträge es tatsächlich gefunden hat. Sie legen sie — zusammen mit dem Judge-Modell, dem Embedding-Modell und der Strenge, mit der dagegen bewertet wird — direkt im Szenario-Editor fest.
Erstellen Sie es auf zwei Arten. Generieren Sie es: Hängen Sie ein Dokument an, das die korrekten Werte enthält (ein Datenblatt, eine offizielle Seite), aktivieren Sie die Websuche und führen Sie einige starke Modelle aus – sie extrahieren die Antwort aus Ihrer Quelle statt aus dem Gedächtnis, sodass das Ergebnis auf Fakten beruht und nicht auf Vermutungen. Oder fügen Sie ein bereits vorhandenes, bekannt gutes Ergebnis ein. So oder so überprüfen Sie das JSON, korrigieren alles Nötige und markieren es als verifiziert – eine ausdrückliche Bestätigung, dass dies die Gold-Antwort ist.
Da die Referenz fundiert ist und einmal von Menschen geprüft wurde, dient sie zugleich als vertrauenswürdiger Maßstab, den Sie über jedes Modell und jeden künftigen Lauf hinweg wiederverwenden.
Benchmarks finden Sie unter Modellverwaltung → Benchmarks (verfügbar für Organisationsinhaber und Administratoren). Erstellen und verwalten Sie dort Szenarien oder starten Sie einen Lauf an einer von vier Stellen: über die Schaltfläche Benchmark-Modelle in der Symbolleiste (alle aktiven Modelle in der Ansicht), über die Aktion Benchmark-Modelle in einer beliebigen Provider-Zeile (die aktiven Modelle dieses Providers), über das Dropdown Benchmark, das erscheint, wenn Sie Modelle im Modellbereich auswählen (die ausgewählten Modelle), oder über die Aktion Benchmark-Modell in einer beliebigen einzelnen Modellzeile.
Die Schaltflächen Ausführen und Ergebnisse bewerten eines Szenarios arbeiten standardmäßig inkrementell – sie berücksichtigen nur die Modelle ohne Ergebnis sowie veraltete Ergebnisse (und beim Bewerten nicht bewertete oder veraltete Bewertungen). Im Bestätigungsdialog können Sie den Umfang auf jedes aktive Modell für eine vollständige Neuausführung erweitern oder ihn einschränken, um veraltete Einträge auszuschließen. Der Filter Angezeigte Modelle der Ergebnistabelle kann zudem die aktiven Modelle auflisten, die noch keinen Benchmark haben.
Benchmark-Läufe führen echte LLM-Aufrufe durch und ziehen Credits auf Basis der tatsächlichen Nutzung ab, genau wie eine normale Anreicherung. Der Bestätigungsdialog zeigt Ihnen an, wie viele Modelle Sie ausführen werden, bevor Kosten entstehen. Jedes gespeicherte Ergebnis zeigt seine abgerechneten Kosten, sodass ein Benchmark zugleich als Werkzeug zum Kostenvergleich dient.