ベンチマーク scenarioを使うと、実際の再現可能なエンリッチメントタスクでLLM modelを同じ条件で比較でき、各modelの出力と総コストを取得して、用途に適したmodelを選べます。
モデルは精度、構造化出力の信頼性、価格の点で大きく異なります。推測する代わりに、ベンチマークシナリオでは同じスキーマとエンティティを一度に多数のモデルで実行し、それぞれが生成した内容とコストを記録します。証拠に基づいて比較し、品質基準を満たす最も安価なモデルを確定できます。
ベンチマークシナリオは、保存して再利用できるモデルテストです。エンリッチメント（スキーマ、固定のエンティティ入力、エンリッチメント戦略、言語、response-schema / strict-structured-output のトグル、添付ファイル）、サンプル生成（各モデルがサンプルJSONに変換するエンティティタイプの説明）、またはスキーマ生成（各モデルがスキーマに変換する固定のサンプルJSON）をベンチマークできます。また、ゴールドリファレンスと、それに対して結果を採点する方法（ジャッジモデル、埋め込みモデル、厳密さのしきい値—サンプル生成はリファレンスなしでジャッジのみがルーブリック採点します）も保持します。一度定義すれば、比較したいすべてのモデルで再利用できます。
シナリオに検証済みリファレンスが設定されたら、1つのプロバイダーのアクティブなモデル、または表示中のすべてのアクティブなモデルに対して実行します。各モデルは独立してエンリッチされ（フュージョンなし）、モデルごとに整然と並べて比較できる結果が得られます。進捗はライブでストリーミングされ、実行が完了するたびに各成功結果はリファレンスに対して自動的にスコアリングされます。シナリオにバイナリの添付ファイルがある場合は、添付ファイルを読み取れないモデルをスキップを有効にすると、必要なファイル機能を持たないモデルは、確実な失敗を生む代わりにスキップ済みとして報告されます。
すべての実行は、構造化された出力、成功ステータス、トークン数、処理時間、そして請求される合計コストとともに保存されます。任意の行を展開すると、JSON出力を確認したり、基となるエンリッチメントレコードに移動したりできます。
同じモデルでシナリオを再実行すると、以前の結果は上書きされるため、テーブルには常に最新の実行が反映されます。シナリオの設定を編集すると、古い結果は再実行するまで古いと表示されます。モデルごとの実行回数を2または3に設定すると、各モデルはその回数だけベンチマークされ、テーブルにはコスト・品質・速度の平均と、一貫性のばらつき幅(モデルは実行ごとに結果が変わります)が保持されます。消費クレジットもおおよそその倍数になります。ばらつきが大きい場合、原因はモデルよりも、複数の問いを尋ねているスキーマのプロパティにあることが多く、曖昧性チェックがそれを検出して修正します。
結果テーブルは比較用に設計されています。上部のサマリーストリップには、成功率と、成功したモデルのうち最も安価なものと最も高速なものが表示されます。モデル、ステータス、strategy、コスト、トークン、時間のすべての列が並べ替え可能なので、クリック一つでモデルを価格やレイテンシで順位付けできます。モデル名、ステータス、strategy でフィルタリングして表示を絞り込み、任意の行を展開して完全な構造化出力を読んだり、基となる enrichment record を開いたりできます。
ベンチマークは、一度読んで終わりの表以上の価値があります。シナリオをスコアソースとして指定すると、そのモデル別の結果がプラットフォーム全体を動かし始めます。各ピッカーではモデルに測定済みスコアがバッジとして表示され、ピッカーはそれに従って並び替えられ、モデルの自動選択は、そのタスクについてお客様自身の測定値で最上位となったモデルに解決されます。複数を指定するとスコアは平均されます。つまり「最良のモデル」とは、公開リーダーボードではなくお客様のスキーマにおける最良を意味します。システム管理者は、独自のシナリオを持たない組織向けのフォールバックとして、グローバルシナリオを公開できます。
「ベスト」の基準は自由に設定できます。品質・速度・コストの配分は、設定 → 組織 → デフォルト でシナリオタイプごとに設定した比率で決まります(合計 100、デフォルトは各 3 分の 1)。バッチコストを重視するチームと回答品質を重視するチームが、同じベンチマークから異なるモデルを自動選択するのは当然のことです。
ベンチマークは反復的なプロセスです。チェックボックスで行を選択し（範囲選択はShiftクリック）、··· メニューを使ってすべてを再実行せずに一部の行だけに操作を適用できます。
すべてのシナリオはリファレンス結果（そのエンティティに対する期待される出力）を保持し、シナリオはそのリファレンスが検証済みになって初めてベンチマークできます。それまでは、どの実行メニューにも表示されません。リファレンスは品質を判定するための基準です。各モデルがフィールドごとにどれだけ近づくか、そして（映画のキャストのようなリストでは）正しい項目のうち実際にいくつを見つけたかを判定します。リファレンスは、それに対して採点する際に使用するジャッジモデル、埋め込みモデル、厳密さとともに、シナリオエディターで直接設定します。
2つの方法で構築できます。生成する方法: 正しい値を含むドキュメント（データシートや公式ページ）を添付し、Web検索をオンにして、いくつかの強力なモデルを実行します。モデルは記憶からではなくソースから答えを抽出するため、結果は推測ではなく事実に基づいたものになります。または、すでにお持ちの信頼できる結果を貼り付ける方法もあります。いずれの場合も、JSONを確認し、必要に応じて修正し、検証済みとしてマークします。これはこれがゴールドアンサーであることを明示的に承認するものです。
リファレンスは根拠に基づき、一度人手で確認されているため、あらゆるmodelやあらゆる将来の実行で再利用できる信頼性の高い基準としても機能します。
ベンチマークはモデル管理 → ベンチマークにあります（組織のオーナーおよび管理者が利用できます）。そこでシナリオを作成・管理するか、次の4か所のいずれかから実行を開始できます。ツールバーのモデルをベンチマークボタン（表示中のすべてのアクティブなモデル）、任意のプロバイダー行のモデルをベンチマークアクション（そのプロバイダーのアクティブなモデル）、モデルパネルでモデルを選択したときに表示されるベンチマークドロップダウン（選択したモデル）、または任意の単一モデル行のモデルをベンチマークアクションです。
scenarioのRunおよび結果をスコアリングボタンは、デフォルトで増分的に動作します — まだ結果のないmodelと古い結果（スコアリング時は未スコアまたは古いスコア）のみを対象とします。確認ダイアログでは、完全な再実行のためにスコープをすべてのアクティブなmodelに広げたり、古いエントリを除外するように絞り込んだりできます。結果テーブルの表示中のmodelフィルターでは、まだベンチマークされていないアクティブなmodelを一覧表示することもできます。
ベンチマークの実行は、通常のエンリッチメントとまったく同じく、実際のLLM呼び出しを行い、実際の使用量に基づいてcreditを差し引きます。確認ダイアログには、支出が発生する前に、これから実行するmodelの数が表示されます。保存された各結果には請求されたコストが表示されるため、ベンチマークはコスト比較ツールとしても機能します。