モデルと料金

LLM プロバイダーとモデルを管理し、外部レジストリからモデルを同期し、ヘルスチェックを実行し、独立した課金のために組織ごとの API キーを設定します。

プロバイダー管理

Entity Enricher は幅広い LLM プロバイダーをサポートしています。各プロバイダーは、それぞれ個別の価格、機能、設定を持つ複数のモデルを持つことができます。

プロバイダーとモデルが並んで表示されるのは、管理の単位がそうなっているためです。API キーはプロバイダーに、料金と機能は各モデルに紐づきます。

対応provider

AnthropicOpenAIGoogleGoogle VertexMistralDeepSeekGroqTogether AIFireworks AICoherexAIMoonshotZ.AINVIDIA NIMOllamaAzure OpenAI

プロバイダータイプ

標準ほとんどのプロバイダー(Anthropic、OpenAI、Mistralなど)は、ベアラートークン認証を用いた標準的なAPIエンドポイントを使用します。Standardプロバイダーは、カスタムのOpenAI互換エンドポイントを指定することもできます。下記の「Custom & Corporate Endpoints」を参照してください。
AzureAzure OpenAI は、API バージョン設定を伴うカスタムデプロイエンドポイントを使用します。
OllamaカスタムエンドポイントURLと自動モデル検出に対応した、セルフホストの Ollama インスタンス。

カスタム&企業向けエンドポイント

多くのチームは、LLMトラフィックを企業向けAIゲートウェイ、リージョナルエンドポイント、または組み込みではないプロバイダー(例: エンタープライズのLiteLLMプロキシ、Cloudflare AI Gateway、Alibaba DashScope(Qwenモデル用))経由でルーティングします。これらは、カスタムベースURLを持つ独自のStandard(OpenAI互換)プロバイダーとして追加します。

ゲートウェイプロバイダーの追加

  1. 組み込み名以外の名前でproviderを作成してください(例: acme-openai-gw)。openaiや anthropicのような組み込み名は予約されています。
  2. 標準(OpenAI互換)タイプを選択し、カスタムAPIエンドポイント(ベースURL)を入力してください。例: https://gateway.example.com/v1。このフィールドは、Entity Enricher に組み込みクライアントがないproviderの場合は必須です。
  3. そのプロバイダーの組織キーとしてゲートウェイのキーを追加すると(API Keys → AI Provider Keys)、組織単位で課金とローテーションが行われます。
  4. ゲートウェイが提供するモデルを追加します。モデル識別子はそのまま送信されるため、ゲートウェイが想定するものと完全に一致する必要があります。

知っておくと便利な情報

  • 組み込みのproviderではエンドポイントフィールドが非表示になります。 Anthropic、OpenAI、Mistral、その他の認識されているproviderは既にエンドポイントを把握しているため、設定する必要はありません。カスタムproviderが後から組み込みになった場合でも、保存済みのエンドポイントは表示されたままとなり、クリアできます。
  • パブリック HTTPS のみ。 エンドポイントはパブリックな https:// URL である必要があります。SSRF を防ぐため、ループバックおよびプライベートレンジ(localhost、 10.x、 192.168.x)は拒否されます。セルフホストのサーバーはインターネット経由で到達可能でなければなりません。ローカルの Ollama の場合は、専用の Ollama トンネルを使用してください。
  • OpenAI互換のワイヤーフォーマット。 カスタムプロバイダーへの呼び出しは OpenAI 互換 API を経由してルーティングされるため、エンドポイントは OpenAI の /v1 プロトコル(チャット補完、/models)に対応している必要があります。
  • 接続テストは {endpoint}/modelsにプローブを送り、enrichmentを実行する前にキーとベースURLを検証します。

レート予算と同時実行数(キーごと)

API キーで行われるすべての呼び出しは、プロバイダーがそのキーに割り当てる予算(モデルごとの毎分のリクエスト数とトークン数)に合わせてペース調整されるため、並列展開しても 429 エラーになりません。この予算は手入力するものではありません。プロバイダー自身のレスポンスヘッダーから読み取り、プロバイダーが何も示さない場合は拒否から学習し、最後の手段としてオーナーが入力します。

  • プロバイダーから読み取ります。Mistral、OpenAI、Azure、Groq、xAI、Anthropic、Cohere は、すべてのレスポンスでキーの制限を示します。モデルへの最初の呼び出しでそれを学習し、以降の呼び出しはそれに従います。
  • プロバイダーが制限を示さない場合は学習します。Google、DeepSeek、Moonshot、Z.AI、Together、Alibaba は制限を示しません。拒否が発生すると、直前 1 分間に送信した量の 80% を予算として学習し、その後ゆっくりと回復します。オーナーは API キーのページからルールを手入力することもできます。
  • キーとモデルごとに制限されます。組織のキーも共有のグローバルキーも、モデルごとに独自の予算を持ちます。Mistral では、同じキーでもあるモデルは毎分 15 リクエスト、別のモデルは 1000 リクエストという場合があります。
  • 同時実行数は自動的に決まります。実行中の呼び出し数は、その予算と実測レイテンシから導き出されます。プロバイダーのキーあたりの最大同時呼び出し数設定は、429 を返さないものの並列呼び出しに耐えられない対象(Ollama を動かすノート PC など)専用です。
  • キーごとに確認できます。キーのレート制限アクションでは、そのルール一覧、各ルールの取得元、現在の 1 分間のリアルタイム使用量が表示されます。ケイパビリティプローブも、プロバイダーが示す制限をモデル表の TPM 列と RPM 列に記録します。

これは、プランの最大同時実行ジョブ数の制限とは別のものです。この制限は、組織全体がすべてのプロバイダーにわたって一度に実行するエンリッチメントジョブの数を制限します。

モデルの機能

各モデルはその機能を追跡し、モデルセレクターにアイコンとして表示します:

機能説明
ビジョン画像および視覚的な入力を処理できます
ツール呼び出し関数呼び出し / ツール利用に対応
音声入力音声入力を処理できます
PDF 入力PDF文書を処理できます
promptキャッシュコスト削減のためのpromptキャッシュに対応
推論拡張思考/思考連鎖(chain-of-thought)の機能
埋め込み回答する代わりにテキストをベクトルに変換します。セマンティックIDの解決に使われるものです。埋め込みモデルは独自のベクトルサイズを持つ独立したファミリーであり、エンリッチメントのモデル選択には表示されません

プラットフォームにモデルを選ばせる

モデルの指定は任意です。エンリッチメント、スキーマ生成、サンプル生成のいずれも auto を受け付け、モデルの指定を省略した場合も auto として扱います。これはジョブの開始時に、タスクごとにサーバー側で解決されます。実行結果には選択されたモデルが表示されるため、自動指定でも処理が不透明になることはありません。

1. 組織でピン留めされたデフォルト

オーナーは 設定 → 組織 → モデル選択 で、タスクごとに優先モデルを固定できます。対象のタスクに設定されている場合は、そちらが優先されます。

2. それ以外は、計測結果が最良のモデル

ピン留めがない場合は、スコアリングソースのベンチマーク(自分のスキーマで測定した品質・速度・コストの実測値)から総合スコアが最も高いモデルが選ばれます。スコアリングソースがまったくない場合は、推測せずにリクエストを拒否します。

3. ジョブの要件による絞り込み

Web 検索を有効にしたり、そのまま送信する必要のあるドキュメントを添付したりすると、候補は実際にそれを処理できるモデルに限定されます。該当するモデルがない場合は、黙って性能の低いモデルに切り替わるのではなく、明示的なエラーが返されます。

  1. 1品質・速度・コストを、ご自身のベンチマークでスコアリングします
  2. 2自動のままにするか、このタスク用に 1 つのモデルを固定します
  3. 3各タスクには、現在「自動」が解決するモデルとそのスコアが表示されます
重みはタスクごとに設定されるため、スキーマ生成では品質を重視し、エンリッチメントではコストを重視できます。スコアの代わりにダッシュが表示されるモデルは、ここで一度も測定されておらず、Autoが選ぶことはありません。

モデルは、無効化しなくても特定のタスクからのみ除外できます。エンリッチメントは得意でもスキーマ生成が苦手なモデルは、スキーマ生成とサンプル生成のピッカーからのみ非表示にできます(組織単位、または管理者によるグローバル設定)。それ以外の場所では引き続き完全に利用できます。以下の無効化よりも穏やかな手段です。

料金の自動同期

システム管理者

外部レジストリと同期して、モデルの料金を最新の状態に保ちます。同期処理では、新しいモデル、価格変更、削除されたモデルを自動的に検出します。

LiteLLM レジストリ

デフォルトの価格ソースです。実際のAPIモデル名、価格、コンテキスト長、機能を含む、LiteLLMのコミュニティが管理するレジストリをGitHubから取得します。

約30のproviderに対応。表示名、benchmark、生成速度は含まれません。

PricePerToken

pricepertoken.com からの代替ソースです。表示名、ベンチマーク(コーディングおよび数学のスコア)、生成速度(1秒あたりのトークン数)が含まれます。

約20のproviderに対応。LiteLLMより豊富なメタデータを提供します。

Z.AI

GLM モデル識別子の公式認証済みカタログです。価格は Z.AI のドキュメントから直接解析され、機能面のギャップもそこで調査されています。

以前に LiteLLM および PricePerToken からインポートされた Z.AI のエントリを置き換えます。

同期プロセス

  1. ドライランプレビュー — 適用前に何が変更されるかを確認できます。新しいmodel、価格の更新、無効化を表示します。
  2. ソース単位のマッチング — 各ソースはそのソース由来のmodelのみに影響します。手動のmodelは決して変更されません。
  3. 安定した同期キー — modelは名前ではなく安定した識別子でマッチングされます。同期を壊すことなくmodelの名前を変更できます。
  4. トランザクションによる適用 — 整合性のため、すべての変更は単一のデータベーストランザクションで適用されます。
  5. プロバイダーの自動作成 — 同期されたモデルが未知のプロバイダーに属している場合、そのプロバイダーは自動的に作成されます。

モデルのヘルスチェック

最小限のヘルスチェックプロンプトを実行して、モデルに到達可能かどうかを事前に検証します。これにより、エンリッチメント中にユーザーがエラーに遭遇する前に、故障したモデルを検出できます。

合格モデルが正常に応答します。以前に自動で無効化されていた場合は、再度有効化されます。
見つかりませんモデルが「見つかりません」エラーを返します。今後の失敗を防ぐため、自動的に無効化されます。
その他のエラー認証エラー、タイムアウト、レート制限は報告されますが、無効化のトリガーにはなりません。

ヘルスチェックは、すべてのモデル、特定のプロバイダーのモデル、または単一のモデルに対して実行できます。結果は SSE を介してリアルタイムでストリーミングされ、成功/失敗の件数を示すプログレスバーが表示されます。

自動無効化

enrichment呼び出しが「model not found」エラーで失敗すると、繰り返しの失敗を防ぐためにそのmodelは自動的に無効化されます。これは通常のenrichment処理中にリアルタイムで発生します。

無効化の理由設定者自動再有効化されましたか?
モデルが見つかりませんエンリッチメントのエラー、ヘルスチェック、またはどのルートも応答しない機能プローブはい(価格同期または検証による)
構造化出力なし機能プローブ: 到達可能などのルートでも、ツールチャネルもネイティブチャネルも利用できませんはい(後続の機能プローブによってのみ)
同期で削除済み料金の同期(モデルが消失しました)はい(モデルがレジストリに再表示された場合)
手動UIの管理者トグルいいえ(手動での再有効化のみ)

独自のキーを持ち込む (BYOK)

組織は独自の LLM provider API キーを設定して、請求と使用状況の追跡を個別に行えます。システムは LRU 選択による 2 層のキー解決を使用します:

1位
組織キープール

API Keys ページで設定される organization ごとのキー。provider ごとに複数のキーを持ち、LRU ローテーションに対応します。Fernet で暗号化されます。

2位
グローバルキープール

管理者が管理するシステム全体のキーです。すべての organization で共有されます。LRU ローテーションによる provider ごとの複数キーにも対応します。

各エンリッチメントはどのキーが使用されたかを記録するため、キーごとにコストを追跡できます。キーはヘルスチェックと使用回数カウンターに対応しています。プール内では、有効なキーのうち最終使用日時が最も古いものが次に選ばれます。キーがローテーションから外れるのは手動で無効化した場合のみで、プロバイダーのエラーによってキーが黙って停止されることはありません。キーの管理方法については API キーガイドをご覧ください。

インポートとエクスポート

プロバイダーとモデルの設定全体をJSONとしてエクスポートし、バックアップや別インスタンスへの移行に利用できます。インポートは常にアップサートです。既存のプロバイダーとモデルは名前で照合されてその場で更新され、新規のものは追加されます — 削除されるものはありません。

エクスポートにはプロバイダー設定、モデル構成、価格、機能、および正規モデル仕様が含まれますが、API キーは含まれません。API キーは別途保存されます。インポート後は API キーを別途設定してください。システム管理者はグローバルカタログ全体をバックアップします。組織のオーナーは自組織のプロバイダーとモデルのみをエクスポートおよびインポートでき、共有のグローバルカタログはインポートを通じて作成または編集することはできません。

公開モデルカタログ

モデルページでは、グローバルカタログをどなたにも公開しています。ベンダー価格、計測済みの機能、そしてグローバルスコアリングソースとして公開されているベンチマークシナリオで各モデルが獲得したスコアをご覧いただけます。このページは、夜間のモデル更新によって書き換えられる 2 つの静的な JSON ファイルを読み込んでおり、ダウンロードして再利用できます。プロバイダーが提供を終了したモデル(「model not found」として無効化されたもの)は除外され、カタログ内のその他のすべてのモデルが一覧表示されます。

ファイル

  • /data/models.json — 表本体: プロバイダー × モデルごとに 1 エントリ。プロバイダー、シナリオ、スペックのルックアップテーブル付き。
  • /data/benchmarks.json — すべての公開ベンチマーク結果を、モデルキーごとにグループ化したものです。

どちらも ETag と 1 時間の公開キャッシュ付きで配信され、クライアントが対応している場合は gzip で圧縮されます。version フィールドは、利用側が対応を迫られる変更があるたびに増加します。

models.json のフィールド

generated_at, counts, default_weightsファイルが書き込まれた日時、収録しているモデル・プロバイダー・シナリオの数、および総合スコアの基準となる品質 / 速度 / コストの配分(パーセント)です。
providers[], scenarios[], specs{}ルックアップテーブルです。モデルはプロバイダーとシナリオをインデックスで参照します。specs はモデルウェイトの公開ベンチマークスコア(intelligence、coding、math、その他は extra 配下)で、正規キーをキーとしているため、同一モデルのリセラー間で共有されます。
models[].key, model, display_name, canonical_keyAPI が受け付ける複合キー(provider::model)、生のモデル ID、そのラベル、およびプロバイダー横断の識別子です。
models[].pricingトークン 100 万件あたりのベンダー定価(USD): input、output、cache_read、cache_write、cache_write_1h、reasoning_output、および単位付きの web_search_per_query。いずれもプラン手数料を含みません。
models[].capabilities[]有効なフラグ: vision, pdf_input, audio_input, audio_output, video_input, tool_calls, tool_choice, response_schema, strict_structured_output, reasoning, reasoning_effort, web_search, prompt_caching, embeddings, requires_streaming。記載のないフラグは false または未計測です。
models[].context_length, max_input_tokens, max_output_tokens, deprecation_date, latency各種上限、ベンダーが公表している場合は提供終了日、および収集したレイテンシ指標(1秒あたりのトークン数、最初のトークンまでの時間)です。
models[].enrichment_capable, disabled_tasks[]モデルが構造化出力チャネルを備えているかどうか、およびアプリが構造化出力を提供しないタスク(分類と調停にはツール呼び出しが必要です。スキーマとサンプルの生成はスキーマ生成ゲートに従います)です。
models[].scores{task}タスクタイプ(enrichment、schema_generation、sample_generation)ごとに、そのタスクの公開シナリオにおける品質・速度・コストの平均、デフォルトの重みによる総合スコア、シナリオのインデックスを示します。速度とコストは、同じシナリオ上の他のモデルとの相対値です。

品質・速度・コストの各スコアの算出方法は Benchmark Scoring で説明しています。

次のステップ