バッチ処理 - Entity Enricher

バッチ処理

最大100件のエンティティを、リアルタイムの進捗トラッキング、プロバイダーごとのレート制限、自動マルチモデルフュージョン、JSONまたはExcelへのエクスポートとともに並列にエンリッチします。バッチ処理により、Entity Enricherは単一エンティティ用のツールから本番グレードのデータパイプラインへと進化します。

バッチ処理パイプライン

入力 A

JSON配列を貼り付け

入力 B

URLから取得

入力 C

ファイルをドラッグ&ドロップ

検証して選択

エンティティリスト

エンティティを選択し、スキーマに対して検証し、インライン編集します

並列実行

すべての entity を同時に enrichment

provider ごとのレート制限、entity ごとの SSE 進捗、キャンセル/リトライ対応

自動フュージョン(モデルが 2 つ以上の場合)

entityごとに結果をマージ

各エンティティの完了後に、コンフリクトの検出と解決が自動的に実行されます

JSONエクスポート

構造化された結果の配列

EXCEL エクスポート

競合を含む3シートのワークブック

柔軟な入力方式

JSONを貼り付け

エンティティオブジェクトのJSON配列をエディターに直接貼り付けます。システムが配列構造を自動検出し、個々のエンティティを抽出します。JSONエディターでは、構文ハイライト、検証マーカー、行番号が利用できます。

URLから取得

エンティティをリモートで取得するREST APIのURLを入力してください。ベアラートークン、APIキー、Basic認証に対応しています。システムはネストされたレスポンスラッパー(例:{ results: [...] })から配列を自動的に抽出します。

ドラッグ&ドロップ

JSON ファイルをページに直接ドラッグします。貼り付けオーバーレイがクリップボードやファイルのドロップから JSON コンテンツを検出し、エンティティを自動的に読み込みます。

リアルタイム進捗トラッキング

すべてのバッチジョブは、Server-Sent Events(SSE)を介して進捗イベントをストリーミングします。UIには次が表示されます:

各 entity の結果カードは折りたたみ可能で、生の出力を表示するモデルごとのタブと、fusion が有効な場合はマージ結果のタブを表示します。失敗した entity は、batch 全体を再実行せずに個別に再試行できます。

provider ごとのレート制限

バッチ処理では、providerごとに並列セマフォを用いてAPIのレート制限内に収めます。50件のentityを3つのmodelでエンリッチメントする場合でも、システムは150件のAPI呼び出しを一度に発行しません。代わりに、各providerに設定されたレート制限を尊重します。たとえば、Anthropicへは5並列、OpenAIへは10並列、セルフホストのOllamaインスタンスへは3並列といった具合です。

レート制限はモデル管理設定でプロバイダーごとに設定できます。システムは429エラーを防ぎながら、制限内でスループットを最大化します。

エクスポート形式

JSONエクスポート

エンティティごとに1つのオブジェクトを持つ構造化されたJSON配列。エンリッチメントの完全な出力、メタデータ、フュージョン結果が含まれます。プログラムによる利用や下流のデータパイプラインに最適です。

[
  {
    "entity": { "name": "..." },
    "enriched": { ... },
    "metadata": {
      "models": [...],
      "cost_usd": 0.012
    }
  }
]

Excel エクスポート

アナリストや関係者向けに設計された3シート構成のワークブック:

  • 結果シート: エンティティごとに1行で、フラット化されたエンリッチメントフィールドが列として並びます。
  • サマリーシート: batchのメタデータ、modelの構成、合計コスト、および処理時間。
  • Conflictsシート: arbitrationの根拠と信頼度スコアを含む、フィールドレベルの競合の詳細です。

キャンセルして再試行

実行中のバッチジョブはいつでもキャンセルできます。キャンセルはグレースフルに行われ、実行中のLLM呼び出しは完了し(結果も取得できます)、新しい呼び出しは開始されません。すでに完了したエンティティは結果を保持します。

batchを開始する前に、システムは選択したmodel、entity数、schemaの複雑さに基づいてコストの見積もりを提示します。これにより、実行を確定する前に想定コストを確認できます。

バッチエンリッチメントを開始

エンティティリストをアップロードし、モデルを選択して、最大100件のエンティティを並列でエンリッチメントできます。結果は完全なコンフリクトレポート付きでJSONまたはExcelとしてエクスポートできます。

無料で始める