模型与定价 - Entity Enricher 文档

模型与定价

管理 LLM 提供商和模型，从外部注册表同步模型，运行健康检查，并为各组织配置独立计费的 API 密钥。

提供商管理

Entity Enricher 支持广泛的 LLM 提供商。每个提供商可拥有多个模型，各自具有独立的定价、功能和配置。

支持的 provider

AnthropicOpenAIGoogleMistralDeepSeekGroqTogether AIFireworks AICoherexAINVIDIA NIMOllamaAzure OpenAI

提供商类型

标准大多数提供商（Anthropic、OpenAI、Mistral 等）使用带 bearer 令牌认证的标准 API 端点。标准提供商也可以指向自定义的 OpenAI 兼容端点——请参阅下方的自定义与企业端点。

AzureAzure OpenAI 使用自定义部署端点，并配合 API 版本配置。

Ollama自托管的 Ollama 实例，支持自定义端点 URL 和自动模型发现。

自定义与企业端点

许多团队会将 LLM 流量路由经过企业 AI 网关、区域端点或某个未内置的提供商 —— 例如企业级 LiteLLM 代理、Cloudflare AI Gateway 或 Alibaba DashScope（用于 Qwen 模型）。您可以将它们作为各自独立的标准（OpenAI 兼容）提供商添加，并使用自定义基础 URL。

添加网关提供商

创建一个名称不属于内置项的提供商（例如 acme-openai-gw）。openai 或 anthropic 等内置名称为保留名称。
选择标准（OpenAI 兼容）类型并填写 自定义 API 端点（base URL）——例如 https://gateway.example.com/v1。对于 Entity Enricher 没有内置客户端的任何提供商，此字段为必填。
将网关的密钥添加为该提供商的组织密钥（API Keys → AI Provider Keys），以便按组织计费和轮换。
添加网关所提供的模型。模型标识符会原样发送，因此必须与网关的预期完全一致。

须知

内置提供商会隐藏端点字段。Anthropic、OpenAI、Mistral 以及其他已识别的提供商已知道各自的端点，因此无需配置。如果某个自定义提供商之后变为内置，其已存储的端点仍会保持可见，以便你清除它。
仅限公开 HTTPS。 端点必须是公开的 https:// URL。环回地址和私有网段（localhost、 10.x、 192.168.x）会被拒绝，以防止 SSRF — 自托管服务器必须能通过互联网访问。对于本地 Ollama，请改用专用的 Ollama 隧道。
OpenAI 兼容的传输格式。 对自定义提供商的调用会通过 OpenAI 兼容的 API 路由，因此该端点必须支持 OpenAI /v1 协议（chat completions、/models）。
测试连接会探测 {endpoint}/models 以在您运行 enrichment 前验证密钥和基础 URL。

并发限制（每个密钥）

每个提供商都有一项每密钥最大并发调用数设置（即其限流覆盖值）。它限制单个 API 密钥并行运行的 LLM 调用数量——涵盖使用该密钥的所有流程：多专业领域增益的扇出、分类、仲裁以及 schema／样本生成。

按密钥限制，而非按提供商限制。 每个组织密钥和共享的全局密钥都有各自独立的预算，因此一个密钥的并行调用绝不会挤占另一个密钥的调用。
未设置时会回退到合理的默认值（各提供商的默认值，通常为 3–5 个并发调用）。
在下一个任务时生效——无需重启。

这与你套餐的最大并发作业数限制不同，后者限制的是整个 organization 在所有 provider 上同时运行的 enrichment 作业数量。

模型能力

每个模型都会追踪其能力，并在模型选择器中以图标形式显示：

能力	描述
视觉	可处理图像和视觉输入
工具调用	支持函数调用 / 工具使用
音频输入	可处理音频输入
PDF 输入	可处理 PDF 文档
提示词缓存	支持 prompt 缓存以降低成本
推理	扩展思考／思维链能力

自动价格同步

通过从外部注册表同步来保持模型定价最新。同步过程会自动检测新模型、价格变化以及已移除的模型。

LiteLLM 注册表

默认定价来源。从 GitHub 上由 LiteLLM 社区维护的注册表获取真实的 API 模型名称、定价、上下文长度和功能。

覆盖约 30 个提供商。不包含显示名称、基准测试或生成速度。

PricePerToken

来自 pricepertoken.com 的替代数据源。包含显示名称、基准测试（编程和数学得分）以及生成速度（每秒 token 数）。

覆盖约 20 个提供商。提供比 LiteLLM 更丰富的元数据。

同步流程

试运行预览——在应用更改前查看将发生的变化。查看新模型、价格更新和停用项。
按来源匹配——每个来源仅影响该来源的模型。手动模型永远不会被改动。
稳定的同步键——model 通过稳定标识符匹配，而非按名称。您可以重命名 model 而不会破坏同步。
事务式应用——所有变更在单个数据库事务中应用，以保证一致性。
自动创建提供商 — 如果同步的模型属于未知提供商，则自动创建该提供商。

模型健康检查

通过运行最小化的健康检查提示词，主动验证模型是否可访问。这能在用户于富集过程中遇到错误之前捕获失效的模型。

通过模型成功响应。如果之前被自动停用，则会重新激活。

未找到模型返回“未找到”错误。系统会自动将其停用，以防止未来失败。

其他错误身份验证错误、超时或速率限制会被报告，但不会触发停用。

健康检查可针对所有模型、某个特定 provider 的模型或单个模型运行。结果通过 SSE 实时传输，并以进度条显示通过/失败数量。

自动停用

当扩充调用因“未找到模型”错误而失败时，该模型会被自动停用，以防止重复失败。这会在正常扩充操作期间实时发生。

停用原因	设置者	已自动重新激活？
未找到模型	丰富化错误或健康检查	是（通过定价同步或校验）
同步已移除	定价同步（模型已消失）	是（如果 model 重新出现在注册表中）
手动	界面中的管理员开关	否（仅手动重新激活）

使用你自己的密钥（BYOK）

组织可以配置自己的 LLM 提供商 API 密钥，以实现独立计费和使用情况跟踪。系统采用两级密钥解析并结合 LRU 选择：

第 1

组织密钥池

在“API 密钥”页面为各组织配置密钥。支持每个 provider 配置多个密钥并进行 LRU 轮换。使用 Fernet 加密。

第 2

全局密钥池

由管理员管理的全系统范围密钥。在所有 organization 之间共享。同时支持每个 provider 配置多个密钥并采用 LRU 轮换。

每次增益都会记录所使用的密钥，因此你可以按密钥追踪成本。密钥支持健康检查、使用计数，并会在永久性故障（密钥无效、需要付费）时自动禁用。被限流的密钥会被临时退避，同时使用密钥池中的其他密钥。请在 API Keys 指南中了解如何管理密钥。

导入和导出

将您的全部提供商和模型配置导出为 JSON，以便备份或转移到其他实例。导入始终为 upsert 操作：现有的提供商和模型按名称匹配并就地更新，新增的则会被添加——不会删除任何内容。

导出内容包括提供商设置、模型配置、定价、功能以及规范的模型规格——但绝不包含 API 密钥，密钥单独存储。导入后需另行配置 API 密钥。系统管理员可备份完整的全局目录；组织所有者只能导出和导入自己组织的提供商和模型——共享的全局目录无法通过导入创建或编辑。