非确定性检查 - Entity Enricher 文档

非确定性检查

检测其值会因模型或运行不同而变化的模式属性,并在它们污染你的数据之前加以修复——从而获得可复现、可比较且精确的丰富化。

为何确定性很重要

Entity Enricher 将 LLM 视为可查询的知识库。这只有在属性名称能锁定单一可复现答案时才有效。像 annual_revenue 这样的属性就做不到:哪个财年?哪种货币?以百万为单位还是以个位为单位?每个模型——以及同一模型的每次重新运行——都可以自由选择不同的框架,因此即使没有任何模型出错,这些值也会互相矛盾。

不稳定的属性会损害下游的一切:多模型融合会将实际上只是表述差异的东西视为冲突,而基准测试的一致性离散度也会因与模型质量无关的原因而扩大。非确定性检查会找出这些属性,并告诉你如何将它们固定下来。

四大成因

每个被标记的属性都会被归入四种成因之一,每种成因都有各自的修复方式:

原因示例补救措施
时间性
ceo, stock_priceceo_2025
一个没有锚定日期的动态事实——请固定时间段,或重构为以时间段为键的数组。
有歧义
annual_revenuerevenue_fy2024_usd_millions
名称未固定单位、货币、时间段或范围——请将缺失的界定信息嵌入名称或描述中。
主观
reputationesg_risk_rating_sustainalytics
没有客观的基准真值——请替换为可测量的替代指标或固定的量表;否则它将持续被标记为提示性警告。
多值
top_competitorstop_3_competitors_by_revenue
存在多个同样正确的答案,通常是一个无界列表——请对其加以限定并说明排序标准。

重命名并非唯一的修复方式:对于模式属性,分析器还会提出描述修复,用以固定缺失的框架。更精准的描述会像名称一样准确地传达给执行丰富化的 AI,但绝不会破坏你的数据契约——因此对于已在使用中的模式,这是首选的修复方案。

检查在何处运行

样本生成期间

样本生成后,分析器会对其进行审查。明确无误的重命名会自动应用于 AI 生成的键(绝不会应用于你自己命名的字段),结构性修复则会反馈给生成器,最多进行两轮修正。基于附件文档生成的样本会被跳过——它们的值来自源文档,而非模型的记忆。

模式生成之后

生成的模式保存后,会有一个后处理步骤为每个属性标注其非确定性级别。此步骤为尽力而为:即使失败,也不会影响生成本身。

在模式编辑器中按需运行

重新检查按钮仅分析尚无标注的属性,一旦所有属性都已标注,就会切换为完整的重新分析。

对粘贴的示例

你为创建模式而粘贴的示例 JSON 可以进行无状态分析——你会得到一份存在风险的属性名报告,而不会修改任何内容。

该检查仅供参考。它绝不会阻止生成,绝不会拒绝丰富化,其标注也会从发送给丰富化模型的每一条提示词中剥离——它面向的是你,而非 AI。

解读结果

被标记的属性会在模式编辑器中显示“varies”(会变化)徽章:琥珀色表示中等风险,红色表示高风险。将鼠标悬停在徽章上会显示分析器的备注,说明哪些内容会变化以及原因。被判定为确定性的属性不带徽章。

注释随属性移动

判定是基于属性的名称和描述共同得出的——因此重命名属性或编辑其描述都会使其注释失效。编辑器会将此类属性标记为过期,并提供重新检查,仅分析缺失的部分。这正是你在应用建议的重命名后所需要的:重新检查会确认新名称是否具有确定性。

按模式切换

可以在模式编辑器的溢出菜单中按模式关闭该检查。禁用后,生成后的处理步骤会被跳过,徽标、重新检查按钮和过时警告都会被隐藏。现有标注会被保留(只是隐藏),而在从未分析过的模式上重新启用该检查会自动运行它。

附加文档生成的模式默认禁用该检查:它们的取值是从源文档转录而来,因此不存在模型知识在各次运行之间的差异问题。

须知

备注使用你的语言

分析器备注以你的界面语言撰写——法语用户看到法语说明,日语用户看到日语说明。建议的属性名称保持英文,以符合模式命名约定。

分析是一次计费的 AI 调用

每次分析都是一次真实(低成本)的模型调用,会作为记录上独立的提示词被记录,并像其他 AI 使用一样从额度中扣除。增量重新检查仅对实际分析的属性计费。

预防同样在上游进行

模式生成本身被要求产生确定性的名称和描述(固定的时间段、单位、排序标准),因此大多数模式生成时都很干净,分析器只需捕捉少数漏网者。

API 与 MCP 访问

该检查也可通过编程方式使用:

表层描述
POST /api/schema/analyze-sample分析粘贴的样本 JSON——无状态报告,不修改任何内容
POST /api/schema/saved/{id}/analyze分析已保存的模式并写入注释——默认增量分析,force=true 则重新分析全部
analyze_sample_determinismMCP 工具——在 Claude 或任意 MCP 客户端中生成相同的无状态样本报告
analyze_schema_determinismMCP 工具——为已保存的模式添加注释;结合 edit_schema 以应用建议的重命名

有关身份验证和完整的工具目录,请参阅API 参考MCP 服务器指南

后续步骤