过度自信问题
语言模型可能表达超出实际准确率的信心。差距取决于模型、任务、提示和评估数据。在用置信度安排重要工作之前，必须在目标场景中测量它。
本页概述的抽取实验报告了自述置信度与实际正确率之间的较大差距。这些数字对应具体实验条件，并非语言模型的通用错误率。可复现比较需要数据划分、模型与提示版本、标注规则和评估代码。
Liu 等人在 ICLR 2025 发表的研究中，跨十二个基准评估了九种守护模型。WildGuard 的提示分类平均期望校准误差（ECE）最低，为 14.4%。ECE 是各置信度分箱中，置信度与准确率差距的加权平均，并非单个预测的误差上界。
校准不良的分数使数值阈值难以解释，但仍可能具有一定排序价值；这是另一项需要测量的性质。评估应同时检查排序质量和校准，包括模型充满信心时犯的错误。一个笃定却出错的系统，可能让人把注意力从最需要发现的错误上移开。
根本原因是一种加剧校准问题的选择偏差。抽取模型在置信度估计之前就进行了隐式的top-K过滤：它们只输出自认为正确的实体。置信度模型永远看不到明显错误的抽取结果，它评估的是一个经过预筛选的分布，其中大多数输入都看似合理。一个完美的抽取器搭配一个完美的置信度模型，只会对所有内容输出"正确"，校准虽然完美却毫无信息量。实际后果是：精确率可以在事后通过校准来提升，但召回率不行。如果抽取模型在不确定的输出到达置信度估计器之前就将其压制，这些潜在的修正就永久丢失了。
改变模型行为的训练，也可能改变校准。GPT-4 技术报告在其评估中记录了后训练之后的校准退化。这一观察不能证明通用机制或固定比例。训练、提示或部署条件变化后，应重新检查校准。
置信度估计的三种方法
这三种方法按访问层级划分，取决于你能看到多少模型内部信息。每个层级都在部署复杂度与校准质量之间进行权衡。它们共同构成一个访问层级矩阵，决定了在特定部署场景中哪种方法可行。
黑盒方法：LLM-as-Judge集成
多个小模型可以判断一个输出，形成一致性分数。不同模型家族和提示可能减少部分共同错误，但投票不一定独立，平均值也不自动经过校准。应在留出标注上评估集成，并针对目标任务校准组合分数。本草稿中的实验改进，同样需要单模型结果所要求的复现细节。
灰盒方法：基于特征的模型
从模型暴露的所有信息中（不包括内部权重）构建特征向量：token对数概率、softmax熵、解码统计量（束搜索宽度、候选token数量）。一个轻量级回归模型（逻辑回归或小型梯度提升树）根据这些特征预测正确性。一个实用技巧是：GLiNER的阈值归零方法可以从原本只输出二元判断的模型中产生连续的置信度分数。这一层级需要API层面的对数概率访问权限，但不需要访问隐藏状态。
白盒方法：线性探针
在 LLM 评判模型的隐藏激活上训练一个小型探针，用于估计其判断的可靠性。Radharapu 等人于 2025 年 12 月发表的研究报告，在其评估中，相比多次生成方法，探针获得了更好的校准效果，并将计算开销降至约十分之一。结果因模型和任务而异。隐藏状态访问让这种方法成为可能；独立评估则判断这些估计是否适用于目标部署。
知识图谱的不确定性传播
抽取产生的实体与关系，其正确性可能相互依赖。链式法则是 $P(r,e_i,e_j)=P(r\mid e_i,e_j)P(e_j\mid e_i)P(e_i)$。用 $P(e_j)$ 替代条件实体概率需要独立性假设，应给出依据而非默默套用。这里的事件表示所抽取项目的正确性。
因子图为建模这些依赖关系提供了形式化框架。因子图是一种二部图，将变量节点（实体、关系）与因子节点（定义变量间依赖方式的函数）相连接。这是贝叶斯网络的推广，能处理任意依赖结构，而不要求有向无环图。
为何信息抽取不同于其他NLP任务
一个自然的问题：信息抽取的置信度与机器翻译、情感分析或其他NLP任务有何本质不同？答案在于依赖关系的拓扑结构。在问答任务中，问题是独立的。在机器翻译中，依赖关系是自回归的（序列化的）。在信息抽取中，依赖结构是一个非平凡的图。关系依赖于实体，实体又可以通过关系相互依赖。修正在图中以非局部的方式传播，这是序列依赖永远做不到的。
实体类型可以看作对所有抽取提及进行判定的谓词。"软件工程师"是一个函数：输入一段文本，返回一个概率。这个框架将抽取与Laplace的概率观联系起来，即概率是逻辑的自然延伸，谓词返回的不是真/假，而是0到1之间的值。模式约束的抽取使这一方法切实可行：有了已知的实体类型，抽取可以分解为逐个类似分类的判定（这段文本是否属于类型X？），而非无约束的生成。
置信传播
更正会改变概率图中的证据。消息可以沿连接的因子传播，可能改变远处的信念。变化的方向和大小取决于因子；确认一个实体不一定提高所有相关概率。结果是否精确、是否收敛，取决于图结构与推断算法。
主动修正排序
修正实体的顺序很重要。优先修正高连接度的实体，可以将信息传播到更多的邻居节点。这与主动学习和贝叶斯优化的思路一致：选择能在全图范围内最大化期望信息增益的查询，而非仅在局部最优。一次精心选择的修正就能改变数十个下游关系的置信度分数。
这里研究的问题，是如何把具有不确定性意识的抽取、图依赖、检索与选择性人工更正，组合成一个经过评估的系统。证明新颖性需要系统性文献审查；本草稿不声称这一交叉领域从未被研究。
时序知识图谱增加了另一个维度。当文档存在版本（合同草稿、监管备案、政策更新），知识图谱会随时间变化。追踪实体和关系在各版本间的演变（哪些实体出现了、哪些被修改了、哪些关系被切断了），可以将图谱转变为历史记录。对于并购协议，你可以提问："从第一版到最终签署版，赔偿条款结构发生了什么变化？"图谱在各草稿间的形态变化本身就成为一种可查询的一等对象。
评估方法论
校准质量不能用单一指标来评估。需要三个指标，各自衡量不同的属性：
区分能力（AUROC）：置信度分数能否区分正确和错误的输出？一个对正确输出赋予更高置信度的模型具有良好的区分能力，即使绝对分数的校准很差。AUROC衡量的是这种排序质量。
校准度（ECE与可靠性图）：70%的置信度是否真的意味着70%的准确率？ECE（期望校准误差）计算的是各置信区间中，预测置信度与实际准确率之间的加权平均差距。但ECE本身可能产生误导：一个始终输出数据集基础准确率的模型可以轻松实现零ECE，却完全没有信息量。可靠性图（横轴为预测置信度区间，纵轴为实际准确率，目标为对角线）能揭示全貌。
选择性预测（风险-覆盖曲线）：丢弃低置信度的项目能否提升最终准确率？给定N次人工审核的预算，优先审核最低置信度的项目是否比随机选择效果更好？这直接模拟了生产场景中置信度分数将工作路由给人工审核员的用例。
Brier 分数是适当评分规则：在期望意义上，报告真实概率可最小化平方预测误差。不可消除的不确定性可能使分数大于零，但不意味着预测有缺陷。应结合适当基线，同时报告校准、区分能力和风险覆盖指标；单个指标不能证明安全。参见 Gneiting 与 Raftery 对适当评分规则的研究。
主动学习与人机协同
人工审查预算有限。一种研究方法是选择预期最能改善系统的标注，同时考虑审查成本和后果。更多反馈只有在质量、相关性与训练使用方式支持时才有帮助。应保留独立评估集，不能把每次批准都当作真实答案。
采集函数是期望信息增益：对每个候选实体，估算为其获取人工标注后能带来多大的总体不确定性降幅。置信度接近0.5的实体并不一定是最佳候选。一个置信度为0.5但有50个下游关系的实体，比一个置信度同为0.5但没有下游关系的实体更值得查询。图的结构决定了查询的价值。
"如果你有10分钟的人工预算，你会选择最不确定的20项进行审核。"但不确定性不仅仅是置信度分数，而是置信度分数乘以其在知识图谱中的下游影响权重。
即使在高置信度下，系统也应偶尔进行验证以检测系统性漂移。上个月准确率95%的模型可能已经退化。对高置信度输出的定期抽查可以在漂移累积之前将其捕获。这就是探索-利用的权衡：主要利用置信度估计来集中人力处理不确定的项目，但也要进行足够的探索来检测估计本身是否已经过时。
贝叶斯扩展用完整分布替代点估计的置信度。系统不再维护"该实体的置信度为0.73"，而是维护"该实体服从Beta(14, 5)分布，均值为0.74，95%可信区间为[0.55, 0.89]"。分布不仅捕捉模型的最佳猜测，还捕捉支撑该猜测的证据有多充分。基于三次观测得出的0.73置信度，确实不如基于三百次观测得出的0.73置信度可靠，尽管点估计完全相同。
安全应用
校准方法可以帮助估计行动是否符合指定安全标准。定义标准本身仍是独立的治理问题。分类器可以模拟某项策略下的判断，但不能决定策略是否正当、证据是否完整，或应保护谁的利益。
多专家集成
系统不采用单一的整体安全模型，而是部署按类别划分的专家模型：隐私违规专家、金融风险专家、安全威胁专家、伦理问题专家。每个专家都是在类别特定数据上微调的小模型。这沿用了置信度估计中的黑盒集成思路，但增加了领域专业化。
引入专家多样性后，检测召回率从63%（单一通用判别器）提升至73%（四个专家）。提升不是来自更多参数，而是来自更多视角。通用安全模型将"智能体将SSH密钥发送到外部地址"和"智能体提供未经请求的投资建议"视为同类问题。专家架构则将它们视为根本不同的故障模式，需要不同的训练数据、不同的评估标准和不同的置信度阈值。
逐个关闭特定专家可以证明其各自的价值。没有金融专家，未授权的购买操作会畅通无阻。没有隐私专家，凭证外泄会被遗漏。每个专家都能捕获其他专家遗漏的故障，因为每个专家都在风险分类体系的不同切片上进行了训练。
隐私专家
检测PII（个人身份信息）泄露、数据暴露、同意违规。基于隐私专项事件数据训练。标记包含或可能暴露个人信息的输出。能捕获通用模型遗漏的凭证和个人数据外泄。
金融专家
检测未授权交易、合规违规、缺少免责声明的理财建议。基于金融合规基准进行校准。能捕获诸如在面向客户的场景中提供投资指导等微妙的合规违规。
安全专家
检测提示注入、代码执行风险、凭证暴露、系统访问尝试。基于对抗攻击模式和R-Judge基准的27种风险场景（涵盖软件、物联网、Web、金融和程序类别）进行训练。
伦理专家
检测有害内容生成、偏见放大、操纵企图。基于危害分类基准进行校准。处理部署安全类别中智能体的操作可能造成不可逆现实后果的情况。
基准测试结果
本草稿概述的 R-Judge 实验报告：不安全行动召回率66%、特异性62%、ECE为9%。这些是实验结果，并非生产安全保证。9%的ECE是置信区间分箱的加权平均差距；个别分箱或群体可能有更大差距。它不意味着每个分数都与真实频率相差不超过十个百分点。比较其他系统需要匹配评估条件，并给出不确定性估计。参见 Guo 等人对ECE与最大校准误差的解释。
所述集成使用四个模型家族，各配两种提示，产生八个判断。这些判断可能相关。获胜类别的票数占比在0.5至1.0之间，而不安全类别的票数占比可以在0至1之间。两者都不自动等于经过校准的伤害概率。
LoRA适配器蒸馏
基于云端的专家判别器在生产环境中运行成本高昂。蒸馏管道将它们压缩为单个小型骨干模型（Qwen 0.6B或Llama 1B）上的LoRA适配器。每个适配器仅5-25MB。多个适配器可以共享一个基础部署，使每个专家的推理成本变得很低。
管道分为四个阶段：(1) 使用前沿模型从每个类别的10-50个种子样本生成合成数据，(2) 教师评估以验证任务在目标准确率下可解，(3) 在小型骨干上进行LoRA微调，(4) 集成到网关中。这条管道与任务无关。无论目标是安全检测、实体抽取、PII脱敏还是任何分类任务，都适用同样的四个阶段。这个飞轮是通用的。
来自类似蒸馏方法（Distill Labs、Berlin）的已发布基准表明，1-4B参数的模型在定向分类任务上可以达到120B模型的准确率。其PII脱敏基准显示1B模型可以匹敌GPT-4。周转时间约为8小时，成本约为每次蒸馏100美元。
保守聚合
聚合规则可以在任一专家提出疑虑时优先升级审查。这是需要评估成本的策略选择。阻止合法且紧急的行动也可能造成伤害，而有些获准行动可以撤销。阈值应考虑两类错误、审查容量和具体后果。未经验证的升级分数不能作为校准概率展示。
对独立事件，$1-\prod_i(1-p_i)$ 表示至少一个事件发生的概率。把这一公式用于关于同一行动的相关意见，可能放大信心。除非假设有依据，否则应视为启发式，并在留出结果上评估或校准聚合分数。更多共识不自动意味着更多独立证据。
如果变量、条件概率和结构有证据支持，概率图可以表示依赖。链式法则 $P(A,B\mid X)=P(A\mid X)P(B\mid A,X)$ 本身不会提供这些估计。语言模型提出的图是待检验假设，并非已验证的因果或概率模型。
意见混合架构
一种相关方法受梵语认识论传统启发，将推理维度组织为专门化的视角。其概念源于一个包含约208个推理维度的框架，这些维度来自古典印度哲学流派。对于特定领域或任务，从中选取一个子集（通常8-12个，分组为集群）编译成专门的评论者。每个维度扮演一种思维角色：谬误检测、不可逆性检查、时序分析、因果推理、时间一致性、逻辑连贯性。
一种拟议区别是评论者通过文本，或在共享潜在空间中通过学习到的表征通信。不同模型不会自动共享兼容的表征空间。对齐、信息保留、可解释性和实际质量收益都需要证明，不能仅因使用向量就推定成立。
多阶段综合流程如下：并行辩论（所有评论者同时分析）、调和（提炼共同结论）、矛盾解决（裁定分歧）、最终答案生成。底层模型可以是开源LLM，每个维度配备LoRA适配器，使得该方法在普通硬件上计算可行。
拟议的意见混合系统需要同时评估答案质量和不确定性。潜在空间通信与文本投票都不自动产生经过校准的置信度。在相同任务上比较这些架构，包括相关错误与审查成本，是开放的研究方向。
按组织校准
安全阈值取决于任务、利害关系和适用策略。校准估计预测可靠性，选择可接受的风险阈值则是另一项决定。组织特定证据可能有帮助，但评估还应检查相关群体和用途，避免良好的总体分数掩盖表现不均。
审查决定可以提供组织特定证据，包括分歧与后续更正。组织应持续拥有对获准保留的标注、策略历史和评估记录的可用访问，并有明确导出格式与隐私控制。在技术和法律允许的范围内，替代供应商应能据此重建校准。AceTeam 应通过有用服务和互操作赢得留存，而不让积累的学习成为离开的障碍。
信息几何与微调
模型知识可以理解为参数空间中的高维流形。流形上的点代表输出上的概率分布。这个流形的几何特性（曲率、测地线）决定了微调在分布空间中的移动方式。
信息几何提供了研究分布变化的方法，而不只是衡量参数向量之间的距离。如何把这一视角变成更好的微调，是研究问题。检验保留知识的主张前，必须明确参数化、统计模型、几何与目标。
自然梯度下降在Fisher信息空间而非欧几里得参数空间中运作。Fisher信息矩阵衡量模型的输出分布对每个参数的敏感程度。沿自然梯度方向移动会在分布空间中产生等量的变化，而不受参数碰巧如何缩放的影响。这直接关联到灾难性遗忘：标准微调可能破坏先前学到的分布，因为参数空间中的欧几里得步长对应分布空间中极不均等的步长。
实际问题是：几何感知更新能否以可接受成本，改善测量任务上的收敛或知识保留。这需要与既有优化器比较，并明确评估遗忘；几何类比本身不能证明改进。
程序即权重
自然语言指令可以被编译为LoRA适配器，即将行为程序编码进基础模型的小型权重修改（约5-25MB）。基础模型可以小到GPT-2 124M或Qwen 0.6B。这些适配器可以通过WebAssembly在浏览器中运行，无需服务器往返。
将策略编码进适配器可能改变行为，减少对可编辑提示的依赖，但不能证明合规或免疫对抗输入。学习得到的检测器应与行动模型之外执行的权限、隔离和审批机制共同使用。
策略适配器需要同时评估检测质量与校准，包括对抗输入和部署环境变化。版本化权重有助于复现，却不能使策略判断永不出错，也不能替代独立控制。结合紧凑检测器与测量得到的不确定性，仍是一项研究方向。