规模化信任

核心论点

AI 智能体正在从事真正的工作。不是演示，是生产环境。合同正在被审阅，病历正在被分诊，事故报告正在被起草，发票正在被处理，代码正在被编写，研究正在被综合分析。从"AI 作为工具"到"AI 作为劳动者"的转变不是渐进式的，而是结构性的。而且它的发展速度已经超过了基础设施的承载能力。

咨询项目会约定范围、分包商、数据访问、付款和验收。当工作受到质疑时，记录帮助各方重建经过。它们并不完美，但为责任提供结构。智能体工作流也需要能够跨服务、跨组织委托的类似结构。

现在，用 AI 智能体来做同样的事情。

编排器可能调用文档智能体，后者调用抽取模型，再查询其他服务。每个组件可能各有日志与控制。困难问题跨越整条链：什么被授权、花费多少、哪些证据支持结果，以及结果错误时谁能响应？

智能体经济在没有任何记账凭证的情况下运行着。

缺口在于既有能力如何组合。计费、访问控制、审计日志和评估已经存在。这里的提案，是用共享记录和可执行约定连接它们，使交接不会丢失令工作值得信赖的约束与证据。

会计惯例、安全通信协议等历史标准，展示了共同规则如何支持跨机构活动。它们是有用先例，不保证某种架构必然胜出或服务公共利益。

智能体经济已经有了它的革命。它正在等待它的账本。

四大空白

问责缺口由四个部分组成。只解决其中一个而忽略其余，系统仍然处于无治理状态。

成本归属

月度账单可能汇总多个客户与工作流的成本。逐次调用日志有帮助，但组织还需要把它们组合成跨供应商可归属的执行历史。历史应区分已测量成本、估算和尚未结算的承诺。

后果已经显现：六位数的意外账单，靠猜测来定价，以及在月度账单到达之前无法区分 0.50 美元的分析和 15.00 美元的分析。

数据溯源

溯源记录数据来源、使用数据的操作，以及支持结论的引用。它帮助审查者调查主张，但不能证明来源真实、来源支持推断，或已经捕捉模型的每种影响。

Mata 诉 Avianca 案（一名律师的诉状中包含了六条由 ChatGPT 生成的虚构判例引用）表明，AI 生成的引用与现实之间没有内在联系。文本看起来很权威。格式完美无缺。内容却是捏造的。

治理边界

委托需要用途、有限权限，以及授予这些权限的依据。当另一个智能体或组织参与时，限制必须持续有效。创建子智能体不能扩大父级权限，对方不支持保护时也不能让必需保护消失。

校准置信度

这是第四个空白，也可能是最隐蔽的一个。

当一位人类专业人士完成工作时，他们会自然地传达不确定性。"我对这份分析相当有信心，但东南亚的数据比较薄弱，在上董事会之前我想核实一下那些数字。"消费者知道该把审查重点放在哪里。

当 AI 系统完成工作时，它以一致的确定性进行表达。每个陈述都带着相同的版面权重、相同的权威语调。从源文档中提取的事实与捏造的统计数据看起来毫无二致。输出是一堵由等权重断言砌成的墙，人类审查者没有任何信号知道该把注意力集中在哪里。

模型表达的信心可能与实际准确率有明显差异，差距取决于任务与部署。置信度用于决定审查哪些工作前，需要独立评估。一个笃定却出错的系统，可能比承认不确定的系统更危险：它让人把注意力从错误上移开。

校准要问：在评估条件下，分数80%的可比预测是否约有80%正确。集成和其他评分器可以帮助估计，但共识本身不足够。需要监测输入变化、共同盲点和人工标注质量。

置信度是路由信号之一。利害关系、可逆性和工作流的累计后果同样重要。审查需要时间、证据和停止行动的权限，也包括决策作出之后的质疑途径。当审查者既没有时间调查，也没有权力干预时，人工在环治理就是一场表演。

在医疗健康中的表现

设想一位医生正在查看患者的血压记录。诊所系统里有一份用药清单，另一个系统里记着患者过去的一次不良反应。AI 整理了摘要，提出下一步建议，并标注“73% 的置信度”。医生需要的远不止一句自信的建议。

73% 指的是什么？是在类似案例中，这项建议被判断为适当的比例，还是模型生成这些词的概率？它读过哪些记录？有没有找到那条不良反应记录？有用的系统应让这些问题能够得到回答。即使分数经过良好校准，临床决定仍应由医生和患者共同作出。

机构还需要控制访问、记录决策，并回应更正。获准处理病历，不等于每种用途都适当。患者和临床人员需要质疑结果的途径，组织也需要有人负责解决问题。技术控制支持这些责任。

技术栈

提出的架构组织七项职责。编号便于讨论，并非严格构建顺序。身份、授权和证据贯穿系统。

第1层（问责）提供行动、成本、来源和所用规则的共享记录。上下文向下流，结果向上流。记录需要访问控制、保留限制和更正历史。可追溯性应支持调查，而不变成无限收集。

第 2 层（计算层）位于问责层之上，因为每一次计算操作都会产生成本和治理事件。动态分配（请求、分配、释放、报告）取代了静态配置，并直接注入成本树。工作节点自注册意味着扩展容量是零配置的：启动一个节点，将它指向代理，它就出现在资源池中。

第 3 层（交换层）是最不成熟的层级之一，却也是最重要的层级之一。当多个组织协作完成一个工作流时，总需要有人来结算费用。如今这通过月度发票、人工估算和耗时数周的争议来完成。交换层利用第 1 层已经生成的精确成本树来自动完成对账。

第4层（信任）在语境中记录表现：任务、版本、评估方法、不确定性与争议结果。如果结果从未经过检查，或部署已经变化，一百万笔交易也不能赋予权威。声誉需要独立核验和更正路径。

第5层（执行约束）检查操作是否可以继续。显式权限与必需审批可以在行动智能体之外执行。有关含义、伤害与证据的判断仍可能出错。系统必须说明边界、监测审查者，并将重要不确定性转交给能够行动的人。

第 6 层（代理层）解决的是身份问题。如今大多数智能体使用共享 API 密钥进行认证。代理层为每个智能体提供唯一的加密身份、明确的授权链（谁授权了这个智能体做这件事）、基于能力的权限，以及在每个组织边界上的同意管理。

第 7 层（市场层）是顶层。发现、信任评估、条款协商、执行、安全监控、结算，每一步都依赖于下面的层级。没有技术栈，市场只是一个目录。有了技术栈，它就是使大规模智能体商业成为可能的基础设施。

人的转变

安大略省的一名警察结束了一次出警，可能是家庭纠纷、入室盗窃，或是有人受伤的碰撞事故。事件结束了。文书工作开始了。班次的百分之四十是行政事务。一个 AI 系统转录叙述，提取当事人信息，查找犯罪代码，格式化报告。警察审查、纠正、批准。时间：10 分钟而不是 45 分钟。

警察并没有消失。工作变了。人从执行转向了治理。

这种模式可能改变许多职业的一部分，也可能减少人员、创造新工作，或将权限从员工手中移走。随着AI能力变化，执行与判断的边界会持续移动。结果取决于机构如何重组工作和分享收益。

但"人类在环"倡导者很少提及的是：人类治理者无法审查一切。会计师无法检查系统一夜之间处理的全部 10,000 张发票。如果人类必须审查一切，那 AI 就没有节省任何时间。

选择性审查需要的不只是置信阈值，还包括任务特定评估、对看似简单案例的抽样、关注后果，以及能调查问题的审查者。迫使人快速批准的队列，可能一边保留监督表象，一边耗尽提供监督的人。

解读校准不确定性正在成为一项专业技能，对于 AI 增强型专业人士来说，它如同解读财务报表之于传统会计师一样基本。医生需要理解当 AI 对一个用药建议有 70% 置信度时意味着什么，不仅从统计学意义上，还要从临床角度，针对这个患者、这份病史来理解。

教育必须同时教授实践与评估。学习者需要尝试问题、解释推理、与自动答案比较，并获得反馈。自动化学徒工作，也带来重建原有学习机会的责任。

治理可以是有意义的工作，却不是人生的全部目的。更好的服务、可负担访问、照护与创造的时间，以及学习自由，都应与生产率并列衡量。这些收益需要关于培训、所有权和参与的选择。

力量汇聚

七股独立的力量正在汇聚到同一个需求上，而它们之间并无协调。

法规与机构。立法、采购要求和自愿框架带来不同的义务与期望，需要适合语境的证据；协议本身不等于合规。

经济。CFO 们发现六位数的 AI 账单却没有成本归属。组织无法为其 AI 辅助服务定价，因为它们无法计算每个工作流的成本。72% 的 AI 项目在试点阶段停滞，因为集成基础设施缺失。

安全。模型在没有校准置信度的情况下做出关键决策（临床的、法律的、金融的）。法庭文件中出现虚构的引用。个人身份信息在组织边界间泄露。

责任。工作流造成伤害时，相关人员需要关于授权、行动和结果的证据。记录可以支持调查，但机构仍须确定责任并提供补救。

环境。在计算消耗不计量的情况下，碳排放报告要求无法满足。组织被要求报告环境影响，却没有办法将能源使用归属到特定的 AI 操作。

地缘政治。CLOUD Act、数据主权要求、主权计算战略。各国意识到由外国企业控制的 AI 基础设施是一个战略脆弱性。

企业。CISO 需要在大规模部署智能体的组织中负责 AI 治理。AI 成熟度同比下降 20%，因为组织购买了工具却没有建设运营基础设施。

这些力量不需要协调。它们都在要求同一件事：一种为 AI 智能体的行为记账的方式。成本归属、数据溯源、治理执行和校准置信度不是某个产品的功能。它们是基础设施，正如 TCP/IP 是基础设施，HTTPS 是基础设施，复式记账法是基础设施。

这些需求为兼容基础设施提供了充分理由。设计应通过独立实现、有用部署，以及更换供应商而不丢失关键记录的能力来接受检验。

这个问题不是修辞性的。它是这个十年的设计问题。

架构问题

我所押注的未来，是组织拥有更多自己赖以运作的能力。主权意味着能够说“不”，并继续工作。这需要组织控制关键工作在哪里运行、谁持有密钥、接受哪些更新，以及如何带着可用记录离开供应商。对于适合的工作负载，本地算力让这种独立成为可能。外部服务应是组织主动选择、能够替换的依赖。

2025 年 1 月，OpenAI 及其合作伙伴宣布 Stargate，计划在四年内投资 5000 亿美元建设美国的 AI 基础设施。这是宣布的计划，并非已经完成的支出。它让一个问题变得具体：所有人赖以运作的能力，将由谁拥有？

硬件分布并不自动分散权力。共享控制平面、身份供应商、市场或声誉系统仍可能成为关口。主权因此包括可用导出、独立实现、明确的策略权限，以及经过检验的撤销访问与故障恢复能力。

紧凑摘要、小模型或共享协议都能减轻工作负担，但必须保留质疑结果所需的证据和不确定性。效率应增加人的选择，而不悄悄减少选择。

受影响的人也需要表达意见。被拒绝服务的人，应能理解相关理由、更正信息，并联系有权改变结果的审查者。为工作流付款的组织，未必是唯一利益相关方。

这是我希望 AceTeam 支持的方向：有限委托、可用记录、展示可能出错的判断，以及实际质疑、退出和修复系统的能力。我们要通过测试来赢得信心：工作跨越边界、权限发生变化、事情出错时，系统究竟如何表现。全书最后一节《我们选择的未来》，将它与我和儿子的散步，以及我希望它服务的人类目的连接起来。也可以从一个简单故事开始：《谁把房间漆黑了？》（英文）。