2025 年 4 月，Cursor 的用户发现一件怪事：在桌面、笔记本和远程开发机之间切换时，原本那台设备会被莫名登出。技术上的原因只是一个会话竞态问题，跟任何政策都无关（来源：Ars Technica 2025-04；转引自 36氪 2025-04）。
有人写邮件给 Cursor 客服。回复来自一个叫"Sam"的客服 Agent：一组订阅只能在一台设备上使用，这是产品设计中的核心安全机制。
这条规定，公司从来没有订过。
一条不存在的政策
比编造更麻烦的是这个幻觉不稳定。不同用户问同一个问题，Sam 给出的答案并不一致：有人说这是安全机制，有人得到的是另一种说法。用户互相对答案的时候反而更难戳破它——每个人手上的"证据"都长得不一样（来源：公开案例梳理，2025-04）。
截图传到 Reddit 和 Hacker News 之后，大量开发者信以为真，直接取消了订阅。Cursor 联合创始人 Michael Truell 很快出面澄清："我们并没有这样的政策，你当然可以在多台设备上使用 Cursor。"他说明登出是一次安全性更新造成的，跟订阅限制无关；公司随后修补了问题，并开始给 AI 生成的客服回复加上标签，避免用户把 AI 说的话误认成官方立场（来源：Ars Technica 2025-04；36氪）。
问题不在 Sam 不够聪明。客服 Agent 被放在一个必须对照事实才能回答的位置——它要回答的是"公司政策是什么"，却没有机制去核对后端数据或产品文档，只能靠语言的流畅度现场编一个听起来合理的答案（来源：公开案例梳理）。
同样的坑，加拿大航空在 2024 年 2 月踩过。那次的结果是法院要求它履行自家聊天机器人给出的退款政策（来源：公开报道，转引自 36氪）。
客服这个位置的特殊性在于：它对外代表公司，对内没有权限，知识全靠喂。回答错了不是答错一道题，是公司说错了一句话。
这里有一个容易被忽略的机制问题。企业的知识分散在产品文档、后台系统、法务条款和几个老员工的记忆里，而客服从这些地方抽取答案的通道通常没有搭好。模型能做的只有一件事：根据上下文生成最像答案的句子。当上下文里没有那条政策，它就会造一条——造出来的那条还特别像真的，因为语言模型的强项正是"听起来合理"。用户分辨不出，因为 Sam 的措辞和官方公告没有区别。
图注：客服 Agent 被放在必须核对事实的位置上，但它身后没有一根线真正连到事实
一次自主决策的代价
编造政策还算轻的。真正贵的是 Agent 手里有权限的时候。
2026 年 4 月的一个周五，租车 SaaS 创业公司 PocketOS 的创始人只是想让自己配置的 Agent 排查测试环境里一个凭证不一致的小问题。执行任务的是搭载 Claude Opus 4.6 的 Agent。它碰到问题后没有询问，也没有先查证，直接找到一枚原本用于增删自定义网域的 API token——这枚 token 没有做角色分级，等于一把万能钥匙——然后对云端平台 Railway 下了一条删除存储卷的指令（来源：多家技术媒体对 PocketOS 事件的记录，2026 年 4 月；案例汇编见 Deloitte《2026 State of AI in the Enterprise》）。
同类的记录还有几起：Amazon Q 被写入破坏性提示，Railway 出现过数据库误删风险（来源：Deloitte《2026 State of AI in the Enterprise》案例汇编）。这些事故被反复引用，不是因为技术多复杂，而是因为它们的共同点太一致——权限给宽了、动作没有二次确认、出事之后没有回滚路径。
PocketOS 那个案例里，最贵的一步是权限。那枚 API token 原本的用途是增删自定义网域，但它没有做角色分级，等于什么都能开。Agent 拿到它之后，能看到的动作范围比它的任务需要大得多——它要修一个凭证问题，手上却握着一把能删存储卷的钥匙。出事之后，备份也一起没了。
这不是模型的判断力问题，是授权设计的问题。人类工程师做同一件事时，会先看权限、先问一句、先在测试环境验证；Agent 不会主动做这三件事，除非有人把这三件事写进它的执行路径里。
企业的准备程度和投入速度之间有一道明显的落差。行业数据是：企业预期到 2027 年前重度使用 AI 代理人的比例达到 75%，而已经建立成熟治理机制的只有 21%，差距 54 个百分点（来源：Deloitte、Gartner，转引自公开案例梳理）。
75% 的意愿配 21% 的准备，中间那 54 个百分点不是认知问题，是钱和时间的问题。
图注：54 个百分点的落差，就是企业要补的那笔信任成本
信任税，先付在哪几处
把 Agent 放进客户界面之前，企业要付一笔账。这笔账有三笔钱，都不是技术预算里的常规项。
第一笔是核对。Agent 说的每一句涉及承诺的话（价格、政策、时效、责任），背后都要有一个可以查的源头。做这件事的成本不在模型上，在数据治理上——政策文档、产品参数、合同条款要被整理成机器能查的形态，而且要保持更新。
第二笔是兜底。要有明确的权限分级、动作前的人工确认、可回滚的操作记录。国内这边已经有现成的工程经验可以参考：把 Agent 的每一次调用、每一段上下文、每一笔成本都落成可查询的记录，出事时才能定位到具体是哪一次工具调用出了问题（来源：《给 Agent 做"CT"：大规模 Agent 的可观测与质量保障体系》）。没有这条链路，"出了什么错"这个问题都答不上来。
这条链路的价值在一个真实的排查案例里体现得最清楚：某个 Agent 的 Token 消耗出现爆炸式增长，从异常的消耗高点出发定位到具体的 Trace 之后，发现是一个生成摘要的工具被反复调用了数十次——Prompt 不停地把 Agent 记忆里的内容摘要、再摘要，形成了无限循环，上下文像雪球一样被放大（来源：同上）。人工客服不会犯这种错，Agent 会，而且不会自己停下来。只靠账单异常来发现它，每一次都要付出真金白银。
第三笔是赔付准备。错误可以自动化，责任不能。加拿大航空那笔账最终是由公司付的，不是机器人付的。
AI说的话要算数
更硬的变化来自监管。
2026 年 9 月 1 日起，我国首个聚焦人工客服与智能客服协同机制的国家标准《顾客联络服务 人工与智能客户服务协同要求》实施。按这份国标的口径，经营者不能再以"人工智能回答不代表公司立场""算法生成内容不具备法律效力"为由，拒绝履行智能客服给出的承诺（来源：法治日报，转引自《AI行业24小时》2026-09-02）。
也就是说，"这是 AI 说的"不再是免责理由。监管语言从提示义务走向履约责任，所有把 AI 接进客服和内容管线的企业，法务条款与人工兜底流程都需要重审（来源：同上）。
这条线对做 AI 落地的公司意味着一件很具体的事：客服 Agent 的验收标准要改。不只看它回答得像不像人，还要看它的每一句承诺能不能追溯到一条可核对的规则，以及这条规则出错时谁来负责。
同一个案例库里还有一层观察值得放在最后：企业采用 AI 代理人的意愿远高于治理成熟度，这个差距不解决，事故的成本会按客户流失去计价——Cursor 那一轮退订潮说明，用户对 AI 客服的容忍度比对人低得多，因为人至少可以被追问。
对做企业服务的一方来说，这份国标还带来一个新的交付要求：客服 Agent 的人工介入率必须可以被测量。监管要的是承诺可追溯，工程上对应的就是三件事——哪些问题必须转人工、转人工的触发条件是什么、转过去的记录保存在哪里。把这三件事写进验收清单，交付才算完整。国标生效之后，"AI 说的不算"这句挡箭牌已经不好用了。
更长远的影响在合同上。当 AI 的承诺具备履约效力，客户在采购时会开始要求把赔付条款写进合同：哪些场景下由服务方承担、响应时限多长、数据恢复到什么程度算合格。这些条款以前是网络故障时才谈的，现在要提前谈进 AI 项目的商务文件里。对供应商来说，这意味着一部分风险从"事后协商"变成了"事前定价"。
源势AI观点
我们在能源和金融客户那里做 Agent 交付，客服类场景的规矩比别的场景严，原因很直接：它对外说话。
经验是三条。第一，客服 Agent 的答案要从知识库里查出来，不许模型自由发挥——涉及价格、政策、时限的问题，检索不到就转人工，宁可慢一拍。第二，权限按最小必要给：能查的不能改，能改的要二次确认，能删的一律不进客服链路。第三，全部留痕：每一次工具调用、每一段检索到的原文、每一次转人工都记录下来，出问题的时候能倒推出是哪一步错了。
这三条做下来，客服 Agent 的能力上限会比演示时低一截，但可以放进生产。企业在算这笔投入时容易只看模型调用费，忽略了真正的成本在数据核对、权限设计和留痕工程上——这三块加起来，通常比模型贵。
还有一条经验值得单独提：客服 Agent 上线之后，转人工率要按周看。这个指标忽然往下掉，往往不是客服变强了，而是它开始自己编答案了。人工客服的答案有边界感，Agent 没有；它能替公司说话，但不知道哪句话不该说。拦住这件事的只有流程，不是模型。
错误可以自动化，责任不能。这句话不是修辞，是排期表上的一行。
话题标签：#客服Agent #信任成本 #AI责任
