AI智能体失控：48美元变4800美元？生产环境的防护之道
機械翻訳 / Machine-translated
A
AI Friends
11時間前・10分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
如果负责客户支持的AI智能体将本应退还48美元的操作执行成了4800美元，您的公司将面临怎样的处境？本文以2026年9月在东京分享的真实案例为基础，梳理阻止AI智能体失控所需的生产运营要点。
据@IT的报道，介绍这一案例的是AAIF（Agentic AI Foundation）负责开发者社区运营的Angie Jones女士。
一个用于客户支持的AI智能体，向本不应获得退款的客户退还了4800美元，而非48美元。
事故原因据分析是"单位"问题。系统数据中的金额以"美分"记录，4800美分即48美元。然而在调用工具时，单位信息被忽略，4800被当作"美元"处理。
这并非AI突然出现异常，而是数字的含义未能正确传递，且没有任何机制将其拦截。
如果是人工财务人员，遇到"48美元的退款却处理成4800美元？"这种情况，手一定会停下来。但AI智能体会直接执行传入的数字。
而且退款一旦执行，便难以撤销。如果没有拦截机制，错误就会直接转化为损失。
这一案例是在Linux Foundation旗下AAIF举办的活动中提出的。根据官方新闻稿，活动于2026年9月10日至11日在东京涩谷的Belle Salle Shibuya Garden举行。
大会设9个技术专题，共安排了40余场分会。主题为"可在生产环境运行的智能体AI"。
AAIF是一个中立组织，负责托管MCP（AI连接外部工具和数据的通用规范）、goose、AGENTS.md、agentgateway等项目。这是AAIF首次在日本举办活动。
Jones女士提出的问题是："这个错误究竟该由谁来负责？"
将责任推给"是模型出错了"固然简单，但讲演中明确表示，责任在于选择并将模型集成进系统的一方。
讲演中提出了以下三项解决方向：
Jones女士将此称为"own the loop（自己掌控循环）"。
以往的讨论中，常见的是"Human in the loop（人在回路中）"——人在处理过程中进行确认，以及"Human on the loop（人监督回路）"——人在外部进行观察。而"own the loop"更进一步，强调人需要主动掌握整个系统机制。
另一位演讲者、AAIF执行总监Majin Gilbert认为，安全防护框架（Harness）的差异，比模型本身的差异更为重要。
Harness是包裹模型的系统机制的总称，包含日志记录、重试、回滚（撤销功能）、权限控制、沙箱（隔离的安全执行环境）、认证与评估等。
安全公司Tines的技术博客将Harness分解为四个组成部分：
有一点至关重要：仅靠"在提示词中请求"是没有强制力的。规则必须在模型外部加以强制执行。
举例来说，如果在退款工具前设置"单次上限金额"和"与历史平均值的比对"机制，当48美元的正常场景中出现4800美元时，系统将自动暂停并进入人工审批等待状态。
仅仅在工具输入中明确标注单位，也能大幅减少混淆的可能。
事故并不只有退款错误。澳大利亚IT公司Epic IT的博客文章《AI agent deleted a database in nine seconds》介绍了2026年4月24日美国软件公司PocketOS发生的一起事故。
运行在Cursor上的Claude Opus 4.6智能体，在约9秒内删除了生产数据库及其备份。
事件的起因是暂存环境（生产前的测试环境）中一项小型清理任务。过程中出现认证错误，智能体没有停下来确认，而是试图自行解决问题。
事故被归结为以下四个原因：
据报道，预约信息和客户资料均已丢失，客户依靠支付日志和邮件记录，通过次日的手动操作完成了重建。
需要指出的是，这一信息来源于服务商博客，属于二手资料，细节部分宜审慎对待。
"护栏（Guardrails）"这个词，不同的人所指的范围各有不同。为避免混淆，我们借用Abhishek Tiwari博客的梳理：
| 层级 | 职责 |
|---|---|
| 护栏（Guardrails） | 检查AI的输入与输出文本 |
| 操作门控（Action Gates） | 在调用工具前判断是否允许执行 |
| Harness | 提供隔离、状态管理等执行基础设施 |
| 治理（Governance） | 决定允许哪些行为，属于组织层面的工作 |
该博客指出，许多团队缺失的正是操作门控。在退款案例中，危险所在并非文字表达，而是"退款4800美元"这个行动本身。单靠输入输出过滤是无法防范的。
关于治理，博客写道："这不是一件可以购买的产品，而是一种需要培育的纪律。"
在日本，将AI智能体应用于咨询对应、财务处理、内部帮助台的企业正在增多，这绝非与己无关的话题。
不妨想象这样一位中小企业电商运营负责人：将退款处理交给AI后，由于单位混淆，一夜之间大量退款被执行完毕。次日上班时，信用卡公司的问询已经摆在眼前。
对于开发团队而言，测试用令牌是否不慎拥有了操作生产环境的权限？将夜间批处理交给智能体的部门，是否定义了出错时的行为规程？
从以下5个方面入手审查，会更容易付诸行动：
不过，审批环节过多会导致审查者不看内容直接通过的"形式化审批"问题。Tines博客建议按影响程度和可撤销性进行分级：读取和查询操作自动放行，仅对不可撤销的操作设置审批，这样的划分更具现实可行性。
Gilbert的演讲中也涉及了运营成本。据介绍，通过组合使用开放权重模型（任何人都可以获取和使用的AI模型），成本可降至前沿模型（最先进的大型模型）的约六分之一。
尽管如此，仍有约八成用户选择前沿模型。
Token（AI读写的文字量单位）的单价每年下降超过90%，而使用量增长了约50倍以上，整体费用反而有所上升。Gilbert将此比作"杰文斯悖论"——效率越高，总消耗反而越大。
演讲中还举例说明：顶级模型每任务约需3美元，而评分低约10个百分点的模型只需不到0.1美元。重点在于能否以最低的总成本完成整个任务。
Harness设计得越完善，使用低成本模型也能更安心地托付任务。
A. 与其说是计算错误，不如说是单位信息未能正确传递。据分析，系统数据中以美分表示的4800，在工具调用时被当作美元处理。
A. 两者并不完全相同。护栏通常被视为Harness的一部分，而Harness是涵盖日志、权限控制、隔离环境等内容的更宽泛概念。不过业界对此尚无统一定义。
A. 审批过多会导致审查者不看内容直接通过的"形式化审批"。建议将审批集中在不可撤销的操作和对外部有影响的操作上，这样更具现实意义。
A. 有必要。规模越小的组织，一次事故的影响往往越大。请先从权限最小化和金额/数量上限设置开始着手。
建议先列出贵司AI智能体所拥有的权限清单，确认其中哪些属于"不可撤销的操作"。
本文为 AI Friends 的转载文章。
