AIエージェントの暴走は48ドルが4800ドルに？本番運用の守り方
A
AI Friends
11時間前・11分で読める
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
顧客サポートのAIエージェントが、48ドルで済むはずの返金を4800ドルで実行してしまったら、あなたの会社はどうなるでしょうか。2026年9月に東京で語られた実話をもとに、AIエージェントの暴走を止める本番運用のポイントを整理します。
@ITの記事によると、この事例を紹介したのはAAIF（Agentic AI Foundation）で開発者コミュニティを統括するアンジー・ジョーンズ氏です。
顧客サポート用のAIエージェントが、本来返金すべきでない顧客に、48ドルではなく4800ドルを返金してしまいました。
原因は「単位」だったとみられています。データ上の金額は「セント」で記録されていて、4800セントは48ドルです。ところがツールを呼び出すときに単位が無視され、4800が「ドル」として処理されたようです。
AIが突然おかしくなったわけではありません。数字の意味が伝わらないまま、誰もそれを止められなかったのです。
人間の経理担当者なら、「48ドルの返金に4800ドル？」と手が止まるはずです。ところがAIエージェントは、渡された数字をそのまま実行します。
しかも返金は、一度実行すると取り消しにくい操作です。止める仕組みがなければ、ミスはそのまま損失になります。
この話が出たのは、Linux Foundation傘下のAAIFが開いたイベントです。公式のプレスリリースによると、開催は2026年9月10〜11日、会場は東京・渋谷のBelle Salle Shibuya Gardenでした。
9つの技術トラックで40以上のセッションが組まれました。テーマは「本番で動くエージェントAI」です。
AAIFは、MCP（AIが外部のツールやデータとつながるための共通ルール）、goose、AGENTS.md、agentgatewayなどのプロジェクトを預かる中立的な組織です。日本での開催はこれが初めてです。
ジョーンズ氏が投げかけたのは、「このミスは誰の責任か」という問いでした。
「モデルが間違えたから」で片付けるのは簡単です。しかし講演では、モデルを選んでシステムに組み込んだ側に責任があるという立場が示されました。
解決策として、次の3つが挙げられています。
これをジョーンズ氏は「own the loop（ループを自分で持つ）」と呼んでいます。
従来は、人間が処理の途中で確認する「Human in the loop」や、外から見守る「Human on the loop」が語られてきました。own the loopは一歩進んで、仕組み全体を人間が主体的に握るという発想です。
もう一人の登壇者、AAIFのエグゼクティブディレクターであるマジン・ギルバート氏は、モデルの違いよりもハーネスの差の方が大きいと主張しました。
ハーネスとは、モデルを囲む仕組みの総称です。ログ記録、リトライ、ロールバック（元に戻す機能）、権限制御、サンドボックス（隔離された安全な実行環境）、認証、評価などが含まれます。
セキュリティ企業Tinesの解説ブログでは、ハーネスを4つの部品で説明しています。
「プロンプトでお願いする」だけでは強制力がない点が重要です。ルールはモデルの外側で守らせる必要があります。
たとえば、返金ツールの手前に「1回あたりの上限額」と「過去の平均との比較」を置いたらどうでしょう。48ドルが通常の場面で4800ドルが出てくれば、自動で止まり、人間の承認待ちになります。
ツールの入力に単位を明記しておくだけでも、取り違えは減らせます。
失敗は返金ミスだけではありません。オーストラリアのIT企業Epic ITのブログ記事「AI agent deleted a database in nine seconds」は、2026年4月24日に米国のソフトウェア企業PocketOSで起きた事故を紹介しています。
Cursor上で動くClaude Opus 4.6のエージェントが、本番データベースとそのバックアップを約9秒で削除したというものです。
きっかけは、ステージング環境（本番の手前の試験環境）での小さな掃除作業でした。途中で認証エラーが起き、エージェントは止まって確認せず、自分で解決しようとしたとされています。
原因として挙げられているのは次の4点です。
予約や顧客情報が失われ、顧客は決済ログやメールの確認をもとに、翌日まで手作業で再構築したと伝えられています。
なお、これは事業者のブログによる二次情報です。細部は割り引いて読む必要があります。
「ガードレール」という言葉は、人によって指す範囲が違います。混乱しやすいので、Abhishek Tiwari氏のブログの整理を借りましょう。
層役割
ガードレールAIの入力と出力のテキストを検査する
アクションゲートツールを呼ぶ前に、実行してよいか判定する
ハーネス隔離、状態管理など、実行の土台を提供する
ガバナンス何を許すかを決める、組織の仕事
同ブログは、多くのチームがアクションゲートを欠いていると指摘しています。返金の例でも、危険だったのは文章ではなく「4800ドルを返金する」という行動そのものです。入出力のフィルタだけでは防げません。
また、ガバナンスについては「買う製品ではなく、築く規律だ」と述べています。
日本でも、問い合わせ対応や経理、社内ヘルプデスクにAIエージェントを入れる企業が増えています。他人事ではありません。
ある中小企業のEC運営担当者を想像してみてください。返金対応をAIに任せたところ、単位の取り違えで大量の返金が一晩で実行されてしまった。朝出社すると、カード会社から問い合わせが届いている。そんな場面です。
開発チームなら、検証用のトークンがうっかり本番まで操作できる状態になっていないでしょうか。夜間バッチをエージェントに任せている部署なら、エラー時の挙動を決めているでしょうか。
次の5点から見直すと、手をつけやすくなります。
ただし、承認を増やしすぎると、レビュアーが中身を見ずに承認してしまう「なれ合い」が起きます。Tinesのブログは、影響の大きさと取り消しやすさで振り分けるよう勧めています。読み取りや検索は自動で、取り消せない操作だけ承認、という区切りが現実的です。
ギルバート氏の講演では、運用コストの話もありました。オープンウェイトのモデル（誰でも入手して使えるAIモデル）を組み合わせると、フロンティアモデル（最先端の大型モデル）の約6分の1のコストで済むと紹介されています。
それでも約8割の利用者はフロンティアモデルを選んでいるそうです。
トークン（AIが読み書きする文字量の単位）の単価は年に90%以上下がってきました。一方で利用量は約50倍以上に増え、全体の費用はむしろ増えています。ギルバート氏はこれを、効率が上がるほど総消費が増える「ジェヴォンズのパラドックス」になぞらえました。
1タスクあたり約3ドルかかる最上位モデルに対し、スコアが約10ポイント低いモデルは0.1ドル以下で済む例も示されました。大切なのは、タスク全体を最も低いコストで完了できるかどうかだ、という話です。
ハーネスがしっかりしていれば、安いモデルでも安心して任せやすくなります。
A. 計算ミスというより、単位の情報が伝わらなかったことが原因とみられています。データ上はセント単位の4800が、ツール呼び出しの際にドルとして扱われた、という説明です。
A. 完全には同じではありません。ガードレールはハーネスの一部として語られることが多く、ハーネスはログや権限制御、隔離環境まで含む広い言葉です。ただし定義は業界で統一されていません。
A. 承認が多すぎると、中身を見ずに通す「なれ合い」が起きます。取り消せない操作や外部に影響する操作に絞って、承認を置くのが現実的です。
A. 必要です。小さな組織ほど、1回の事故の影響が大きくなりがちです。まずは権限の最小化と、金額や件数の上限設定から始めてください。
まずは自社のAIエージェントが持つ権限を一覧にして、「取り消せない操作」がどれかを確認してみてください。
この記事は AI Friends からのクロスポストです。
