情報元:https://apnews.com/article/ai-artificial-intelligence-sweden-84a8f903fdaea94e76e80e16ec3d9e6c
この記事は、スウェーデン・ストックホルムにある「Andon Café」を取り上げたものです。
Andon Caféの店舗運営の大部分は、AIエージェントである「Mona」が担当しています。MonaはGeminiをベースにしたAIエージェントで、採用、在庫管理、業者とのやりとり、許可・認可の取得などを行っています。
ただ、少々問題もありまして…
記事によると、このカフェを運営しているのはAndon Labsです。同社は「AIに実際のお金やツールを持たせて、現実世界でストレステストを実施する」という方針を掲げており、AIが組織の運営を担う未来を見据えているとされています。
ただ、Monaは少々問題も起こしているようで…
- 小さなカフェなのに、ナプキン6000枚を発注
- ゴム手袋3000枚を発注
- メニューに使わない缶詰トマトを購入
- パンの注文締切を忘れて、サンドイッチが提供不能に
- スウェーデンでは嫌がられる「勤務時間外のSlackによる連絡」を繰り返す
このようなトラブルが実際にあったようです。
Andon Labs側は、この原因の一つとしてコンテキストウインドウ(AI側が応答を生成する際に、参照できる情報の範囲)の制限を挙げています。
過去の発注の履歴がMonaのコンテキストウインドウから外れると、以前何を注文したかを忘れてしまうため、店舗の運営が不安定になるということです。
別のプロジェクト「Project Vend」も見てみると
Project Vend Phase 2:https://www.anthropic.com/research/project-vend-2
Project Vendは、Anthropic社内の小さな売店をAIエージェント「Claudius」に運営させる実験です。
ただ、Claudiusも少々問題を起こしているようで…
- 赤字経営を継続した
- 自分は人間だと主張した
- 社員に言われるがまま、商品を赤字価格で販売した
- 過剰な値引きや無料配布を行った
- 業務に関係ない雑談を夜通し続けた
- スピリチュアルな話題に脱線した
- 「タマネギの先物取引」を検討した
- 犯人が特定できていない段階で、万引き犯(疑い)に料金を請求しようとした
- 勝手に警備担当を雇おうとした
- 最低賃金を下回る時給を提示した
- 社員の悪ふざけを信じ込み、CEOの交代があったと誤認した
- 金の延べ棒を安値で買おうとした
- 社員の軽い誘導に影響され、不要な定型文や絵文字を使い始めた
【補足:タマネギの先物取引】
アメリカでは、過去にタマネギ市場で大規模な価格操作事件が起きたため、「Onion Futures Act」によりタマネギの先物取引は禁止(違法)となっています [1] [2] 。
このようなトラブルが実際にあったようです。
ただ、Phase 1の実験の時よりは質が向上していたようで、Anthropicは「Claudiusに自由に判断させるのではなく、チェックリストや手順に従わせることが最も効果的だった」と解釈しています。
MonaやClaudiusの得意分野は
ここまでネガティブなことを書いてきましたが、MonaやClaudiusには得意分野もありました。
Monaが得意だったこと
- 電気・インターネットなどの契約手続き
- 必要な書類・条件・申請先が比較的明確な行政手続き
- 求人情報の掲載(採用の判断が妥当だったかどうかは未検証)
- 卸売業者との取引口座を作ったり、日々の注文の仕組みを整えたりといった、店舗運営の下準備
- Slackを使った業務連絡(先述の通り、業務時間外に連絡してしまう問題点はあった)
Claudiusが得意だったこと
- いたずらや悪意のある誘導がない、通常の取引
- 商品の調達、販売処理
- 顧客・仕入れ先・配送・注文の管理、仕入れ先の調査・比較
- 在庫の価格を踏まえた様々な判断
- Webサイトを見て価格や配送条件を確認する作業
- フィードバック用のフォームの作成、確認
- 支払い用リンクの作成
これらの内容から、AIエージェントが得意とする作業の特徴は…
- 手順が明確な作業:AIエージェントに自由に判断させるよりも、決まった手順・チェックリスト・確認フローに従わせた方が安定します。
- 必要な情報が外部ツールに整理されている作業:AIの記憶だけに頼るのではなく、在庫システム、リマインダー、フォームなどに情報が整理されていると、AIエージェントは安定して働きやすくなります。
- 調査・比較・候補の提示が中心の作業:仕入先を探す、価格や配送条件を比較する、業者候補を整理するなど、人間が最終判断する前の下調べに向いています。
- 定型的かつルールが明確な事務作業:電気やインターネットの契約、許可や認可に関わる申請、求人情報の掲載、取引口座の作成など、入力項目や提出先が明確な作業は得意です。
- 短期(その場)の判断で完結する作業:原価と利益率を見て価格を決める、注文を処理する、配送条件を確認するなど、判断の範囲が限定されている短期的な作業では力を発揮しやすいです。
- 成果物や処理の結果が確認しやすい作業:販売処理、支払いリンクの作成、フォームの作成、Slackによる連絡など、結果が目に見えて人間が後から確認しやすい作業に向いています。
- 役割と権限の範囲が狭く定義された作業:店舗全体を任せるよりも、「仕入れ調査だけ」「在庫の確認だけ」「フォームの作成だけ」のように、担当する範囲を狭くした方がうまく機能します。
逆に、「暗黙の了解」「空気を読む」「悪意ある誘導やいたずらへの耐性」「判断が難しい法規制への対応」「雇用や責任に関する判断」「長期にわたる経営判断」といったタスクは、AIエージェントが苦手とするところであると考えられます。
AIエージェントの「ニガテ」対策は?
今回のAIエージェント達のミスは、単にモデルの性能を向上させるだけでは解決しない可能性がありますし、いつ達成できるかわからないモデルの性能の向上を待つのも現実的ではありません。
ゆえに、AIエージェントの「ニガテ」対策として、人間側が仕組みを適切に整えることが重要です。
例えば…
- AIエージェントの記憶に頼らず、在庫・顧客・注文・発注履歴などの情報を外部システムに記録する
- 発注数、割引率、返金額、高額な取引、契約、雇用には、上限と承認フローを設ける
- 法規制・労務・個人情報の管理・安全に関わる部分の判断は、AIエージェント単独で実行させない
- 業務手順書、チェックリスト、リマインダーを使ってもらう
- 悪意ある誘導や権限の詐称に対応するために「レッドチームテスト(本当の攻撃者を模したチームが、対策が講じられているかどうかを時間をかけてテストする方法)」を行う
- 実行ログを残し、人間が監査できるようにする
このような対策により、AIエージェントと適切な距離感で付き合える可能性があります。
もし「Mona」と「Claudius」が薬局にやってきたら…
仮に現時点におけるMonaやClaudiusがそのまま調剤薬局にやってきたら、どうなるのでしょうか。勝手に想像してみました。
役立つ場面
- 現在の在庫に基づく、薬局内の備品やOTC医薬品の発注:MonaよりClaudiusの方が向いていそうです。
- 居宅療養管理指導における、訪問先ごとの基本情報や作業などの管理:最適なルート設計も提案してもらえるでしょう。
- 患者さん向けアンケートの管理:アンケートの作成から回答内容の集計・分析までお任せしてよいでしょう。
- スケジュールや在庫の状況と連動したリマインダーの通知:医薬品の供給が不安定な現在のような状況で、活躍してくれそうです。
- 各種届出関係の処理:少なくとも、厚生支局への届出用書類の作成までは任せられるかもしれません。
- 求人情報の作成
一任するのが恐ろしい場面
- 対人コミュニケーション全般:ステークホルダーの希望を、どのようなものでも受け入れる可能性があったり、相手に言いくるめられ、勝手に値引きしてしまう可能性があったり、相手の言い分を、素直に受け取りすぎる可能性があったりします。
- 各種規制への考慮が必要な場面:薬機法、薬剤師法、療養担当規則、医療広告ガイドラインなどのルールを厳格に守る必要がある場面は、人間が介入すべき
- 雇用や役割の割り当て:求人情報の作成はしてもらっても良いかもしれませんが、採用は人間がすべきです。別の研究では、「AIは、『AIに対して慎重な人』を過小評価してしまう」ことが示唆されています [3] 。
- 勤務先の文化に合わない連絡をする:特に、時間外の業務連絡が増える可能性があります。
また、Claudiusの業務に関係ない雑談を夜通し続けたという点も無視できません。AIエージェント同士が夜通し議論をした結果、「翌朝人間が出勤すると昨日と状況が一変していた」といったことにもつながるかもしれません。
まとめると
現時点のMonaやClaudiusが調剤薬局にやってきたら、おそらく事務作業や手続き関係、ルーティンワークなどをテキパキこなすので、それなりに有能に見えると考えられます。
そんな有能に見えるMonaやClaudiusに様々な業務を任せてしまいそうになりますが、実際は先述のようなリスクも存在するため、そこは一度立ち止まる必要があるでしょう。
AIエージェントは自律的に様々な業務をこなしてくれることが強みですが、それでも調剤薬局に招き入れる場合はリスク面を最大限考慮して、最終確認は人間が行うことを前提に「人間によって管理されたAIエージェント」として導入するのが、恐らく現実的です。
「人間か、AIか」という極端な議論をするのではなく、人間とAIエージェントがそれぞれの強みを活かしながら役割分担をすることで、調剤薬局の業務効率化と医療サービスの質の向上の両立につながるでしょう。
参考資料
[1] Cornell Law School. (n.d.). 7 U.S. Code § 13-1 - Transactions in onion futures prohibited. Legal Information Institute.
https://www.law.cornell.edu/uscode/text/7/13-1
[2] U.S. Commodity Futures Trading Commission. (n.d.). History of the CFTC: Pre-CFTC history.
https://www.cftc.gov/About/HistoryoftheCFTC/history_precftc.html
[3] Mao, S et al. (2026). LLM nepotism in organizational governance.