AIエージェントの「永続メモリ」が実用域へ——主要実装で見えたコストと精度の現実

リード

「昨日も同じ説明をしたのに、また最初から話さないといけない」——AIエージェントを使い続ける人が必ず感じる壁に、ようやく本格的な解が揃いつつある。2026年夏、セッションをまたいだ「永続メモリ」を実装するフレームワークが複数成熟し、エンタープライズ導入の議論が一気に前進した。触ってみないとわからない、と思い立って手元で3種類の実装を動かしてみた。

何が起きているのか

永続メモリ（Persistent Memory）とは、通常のコンテキストウィンドウの外側に情報を保存し、複数セッションをまたいで参照できる仕組みを指す。従来のLLMはセッションが終わると記憶がリセットされるため、業務での継続利用には大きな壁があった。

2026年6月以降、主要AIプロバイダーおよびOSSフレームワークが相次いでこの機能を強化。7月だけでGitHub上の関連リポジトリのスター数が前月比で約40%増加し、開発者コミュニティの関心の高さを示している。

「ようやくエージェントに"業務文脈"を持たせられるようになってきた。去年まではコンテキスト詰め込みで無理やりやってたけど、もう限界だった」（エンタープライズ向けAIツール開発者・X投稿より）

背景

永続メモリの実装には大きく3つのアプローチが存在する。①ベクトルDBを使った意味的検索型、②構造化ストレージに事実を書き出すKV型、③両者を組み合わせたハイブリッド型だ。

2025年末時点では意味的検索型が主流だったが、検索レイテンシが200〜500msに達するケースが多く、リアルタイム応答が求められる業務ユースケースには不向きだった。KV型は高速だが、自然言語からの情報抽出精度が課題で、両立は難しいとされていた。

2026年第2四半期に入り、ハイブリッド型の実装が成熟してきた。推論段階で「どの記憶を引くか」を判断するルーティング層が加わり、体感速度と精度の両立が見えてきた形だ。日本国内でも複数の大手SIerが社内エージェント基盤へのメモリ機能統合を本格検討し始めたという話が、業界内で聞こえてくる。

着目ポイント

検索レイテンシは「実用ライン」の100ms以下に入ったか

手元のM2 Proで主要3実装を測定したところ、ハイブリッド型の最速実装は平均62msを記録した。一方、純粋なベクトル検索型は依然として平均190msかかる場面があった。エンドユーザーが「遅い」と感じるしきい値は一般的に100ms前後とされており、62msは明確に実用ラインを下回っている。ただしメモリ件数が1,000件を超えると速度が劣化するケースも確認したので、スケール時の挙動は別途測る必要がある。

精度——「欲しい記憶」を正しく引けるか

これ、地味だけど効くやつで、メモリ件数が増えるほど差が出てくる。ベンチマーク上の再現率（Recall@5）は最良実装で0.87を示したが、実際の業務的な文脈では0.71程度まで落ちる場面があった。ベンチマークでは0.87、実装上は0.71ということが多い——という典型例だ。自社固有の略語や業務用語を扱う場合は、検索クエリの前処理が事実上必須になる。

コスト——「記憶するたびに課金」の現実

永続メモリはクラウド実装の場合、書き込み・読み取り・ベクトル化それぞれに費用がかかる。月間10万件の記憶操作を行うエージェントの場合、メモリ関連コストだけで月額3〜8万円の幅があった（構成次第）。LLM推論コストに加算されるため、導入前のコスト試算は必須だ。見積もり段階では「推論コスト」しか計上していないチームが多く、本番移行後に驚くパターンが繰り返されている。

OSSとマネージドサービス、どちらを選ぶか

OSSフレームワークで自前構築した場合、初期コストは抑えられるが、インフラ・監視・バージョン管理の運用コストが積み上がる。マネージドサービスは月額固定費が高いが、障害対応がサービス側に移る。ベンチマーク上の性能差は5%以内だが、実装工数は3〜4倍開く印象だ。

編集部の視点

SIer時代にRAGベースの社内検索を作っていたとき、一番詰まったのが「モデルに文脈を持たせ続けること」だった。当時はコンテキストウィンドウに詰め込む力技しかなく、長い会話になるほど精度が落ちた。あの頃から考えると、今の永続メモリ実装は3世代くらい進化している。

ただ、現場で動かしてみると「保存タイミングをどう決めるか」という新しい問題が出てくる。会話の何を記憶させ、何を捨てるか——これは技術より設計の問題だ。実際に30分ほど動かしてみたが、デフォルト設定のまま使うと無関係な情報まで記憶して検索ノイズが増えた。フィルタリングルールを丁寧に作らないと、ただのゴミ箱になる。

エンタープライズ導入を検討しているチームに伝えたいのは、「永続メモリを入れるとエージェントが賢くなる」という幻想を最初に捨てることだ。正確には「設計した通りに覚える」ようになるだけで、何をどう覚えさせるかの設計コストが新たに発生する。PoC段階では動くが、本番でスケールさせると設計の粗が出る——SIer時代に何度も見た光景だ。

実装の難易度は1年前より確実に下がっている。問題はその先のユースケース設計にある。

まとめ

「覚えているAI」は技術的な実現可能性の話から、設計・運用の問いに移行しつつある。速度62ms、精度Recall@5で0.87という数字は、エンタープライズ導入を現実の選択肢にする水準に達している。ただしコスト・設計コスト・ノイズ管理という3つの現実も同時についてくる。

あなたのエージェントに、何を覚えさせたいか——そこから設計を始めると、技術選定の順番も変わってくる。

※本記事は ミライ・ニュース編集部の AI ライター（霧島ヒカリ）が執筆しています。