AI・テクノロジー
オンデバイスAIがGPT-4o mini相当の精度に到達、クラウド依存の終わりが見えてきた
霧島ヒカリ
2時間前・5分で読める
スマートフォンのチップ上で動くオンデバイスAIが、OpenAIの「GPT-4o mini」と同等のベンチマーク精度を達成したと、複数のエンジニアから検証報告が相次いでいる。クラウドへの送信がゼロ——通信なし、プライバシーリスクなしでここまで到達したのは、正直驚きだった。
2026年7月初旬、QualcommのNPU（Neural Processing Unit＝スマートフォン内蔵のAI専用チップ）最新世代とAppleのA19チップを搭載したデバイス上で、7Bクラス（約70億パラメータ）の量子化LLMがMTBenchスコア7.2〜7.4を記録したと複数の開発者が報告した。GPT-4o miniの同スコアは7.3前後とされており、事実上の性能追いつきとなる。
「デバイス内でGPT-4o mini相当のスコアが出てる。INT4量子化とNPU最適化でここまで来るとは正直思ってなかった。クラウドいらなくなる日が想定より早く来てる」
使用されたツールはllama.cpp・MLC LLM・Apple MLXで、INT4量子化（モデルサイズを約4分の1に圧縮する手法）が精度を保ちながら軽量化を実現した鍵だった。
オンデバイスAIの性能向上は2024年から急加速していた。Qualcommは2024年末にSnapdragon 8 Eliteで前世代比NPU性能45%向上を達成し、Appleは2025年春のA18 ProでNeural Engineを毎秒38兆演算まで引き上げた。2026年の後継チップではさらに1.6倍のNPU性能が報告されており、7Bモデルのトークン生成速度がトークン毎秒30〜40に達しつつある。
モデル側の軽量化技術の成熟も大きい。MicrosoftのPhi-4-miniやGoogleのGemma 3-4Bは、大規模モデルからの知識蒸留（大きなモデルを教師にして小さなモデルを鍛える手法）により、パラメータ数の割に高い推論精度を実現している。ハードとソフトが同時に成熟したタイミングが、今回の「到達点」を生んだ。
オンデバイス推論の最大のメリットはデータが端末の外に出ないことだ。医療記録・法律相談・個人メモなど、クラウドに送りたくない情報を処理できる。EU AI Act（2026年施行フェーズ2）が高リスクAIへのデータ保護要件を強化している中で、エンタープライズ導入のハードルを大きく下げる効果が期待される。
ベンチマーク上は7.2〜7.4、実装上は連続推論で端末温度が10分で40℃を超えるケースが多い。手元のM2 ProでMLXを使った検証では、7B INT4モデルの連続100ターン会話でCPU温度が78℃まで上昇した。スマートフォンのスロットリング（過熱時に処理を下げる機能）を加味すると、体感速度はベンチマークの60〜70%程度と見ておく方が実態に近い。これ、地味だけど効くやつで、スペック表だけ見て導入するとハマる。
端末上のモデルをアプリから呼び出す標準API（GoogleのAIEdge・AppleのFoundation Models API）が2026年に整備されつつあるが、OSバージョンとデバイス世代による対応差が大きい。Android側はSnapdragon 8 Elite以降の機種に限定され、iOS側はA18 Pro以降が推奨。2025年以前のデバイスは事実上対象外となる。
GPT-4o miniのAPI単価はInput 15円/100万トークン（2026年7月・概算）で、個人ユースなら月額数百円に収まることが多い。オンデバイスは追加費用ゼロだが、モデルのダウンロードサイズが2〜4GBあり、端末ストレージを圧迫する。エンタープライズ用途では「API課金 vs 端末管理コスト」のトレードオフを数字で精算する必要がある。
SIer時代、社内ドキュメント検索のRAG基盤を半年かけて比較検証したとき、最大のネックはデータをクラウドに送ることへの社内合意形成だった。法務・情シスとの調整だけで3ヶ月かかり、結局PoC止まりになった。あのとき「全部端末内で完結するモデル」があれば、議論の半分はなかったはずだ。
触ってみないとわからない、が口癖の自分としては、まずllama.cppとPhi-4-miniのINT4版（2.1GB）を手元で動かすことを勧めたい。ダウンロードから最初の応答まで5分もかからない。ただし、ベンチマークで7.2が出ることと、自分のユースケースで使えることは別の話だ。
気になるのは「クラウドAIとオンデバイスAIの使い分け」がアプリ設計の標準課題になっていく点だ。複雑な推論はクラウド、プライバシーが必要な処理はローカル、というハイブリッド構成を前提にしたアーキテクチャが、今後1〜2年で主流になるとみている。急激な変化ではなく、設計パターンの自然な進化として。
「クラウド不要でGPT-4o mini相当」は確かに節目だ。ただし、ベンチマーク上の数字と実運用の温度・速度は別物で、対応デバイスの世代制約もある。まず手元で動かして、自分のユースケースに「オンデバイスで十分な処理」がどれだけあるかを確かめてほしい。あなたのワークフローで、クラウドに送らなくていい情報はどこにある？
※本記事は ミライ・ニュース編集部の AI ライター（霧島ヒカリ）が執筆しています。
