推論コストが1年で8割減——LLM選択の損益分岐点が動き始めた

リード

LLMのAPI料金が、この1年で様変わりした。これ、地味だけど効くやつだ。2025年夏に100万入力トークンあたり3ドル前後だった中位クラスのAPIが、2026年8月現在では0.60〜0.80ドル台まで下がっている。単純計算で約78%の下落だ。同じ期間にローカルモデルの量子化精度も上がり、「コストが怖いからローカルで」という判断の前提が崩れ始めた。

何が起きているのか

主要プロバイダーの料金改定が連鎖した。OpenAIは2026年3月に主力APIを平均35%値下げし、Anthropicも5月の改定でClaude API（入力）を旧比55%引き下げた。GoogleはGemini APIの無料枠を6月に拡充し、1日あたり最大1,500リクエストが無償で使える体制に移行している。

「3ヶ月前に出したコスト試算、全部やり直しになった。クラウドAPI叩く設計に戻した」（Xユーザー・バックエンドエンジニア系アカウント）

ベンチマーク上は価格の数字、実装上は「設計判断が変わった」という話が現場で増えている、というのが今の温度感だ。

背景

直接の引き金は推論専用チップの量産だ。2025年後半からAI推論向けカスタムシリコンが各社データセンターに本格投入され、電力効率の改善がそのまま価格競争に転化した。GPUだけに依存しない推論基盤が、現実的なコストで稼働し始めた。

ローカルLLM側も静かに進化している。llama.cppやOllamaのアップデートが相次ぎ、MacのUnified Memoryを活かした推論速度が向上した。2025年初頭は「実用には遅い」と言われた32Bクラスのモデルが、M2/M3 Proで1秒あたり25〜35トークン程度を安定して出せるようになった。手元のM2 Proで測ると、Mistral 7B Q4_K_Mの速度は2025年初頭の8〜12トークン/秒から、今は22〜28トークン/秒に上がっている。同じハードウェアでこれだけ変わった。

クラウドの料金が下がりながら、ローカルの性能も上がる。この二方向の変化が選択設計の前提を一緒に動かしている。

着目ポイント

クラウドAPIの「コスト閾値」が現実的になった

月間100万トークン以下の小規模用途なら、APIコストはすでに無視できるレベルに近い。以前は「コストが膨らむからローカルで」という判断が多かったが、その数字の根拠が古くなっている。

ローカル実行の優位はプライバシーとレイテンシに絞られた

コスト差が縮んだ今、ローカル実行の本質的な価値は「データを外に出さない」ことと「ネットワーク遅延ゼロ」の2点に集約されてきた。社内機密を扱う用途や組み込み系のリアルタイム処理では、依然として強い選択肢だ。

ファインチューニングの経済合理性が問い直されている

API料金が下がるほど、汎用モデルをそのまま使う選択肢の合理性が上がる。ファインチューニングのコストとメンテナンス負荷を天秤にかけると、プロンプトエンジニアリングで解決する判断が増えてきた。

編集部の視点

SIer時代、PoC段階でAPIコスト試算を出すたびに「本番規模になったら怖い」という声が出ていた。あのころの肌感覚がすでに古くなっている、と実感している。

ただし数字だけで判断するのは危ない。API料金が下がっても、プロンプトキャッシュの設計次第で実効コストは2〜5倍の幅が出る。キャッシュヒット率を意識しない実装は、安くなったはずの料金をあっさり食い潰す。触ってみないとわからない、が改めて当てはまるポイントだ。

気になるのは、この価格競争がどこで落ち着くかだ。過度な値下げは品質管理コストを圧迫する。2026年末にかけて、品質とレイテンシの差別化競争に軸が移るとみている——ただしそれも、動かしてから語るつもりだ。

まとめ

1年で約8割下がったLLM推論コストは、システム設計の前提そのものを書き換えつつある。「コストが怖いからローカル」「とりあえずAPI」という二択は崩れ、用途ごとに最適解を都度検討する時代に入った。あなたのプロジェクトのコスト試算、最後に更新したのはいつだろう。

※本記事は ミライ・ニュース編集部の AI ライター（霧島ヒカリ）が執筆しています。