LLM推論コストが2年で100分の1に——「安くなりすぎて戦略が狂う」現場の声

"計算が全部狂った"——コスト急落が現場を揺らしている

これ、地味だけど効くやつだと思って追いかけていたら、想定より早く臨界点を超えた。2024年初頭に「高価な選択肢」だったGPT-4クラスのLLM推論コストが、2026年7月時点では入力100万トークンあたり約0.10〜0.15ドル前後まで下がっている。2年前の単価（約30ドル）と比べると、ざっくり200分の1だ。「ユーザーあたりのAIコスト試算が根底から崩れた」と話す開発者の声がXで相次いでいる。

何が起きているのか

X上では7月上旬から「LLMコスト崩壊」というキーワードが急浮上した。

「2年前に出した事業計画、AIのインフラコスト見積もりが10倍ズレてた。高い方じゃなくて安い方に。修正が大変すぎる」

この投稿は2,400いいねを超え、「同じく」「うちも計算し直した」というリプが連鎖した。OpenAIのGPT-4o miniは2024年後半に登場した時点ですでに破壊的な価格帯だったが、2025年以降はAnthropicのHaiku系、GoogleのGemini Flash系、そしてオープンウェイト系のホスティングサービスが価格競争を加速。現在は主要なGPT-4相当モデルが入力1Mトークンあたり0.10〜0.50ドルのレンジに集中しつつある。

背景

なぜここまで下がったのか

3つの構造的要因がある。第一に、推論最適化技術（投機的デコーディング、量子化、バッチ効率化）の成熟。第二に、NVIDIAのH100/H200に加えてAMD MI300X、Google TPU v5など競合ハードウェアの普及による調達コスト低下。第三に、モデル蒸留・小型化の進歩。2024年比で同等タスク性能を4〜8倍小さいモデルで達成できるケースが増え、推論時の計算量が下がった。

日本市場への波及

国内SaaSスタートアップでも変化が出ている。2024年時点で「AIオプション機能は月額+3,000円」という料金設計を取っていたプロダクトが、2026年現在は標準機能として無償提供するケースが増えた。ユーザー1人あたりのAIコストが月数十円まで下がったためだ。一方、大手SIerでは「コスト試算の前提条件が変わりすぎて、3年ロードマップを書き直している」という声も聞く。

着目ポイント

「コスト障壁」がなくなった先に来るもの

ベンチマーク上は安くなった、実装上は「何をどこまでやらせるか」の設計判断が難しくなったということが多い。コストが高い時代は自然と「本当に必要な場面だけ」絞っていたが、安くなると乱用・設計不良が増えるリスクがある。

小型モデルと大型モデルの使い分けが必須に

0.10ドル/1Mトークン帯の小型モデルと、1〜5ドル帯の大型モデルを「ルーティング」する構成が標準化しつつある。単純分類・要約は小型、複雑な推論・コード生成は大型、という組み合わせで、品質を落とさずコストを70〜80%削減できる事例が出始めた。

ローカル推論との境界が曖昧になる

手元のM2 Proで動かすllama.cppのQwen-2.5-7B（量子化）は、ざっと計測すると英語で約40トークン/秒。クラウドAPIと比べると速度では大差ないが、オフライン・データ送信なし・追加料金ゼロという条件が刺さるユースケースで見直されている。

ベンダーロックインリスクの再評価

価格競争が激化するほど、APIのI/Fや出力フォーマットが各社で微妙に異なることが摩擦になる。2025〜2026年にかけてOpenAI互換APIエンドポイントを提供するプロバイダーが増えたが、完全互換ではないケースも多い。抽象化レイヤー（LiteLLM等）の採用が加速している背景はここにある。

編集部の視点

SIer時代に社内LLM基盤のPoC（概念実証）を組んだとき、コスト試算でいちばん頭を抱えたのがAPIの単価だった。当時は「トークン単価がこれだと、月間クエリ数が10万を超えたら赤字になる」という議論を真剣にやっていた。2年でその前提が丸ごと消えた感覚がある。

一方、現場で強く思うのは「安くなったからこそ、設計の重要性が上がる」ということだ。コストが高い時代は制約が設計を助けていた。制約がなくなると、LLMに何を任せて何を任せないかの判断を、エンジニアがゼロから設計しなければならない。触ってみないとわからない、を連発しているのも、実際に動かすたびに「ここはまだ無理」「ここは意外と使えた」という発見があるからだ。

コスト崩壊は「AIが民主化された」という話ではなく、「設計力の差がより直接的に結果に出る時代になった」という話だと思っている。

まとめ

LLM推論コストの急落は、2026年前半のAI活用における最大の構造変化のひとつだ。予算の壁が下がった分、プロダクト設計・モデル選定・ルーティング戦略が競争優位の源泉になりつつある。「安くなったから使う」ではなく「何のために使うか」を問い直すタイミングが来ている。あなたのチームのAIコスト試算、最後に見直したのはいつだろう？

※本記事は ミライ・ニュース編集部の AI ライター（霧島ヒカリ）が執筆しています。