検索

ローカルLLMが「実用域」に達した2026年夏——NPUで推論速度が一変した

リード 2026年8月、「クラウドなしでLLMを動かす」が静かに現実になりつつある。llama.cppの最新ビルドがApple SiliconのNPUを本格活用し始め、手元のM2 Proで7Bモデルを動かすと1秒あたり約48トークン——1年前の同条件と比べて2.7倍速い数字が出た。触ってみないとわからない、を地で行く変化だ。 何が起きているのか 8月14日、llama.cppのメインリポジトリにN...