在12GB显存GPU上运行1250亿参数AI｜Strata登场
機械翻訳 / Machine-translated
A
AI Friends
5日前・9分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
本应需要数百GB内存的超大AI模型，居然能在游戏PC上运行——听到这个消息，你是否会半信半疑？
本文将依次介绍以MIT许可证开源的"Strata"的工作原理、运行速度、所需配置以及注意事项。
Strata（斯特拉塔）是由开发者Niko1221在GitHub上发布的推理引擎。推理引擎是指将训练完成的AI模型实际运行起来并生成输出的软件。
其目标模型是阿里巴巴的"Qwen3.8-Flash-Next"。由于采用MIT许可证，可自由使用和修改。但模型本体的许可证另行规定，请注意区分。
启动后，会在本地创建一个127.0.0.1:8080的本地API。由于同时兼容OpenAI和Anthropic格式，可与现有的AI编码工具对接。此外，还提供浏览器端的聊天界面及图像输入功能。
数据不会离开你自己的电脑。输入的文本或公司内部代码不会发送到外部，这是本地AI的一大优势。
根据Hugging Face模型页面，该语言模型的参数量为1250亿。然而，生成每个词时实际调用的参数量仅约60亿。
这得益于MoE（Mixture of Experts，混合专家）架构。MoE的原理是预先准备大量擅长不同领域的小型专家模块，每次生成词时只调用其中若干个所需的专家。
该模型共48层，每层有512个专家，合计24,576个。生成每个词时，仅调用其中10个专家加上1个共享专家。
上下文长度为262,144个token，扩展后可达100万token。许可证标注为"qwen-community-1.0"，商业使用请自行确认相关条款。
通常情况下，1250亿参数的模型根本无法装入GPU显存。因此，Strata将专家模块分配到三个位置存放。
根据官方技术说明文档，分工方式如下：
GPU中存放所有词都必然用到的基础部分，以及使用频率较高的专家模块。主内存中则存放全部24,576个专家模块。
当需要GPU中不存在的专家时，由CPU负责计算。由于该计算与GPU计算并行进行，等待时间得以减少。
此外，约28.8GB的大型参考表（n-gram表）存放于SSD中。由于每次生成词时只读取其中几行，SSD的读写压力相对较小。
打个比方：常借阅的书放在手边的桌上，全部藏书放在书库，而庞大的索引则放在另一栋楼里。
另一项关键优化是投机解码（Speculative Decoding）。模型内置的小型辅助模块会预先预测接下来的几个词，主模型再将这些预测结果一次性批量验证。
由于最终输出仍由主模型决定，输出质量不变，而速度可提升1.6～1.8倍，开发者如此介绍。
官方基准测试显示，RTX 5070（显存12GB）搭配64GB主内存，使用最轻量的"Q2_0"量化版本，文本生成速度可达每秒94个token。Token是AI处理文本的基本单位。
长文本的提示处理速度为每秒2,650个token。推荐使用的"IQ2_XS"版本，生成速度为每秒79个token，提示处理速度为每秒2,090个token。
AMD的RX 9070 XT（显存16GB）在Q2_0下也能达到每秒60个token。RTX 3090（显存24GB）按开发者估算可达每秒100～140个token。
所需配置如下：
各模型大小分别为：Q2_0约37.6GB、IQ2_XS约39.2GB、IQ3_XXS约47GB、IQ3_S约54.8GB。数字越大精度越高，但速度越慢。IQ3_S的生成速度为每秒53个token。
安装十分简便，在Windows上根据PC Watch的报道，只需解压ZIP文件后双击"START-HERE.bat"即可，Python环境配置和模型下载均自动完成。
将专家模块卸载到内存来运行的思路，并非Strata首创。以下简要梳理各方案的区别。
首先是llama.cpp。如教程指南所述，通过--cpu-moe和--n-cpu-moe选项，可将专家模块单独卸载到CPU侧。其优势在于支持的模型种类多，上手简便。
其次是KTransformers。清华大学团队在国际顶会SOSP '25上发表了相关论文。该方案通过专用机制加速CPU侧计算，文本生成速度据报告可达现有方案的1.25～4.09倍。
Strata的特点在于针对特定模型进行了深度优化：将常用专家模块通过学习后置于GPU，并结合预测推测和SSD参考表等技术。代价是可运行的模型种类受限。
日本方面，PC Watch已于2026年10月2日进行了报道，关注此项目的人有望持续增加。
举个例子，假设某公司的工程师因保密要求无法将代码发送至外部。有了本地运行的AI编码助手，便可在保护机密的前提下使用。加之提供Anthropic兼容API，与现有工具的对接也更加便利。
对于个人开发者而言，无需担心月费，可以随时反复尝试AI推理。虽然需要支付电费，但不再受使用次数限制的困扰。
大学研究室也有应用空间。无需租用昂贵服务器，使用手边的游戏PC即可对大型模型进行实验。
不过，本次调查未能确认日本语的输出质量。使用前请结合自身需求进行测试。
数据虽然亮眼，但也有一些值得关注的问题。
第一，速度数据为开发者公布的数值。PC Watch的报道也明确指出，这些数据并非经过独立验证。RTX 3090及40系列的数据，目前仍属于估算值。
第二，AlphaSignal指出的限制：同时只能处理一个请求，输出方式仅限于选取概率最高词的贪心解码。超过128K的长文本提示处理速度会明显下降。
第三，配置要求较高。显存12GB、内存64GB、可用空间80GB，对于普通笔记本电脑而言往往难以满足。AMD GPU目前仅在Linux上提供实验性支持。
Q. Strata可以免费使用吗？
A. 本体采用MIT许可证，免费开源。但模型本体有独立的许可证，商业使用请自行确认相关条款。
Q. 每秒94个token随时都能达到吗？
A. 不是。这是在RTX 5070、64GB内存、最轻量量子化版本的最优条件下的数值。使用更大的模型或更长的文本时，速度会下降。
Q. 32GB内存也能运行吗？
A. 官方要求最低32GB。但要运行所有尺寸的模型，建议配备64GB。若使用削减了一半专家的"Coder"版本，32GB据称可以满足需求。
Q. 可以与现有的AI工具结合使用吗？
A. 由于提供OpenAI兼容和Anthropic兼容API，可从支持相应格式的编码工具中直接调用。
Q. 精度会下降吗？
A. 量子化（对模型进行压缩以减小体积）会导致版本越小精度越低。PC Watch报道称，IQ3_S在公开基准测试中与全精度模型表现相当。
建议先确认自己电脑的显存和内存配置，满足条件后从轻量版本开始尝试。
本文转载自 AI Friends。
