Strata让12GB显卡跑Qwen3.8?拆开94词元/秒背后的内存账
黑粉科技 · 实测记录

Strata让12GB显卡跑Qwen3.8?拆开94词元/秒背后的内存账

14 分钟
分类:
标签:
摘要

12GB显卡之外,还要多少内存?拆解Strata的官方速度、量化取舍与Mac接入边界。

10月31日补充:把专家怎样分工画出来

我在新一期解说里,用一座三维黏土工厂画出了Strata说明的Qwen电脑端路径:显卡保留常用专家,处理器在系统内存里计算没有命中的专家,两边完成后再汇合结果。画面把参数放在哪里、谁执行计算、结果怎样回来分开呈现,便于沿着数据路线理解。

观看完整视频:推理引擎凭什么让大模型变快?Splash、Strata背后的六类加速技术。约04:26进入异构协作,04:58开始讲Strata。

Strata的Qwen电脑端专家计算路径|三维动画示意

这条路线中的冷专家留在处理器一侧计算,减少每步把专家权重重新搬进显卡的需要。苹果端的Metal与硬盘流式读取路径,以及Qwen路径使用的模型词组表,是不同的执行与数据对象;它们又与保存上下文中间状态的KV缓存有区别。具体过程对应Strata机制文档。

视频同时把内核、量化、缓存、异构、投机与调度放进同一套关系图。我的选择顺序是先看模型结构、参数位置与传输通道,再判断这种分工是否适合自己的电脑;完整归纳见六类加速机制与平台选择。下文保留此前的官方参数、内存账与使用条件。

摘要 显存不够,究竟是换显卡,还是换一种运行方式? 黑粉科技 · 2026年10月6日

看到“12GB显卡运行Qwen3.8-Flash-Next”,我第一反应不是赶紧下载,而是追问:剩下的权重放哪儿了? 如果只看显存数字,很容易把一次工程优化,读成一次物理学奇迹。

这次主角叫Strata。它不是另一个新模型,而是一套针对这颗模型设计的本地推理引擎。我核对了项目的中文介绍、机制说明、型号表、安装和安全文档。本文介绍官方方案,没有在我的Mac或Windows电脑上进行实测;性能数字都保留作者的测试条件。

12GB不是全部家当,只是工作台

以前看本地模型,最顺手的算法是“权重多少GB,我有没有这么多显存”。Strata换了一种分工:高频、延迟敏感的部分放显卡,专家权重主要放内存,部分大表留在SSD,处理器也参与计算。显卡不是独自干完整份工作。

官方机制图

位置 主要工作 不能省掉的代价
显卡与显存 注意力等关键计算;缓存常用专家 仍需要显存装下运行底座与上下文相关状态
处理器与内存 保存专家权重;计算未命中GPU缓存的专家 内存容量、带宽和CPU性能都会影响速度
固态硬盘 保存大体积查找表;低内存模式还可能读取专家 容量够不等于延迟低,频繁读专家会拖慢运行

可以把它想成一家餐厅:显卡是操作台,内存是备料区,SSD是仓库。操作台不必摆满所有食材,但后厨不能凭空消失。如果每道菜都要去仓库翻箱倒柜,“能开张”和“出菜快”就是两回事。这个比喻只说明分工,不代表真实硬件可以任意互换。

这里还容易混淆两个概念:每次只用少量专家,不等于只需保存少量专家。 项目文档描述48层、每层512个专家,合计24,576个跨层专家;每层的路由选择10个,不是整次回答只调用模型里的10个。下一次输入可能需要另一批权重,所以缓存不是永久删除。

这也解释了为什么该方案不能直接推广成“所有大模型都能用12GB显卡跑”:它依赖模型结构和专门的调度实现。是否支持另一颗模型,必须另外核对,不能只看同为GGUF格式。机制见官方说明。

94词元/秒很快,但先看这张成绩单的抬头

官方速度数据

官方NVIDIA测试机是RTX 5070 12GB、Ryzen 5 7600、64GB DDR5-5200、Windows。这是整机组合的结果,不能把“12GB”拿出来,套到所有同容量显卡上。下面统一采用项目型号表的口径,单位为词元/秒,不是中文字/秒。

版本 短上下文生成 128K上下文生成 32K提示词处理
Q2_0 94 76 2,650
IQ2_XS 79 63 2,090
IQ3_XXS 62 49 1,750
IQ3_S 53 46 1,620
Coder 55 43 2,180

项目作者数据,非黑粉科技实测。Q2_0标注引擎0.1.36,其余汇总项为0.1.26;并非严格同版本横评。

这张表里藏着两个很不同的等待。预填充是模型先读你交进去的资料;生成才是它开始逐步回答。文档中的4K指输入上下文,不代表一次吐出4K词元。第一句话出现得快,也不代表长报告完成得快。

拿表里的数做个算例:32,000÷2,650≈12.1秒,这是按吞吐估算的纯提示词处理时间,不包含加载、排队和其他开销。生成1,000词元,按94和53计算分别约10.6秒、18.9秒。这些是算术示意,不是实际响应时间保证;词元也不能直接换成相同数量的汉字。

更重要的是,最快量化档不自动等于最适合你的档。中文长文、代码修改和工具参数,对误差的容忍度不同。本文没有独立质量评测,不会根据速度表给Q2_0贴上“能力无损”的标签。原始型号和速度表见官方模型说明。

它为什么能加速?先猜,再让大模型批改

官方推测解码图

除了硬件分工,Strata还使用模型内置的多词元预测能力:小步草拟后续候选,大模型成批验证,接受合适的部分,不对的重新走。节省的是串行往返,而不是把最后的判断全部交给小模型。

这里有个看似反常的地方:多做了“猜测”这一步,反而可能更快。原因是大模型的一次处理能检查多个候选,摊薄昂贵的访问与调度成本。候选命中率低,收益就会减少,所以固定加速倍数不能脱离任务条件。

我会特别避开“每次输出完全一样”这种说法。项目详细文档说明,CPU计算方式、专家在CPU/GPU间的分布以及适配过程,都可能影响零温度下的复现。推测解码的验证设计,不等于某个工程实现逐字、逐位复现的承诺。 实现与限制见详细技术文档。

真正该算的账:显存、内存、下载,别混成一个数字

meme

标准量化档 官方RAM+VRAM需求 专家内存约占
Q2_0 37.6GB 34GB
IQ2_XS 39.2GB 35.5GB
IQ3_XXS 47.0GB 43GB
IQ3_S 54.8GB 50GB

这是项目说明的模型运行资源口径,不是下载体积,也不是包含操作系统与全部后台应用的整机预算。

也就是说,“54.8GB小于64GB”不是一句可以直接划等号的结论。表里的RAM和VRAM相加,与你主机的物理内存不是同一概念;操作系统、浏览器、长上下文和其他应用,还要吃自己的那份。项目建议高档位保留更多余量。

磁盘又是另一张账单。模型的查找表分片约29GB,还要加专家分片和其他组件。安装空间至少按官方约80GB空余要求规划,较大版本要更多。不要以为显卡只有12GB,就只需下载十来GB文件。

你的目标 可考虑的路线 先接受的限制
32GB内存,以代码任务为主 研究Coder剪枝版 不是完整模型;官方记录了中文/CJK相关问题
48GB内存,希望尝试完整专家量化 从Q2_0或IQ2_XS评估 不能只按显存判断;先留系统余量
64GB内存,中文与复杂任务较多 比较标准量化档后再选 高质量档更吃内存,速度与质量需要分别验证
追求更高位量化 评估UD-IQ4_XS等较大版本 SSD卸载会改变速度,不能沿用94词元/秒
只有一台64GB Mac 不要照搬Windows安装教程 官方没有给出macOS/Metal原生运行路径

Coder确实是一个真实的取舍案例:它把每层专家从512个减到256个,降低资源门槛,但不能把它理解成“完整版更小且能力全留”。作者引用的91.3%是相对完整模型的SWE-bench成绩保留比例,不是91.3%的任务成功率;中文问题更是选型时不能忽略的提醒。

较大的量化版也不意味着64GB电脑一概不能启动。专家可以部分从SSD读取,但那是用延迟换容量。项目列出的实验性UD-Q4_K_XL,下载约111GB,在指定64GB+12GB显卡环境下只有约7—8.5词元/秒。它与94词元/秒并排出现,恰好说明:同一个项目,换一种模型装法,体验可能差一个数量级。

Windows和Linux都有路,但AMD不是照抄NVIDIA

官方运行界面

这张官方界面还有一处值得停下来读:显示约11.2GB显存占用,同时系统内存约58.5GB。它是作者一次演示中的状态,不是新的独立性能成绩,却直观提醒我们:小显存方案并没有免掉主机内存的开销。

官方安装入口是Windows的START-HERE.bat,以及Linux的setup.sh。首次配置会让你选择模型版本、上下文和图像能力,再下载相应文件。本文不执行这些入口,也不替你安装依赖。安装前先核对显卡后端、CPU指令支持、空间和模型版本,省下的是失败之后重新下载的时间。

项目给出的聊天与监控界面,可以让你先观察是否正常载入,再测自己的短问答、长资料和目标任务。官方还公开了RTX 5070运行演示;演示证明作者展示过该路径,不证明我已经复现。界面比命令行友好,也不能替代兼容性核对。

平台与后端 本文能确认什么 不能顺手承诺什么
Windows/Linux+NVIDIA CUDA 是官方主要支持路径 同容量旧显卡拥有同样速度
Linux+AMD HIP 有AMD支持文档与作者成绩 与NVIDIA在相同条件下孰优孰劣
Windows+AMD HIP 提供预编译安装路径 功能完全对齐、已在所有独显上稳定验证
macOS+Apple芯片 安装文档未列Metal/MLX原生路径 64GB统一内存可以照搬这套后端

尤其要留意AMD的图像功能:文档中Linux路线使用CPU视觉编码,Windows HIP还有图像与校准方面的限制。因此“支持AMD”只说明某条运行路线存在,不代表所有功能与CUDA完全相同。细项以安装说明和AMD说明为准。

我的Mac能用吗?可以研究调用PC,不等于Mac在跑它

这部分对我这样的Mac用户反而更有用:不强求让每一台机器都原生运行全部模型。Windows或Linux电脑承担推理,Mac负责交互,通过局域网访问它的服务。前提是另一台电脑确实满足条件,而不是把缺少的硬件隐藏在“局域网”三个字里。

访问方式 客户端地址示意 关键区别
与服务同一台电脑 http://127.0.0.1:8080/v1 回环地址指向当前电脑
Mac访问局域网中的PC http://PC的局域网IP:8080/v1 必须使用运行Strata那台PC的地址
服务监听全部网卡 0.0.0.0 这是监听设置,不是客户端应填写的目标地址

官方列出了OpenAI风格聊天接口、Anthropic消息接口和Responses接口。对于LocalBrain这一类工具箱,值得研究的是“能否把该服务作为兼容后端”,而不是“能否让Mac直接启动Strata”。本文未验证LocalBrain与Strata的串流、工具调用、图像或推理字段适配,不能称已经打通。

真正接入前,先从单轮文本做起,再逐项核对长上下文、工具参数和视觉。兼容一个接口名称,不代表完整兼容每个客户端的行为。这个步骤听着不酷,但比连上以后才发现工具调用悄悄失败,更省时间。

最后一个坑:本地推理不等于整条工作流都不联网

同机使用先保持回环地址。需要局域网时,要按官方安全说明开启API密钥,并用防火墙限制可信来源。不要把8080端口转发到公网;局域网HTTP也不等于已经加密。这里只说明原则,不替你修改监听或防火墙。

Strata在本地推理,并不能替外部智能体保证隐私。网页搜索、第三方工具、遥测、远端MCP服务,都可能把内容送出电脑。保密资料要看完整的数据流,而不是只看模型在哪张显卡上。边界见项目安全说明。

开源免费同样不等于零成本:内存、SSD、电费和安装维护,仍然由使用者买单。项目代码的MIT许可证也不能自动替代模型权重自身的许可条件。我的建议是先用现有机器判断是否适合,不要仅凭一个速度数字去买硬件。

引用:我的判断 Strata值得关注的不是“12GB创造奇迹”,而是把显存、内存、CPU和SSD组织成一条可研究的推理路径。已有合适Windows/Linux电脑的人,可以按官方路线审慎评估;只有Mac的人,先区分原生部署和调用PC服务。先把内存账、质量账与接口账算清楚,再决定是否值得折腾。

这篇是官方资料分析,不是独立性能背书。你如果只记住一个问题,就记住:它跑起来时,电脑里另外几块硬件在替显卡干什么? 下次再看到“小显存跑大模型”,这个问题通常比宣传数字更有用。

自制软件

版本、功能变化和安装平台统一取自公开发行记录。

黑粉助手 HyphenAssistant

用手机浏览器接着操作电脑上的 DeepSeek Harness 会话;需原服务、电脑和网络保持在线,模型费用沿用原配置。

最新版本 1.0.1更新说明 ↗
最新变化

修复“开放端口”和“动态域名+开放端口”模式中,电脑无法回读自身外网地址时,配对二维码按钮一直不可用的问题。二维码和一次性配对令牌均在本机生成,不依赖在线二维码服务。外网回读失败时可以先生成二维码,再用手机移动网络实际测试;界面明确提示入口尚未验证。临时链接仍须实际连通后才能生成二维码。

查看公开下载与更新 ↗

方寸智匣 LocalBrain

本地 AI 工具箱:转写、配音、生图、视频和 MCP 工具集中管理;具体功能以对应平台版本为准。

最新版本 2.3.7-win-linux更新说明 ↗
最新变化

Windows · Debian · AppImage · 完整验收 SHA-256:exe f3c4bdf65c914fee9ad49e8abe99975db771f99be0206e3d59b6efdb4e181efb · deb 9bdc2a0260e51f641347ed6aa379d5a8ed676d11c2c254031d…

查看公开下载与更新 ↗

黑粉盒子 HyphenBox

免费大模型 API 雷达与本地统一路由:持续复测可用性,Key 只存本机。

最新版本 1.0.7更新说明 ↗
最新变化

图片与视频历史支持单条移除、批量清理已结束任务和撤销,默认只显示最近六条。清理状态与撤销信息在重开后保留,进行中的任务、生成文件、另存文件、原始事件与幂等键受保护;批量清理不受页面最近200条上限影响;新增可复用的平台协议配置:统一描述提交路径、类型化参数、模型列表、结果字段和异步查询。同协议新模型可沿用平台配置;协议、必填字段或输入…

查看公开下载与更新 ↗

黑粉录屏 HyphenScreen

录屏与剪辑一体:达芬奇式时间线、自动打码、导出前做成片体检。

最新版本 1.9.5更新说明 ↗
最新变化

修复 macOS 菜单栏右上角摄像头「视频效果」控制中心图标(人像居中 Center Stage、背景模糊、摄影室灯光)在 1.9.4 中消失的问题:将双二进制 execv 转发改为单主二进制直接链接 Electron Framework(桌面启动走 ElectronMain、无界面 api/info/pack/help 走 Elec…

查看公开下载与更新 ↗
分享到:

留言

正在加载留言…