都说比 Ollama 快，可没人真跟 Ollama 比过

摘要 四个 Mac 本地推理引擎，四套自己出的题 硬件、模型、量化格式、对手，没有一项对得上 黑粉科技 · 公开资料核对 · 2026-09-05

先说清楚这篇是怎么做的：**我没有在自己机器上跑实测，这是一篇资料核对。**我做的事情很简单——把 Ollama、Rapid-MLX、vMLX 这几家自己公布的跑分数字，连同它们各自的测试条件，一条条摘出来摆到同一张桌子上，看看它们到底能不能互相比较。

起因是最近总看到「某某引擎比 Ollama 快 N 倍」的说法。而 Ollama 自己早在半年前就换过一次心脏：**2026 年 3 月 30 日，它官方宣布 Mac 上的推理改由苹果的 MLX 框架驱动。**所以现在的局面是，一个刚换完发动机的领跑者，和一群举着秒表说自己更快的挑战者。

建议 先给结论：**这些数字每一个单独看都成立，放在一起却一个都不能比。**硬件不同、模型不同、量化格式不同、连对手都不是同一个——它们不是在同一场比赛里跑出来的成绩。

🧩 先搞清楚：推理引擎是哪一层

本地跑大模型这件事，可以拆成三层。最底下是模型权重，就是你下载的那几十 GB 文件；最上面是你用的客户端，聊天窗口或者编程助手；中间夹着的那层叫推理引擎，负责把权重装进内存、调度显卡、一个 token 一个 token 地吐出来。同一个模型，换个引擎，速度可以差出好几倍——这就是这场架的价值所在。

而 MLX 是苹果自己为 Apple Silicon 写的机器学习框架，最大的特点是吃透了「统一内存」这个架构——Mac 上 CPU 和 GPU 共用同一块内存，不用来回搬数据。在此之前，Mac 上的主流方案是 llama.cpp 的 Metal 后端。Ollama 这次换心脏，换的就是从 llama.cpp 那条路挪到 MLX 这条路。

值得一提的是，Ollama 在公告结尾专门致谢了 llama.cpp 与 GGML 团队。**这套「换了引擎但记得谢上一任」的做法，在开源世界里不算常见，值得记一笔。**换心脏不等于否定前任，只是硬件变了、最优解跟着变。

⚡ Ollama：官方数字很漂亮，但它比的是自己

Ollama 公布的提升幅度确实好看。按它官方给出的图表，同一台机器上：**预填充（prefill）从 1154 token/秒 涨到 1810，解码（decode）从 58 token/秒 涨到 112。**它还补了一句，0.19 换成 int4 量化能到 1851 和 134。在 M5、M5 Pro、M5 Max 上，它还会调用新的 GPU 神经加速器。

警告 但图表底下那行小字才是关键。官方注明：测试用的是阿里 Qwen3.5-35B-A3B，**0.19 这边量化成 NVFP4，0.18 那边量化成 Q4_K_M。****两边换的不只是推理引擎，连量化格式都换了。**所以这个「快了 57% 和 93%」，是「换 MLX 内核」加「换量化格式」两件事的合力，不是纯粹的引擎收益。官方没有藏这个信息，但它放在图表下面，而数字放在图表上面。

顺带解释一下 NVFP4 是什么：这是英伟达推的一种 4 位浮点格式，Ollama 采用它的理由写在公告里——让本地跑出来的结果，和云端生产环境用同一套格式，减少「本地测得好、线上不一样」的偏差。这个理由本身是站得住的，只是它恰好也让新旧版本的对比不再纯粹。

还有个容易被跳过的门槛：这版预览要求你的 Mac 有 32GB 以上统一内存。也就是说，那张漂亮图表描述的世界，8GB、16GB 的 MacBook Air 用户暂时进不去。缓存那块倒是实打实的改进——跨会话复用、在提示词的合适位置存快照、更聪明的淘汰策略。这三条听着抽象，落到编程 agent 上就是：同一个系统提示词反复发过去时，不用每次从头再算一遍，这是长任务里最疼的那一段开销。

🏷️ Rapid-MLX：标题写 4.2 倍，正文写 3 倍，跑分表里没有 Ollama

挑战者里声量最大的是 Rapid-MLX。它的 GitHub 简介第一句就是「Apple Silicon 上最快的本地 AI 引擎，比 Ollama 快 4.2 倍」。项目本身不是玩票——3.7k 星、413 个 fork、2280 次提交，我截图那会儿最近一次提交是 4 小时前，是个活跃项目。

但往 README 正文里翻，同一个项目对速度的说法变成了另一句：**「最高可达 Ollama 吞吐的 3 倍（实测）」。**标题 4.2 倍，正文 3 倍。更要紧的是——**它公开的那几张跑分表里，根本没有 Ollama 这一行。**表里测的是它自己在不同模型、不同上下文长度下的成绩，对照组是它自己的上一个版本。

数据来自 Rapid-MLX 仓库自行公布的基准表，三次请求取中位数、每次清空前缀缓存。对照组是它自己的旧版本，不是 Ollama。

顺带一个同样的毛病：仓库简介写着「Works with Claude Code, Cursor, Aider」，但 README 正文自己交代得很清楚——**Cursor 的自带密钥请求要绕经 Cursor 官方服务器，服务器碰不到你本机的 localhost，所以它不给 Cursor 生成本地配置。**标题里的「Works with Cursor」，正文里是「用不了」。

📊 vMLX：数据很猛，但对手换成了 LM Studio

第三家 vMLX 是个免费开源的 Mac 应用，主打前缀缓存、分页 KV 缓存、连续批处理和 MCP 工具，官网说最多能并发 256 路请求、开放 23 个推理参数给你调。它公布的数字更夸张：在约 10 万 token 的超长上下文下，**冷启动首字 0.65 秒对 131.06 秒，冷启动提示处理速度 154,121 token/秒 对 686。**两个数字之间差了两个数量级，看着像碾压。

但看表头就知道这个数字该怎么读。**它比的是 LM Studio，不是 Ollama。**测试机是 256GB 的 M3 Ultra，模型是 Llama 3.2 3B——一个 30 亿参数的小模型，和前面两家测的 270 亿、1800 亿完全不是一个量级。时间是 2026 年 2 月。

警告 更关键的是那两张配置卡片。左边 vMLX 那栏明晃晃列着三个开关：连续批处理、启用前缀缓存、使用分页缓存；右边 LM Studio 那栏写的是 Default settings（默认设置）。**一边是精调过的参数，一边是开箱默认——这不是同一条起跑线。**表里甚至有一行反过来了：约 10K 上下文时，LM Studio 的缓存加速比是 21 倍，vMLX 只有 1.6 倍。

🔍 摆到一起：没有任何两家跑的是同一套题

把三家的测试条件并排放，问题就一目了然了。这不是说谁在撒谎——每家公布的数字大概率都是真的，问题在于它们各自出了一套自己擅长的题，然后各自考了满分。

以上均为各项目自行公布的测试条件，由本文从官方公告、仓库 README 与官网逐条摘录整理。

所以「比 Ollama 快 4.2 倍」这句话，目前没有任何一张公开的表格能支撑它——因为没有一张表把两者放进过同一次测试。这不算造假，但它是一句你无法验证的宣传语。

这套路数一点都不新鲜。当年显卡厂商发新卡，跑分图永远是自家新卡对自家旧卡，驱动版本还不一样；手机厂商发布会上的「快 X 倍」，也总有一行小字写着测试条件。早在浏览器大战的年代，各家就都拿自己写的 JavaScript 基准互相攻击，谁出题谁赢。技术圈换了几轮主角，出题权就是胜负手这件事一直没变。

🧬 一个岔开去的发现：两个挑战者是同一个祖宗

核对资料时撞见一件有意思的事。Rapid-MLX 在仓库结尾自己交代：它的前身是 Wayner Barrios 写的 vLLM-MLX，2026 年 3 月才改名成现在这个名字，引擎里的分页 KV 缓存、前缀缓存和连续批处理都是那时候打的底子。而翻到 vMLX 官网的安装说明，赫然写着一行「一键 vLLM-MLX 安装器」。

换句话说，**这两个举着不同数字互相不提对方的挑战者，技术上出自同一个源头。**这解释了一件事：为什么它们俩的卖点几乎重合——都在讲前缀缓存、分页 KV、连续批处理。它们不是从两个方向逼近同一个问题，而是从同一棵树上分出来的两根枝。读它们的宣传时，把这条血缘关系放在心里，很多「独家特性」就没那么独家了。

💰 谁赚、谁亏、谁沉默

**谁赚：抢到本地 AI 入口的那家。**Mac 上跑模型这两年从「玩具」变成了「agent 的后端」——Claude Code、Codex 这类编程助手真的会连着本地模型干上几十分钟活。谁成了默认引擎，谁就站在所有本地流量的必经之路上。所以 Rapid-MLX 一口气把 12 个 agent 客户端做了接口验证，其中 5 个（Claude Code、Codex CLI、Hermes、Aider、DeepSeek Harness）每次发版都要重新端到端跑一遍才准发布；Ollama 则直接给一条命令接管 Claude Code。大家抢的不是跑分，是你那条默认配置。

**谁亏：照着标题选引擎的普通用户。**你在 GitHub 上看到「快 4.2 倍」，很难有耐心翻到 README 中段去核对那句「最高 3 倍」，更不会去数跑分表里有没有对手。宣传语是给扫一眼的人写的，脚注是给较真的人写的——而绝大多数人只扫一眼。代价是你可能为了一个不存在的倍数，去折腾一次本来不必要的迁移。

**谁沉默：没有一家会说「我的数字不能和别家比」。**三家都规规矩矩把测试条件写在了图表下面、表格脚注里，没有一家在显眼处提醒你「此数字与竞品不可比」。**披露了，不等于提示了。**这中间的落差不是谁在撒谎，而正是宣传起作用的地方——沉默的那句话，往往才是你最该知道的。

至于为什么是现在打起来——因为 MLX 这条路刚被证明走得通。Ollama 用官方公告替整个生态验证了「换 MLX 能快一大截」，等于把水烧到了 99 度，挑战者们只需要证明自己比它再快一点点，就能分到注意力。领跑者做完市场教育，追赶者才有戏唱，这套剧本几乎每次技术换代都会重演一遍。

🧭 那你到底该怎么选

既然横向比不了，就别横向比。**换个判断方式：不看谁快，看它们各自在优化什么。**这三家其实走的是三条不同的路，看清路，比看跑分有用得多。

分类依据是各项目自己声明的技术重点，不是速度排名。

如果你一定要知道哪个在你机器上更快，唯一靠谱的办法是自己拿同一个模型、同一份提示词、同一种量化格式跑一遍——这也正是这篇文章没有替你做的事，因为要做就得做对，条件对不齐的实测和这些宣传语一样没有价值。

最后留一个能长期用的习惯：**下次再看到「快 N 倍」，先找三样东西——机器型号、模型和量化格式、对照组是谁。**这三样只要缺一样，那个倍数就只是一句广告词。找齐了，你才算真的读懂了那张图。

摘要：一句话收尾 Ollama 半年前换上 MLX 内核，把 Mac 本地推理这条路走通了；Rapid-MLX 和 vMLX 举着更猛的数字追上来。但把三家的测试条件摊开看，机器、模型、量化格式、对照组没有一项对得上——每家都在自己出的题上考了满分。这些引擎都值得试，只是别拿它们的宣传数字互相比较，那个比较从来没有真正发生过。

📚 资料来源

• Ollama 官方公告《Ollama is now powered by MLX on Apple Silicon in preview》：https://ollama.com/blog/mlx
• Rapid-MLX 开源仓库：https://github.com/raullenchai/Rapid-MLX
• vMLX 官网与对比数据：https://vmlx.net/
• Apple MLX 框架：https://github.com/ml-explore/mlx