2026 年在 Mac 本地跑编程模型：Flint、Qwen3.6 实测怎么看

本地模型的竞争已经从“能不能跑”进入“同一台 Mac 上，哪个推理引擎更适合编程 Agent”。社区对 Qwen3.6 和 Flint 的测试显示，llama.cpp、Ollama、Kapitsa 等引擎在相同硬件和量化模型上可以出现明显速度差异。

目前公开的 Kapitsa 对比中，M4 Pro 48GB 上 Qwen3.6-35B-A3B 4-bit 的 decode 结果约为：llama.cpp 69 tok/s、Ollama 89 tok/s、Kapitsa 161 tok/s。这个数字来自项目自己的 benchmark 页面，不应直接理解为所有 Mac、所有上下文长度或所有 Agent 任务都能复现。Flint 在较小内存设备上的结果也依赖量化方式、模型版本和专用 kernel。

对编程 Agent 来说，单纯 decode 速度不是全部。还要测首 token 延迟、长上下文衰减、工具调用格式稳定性、并发、内存峰值和错误恢复。一个每秒更快但经常输出错误 JSON 的引擎，可能比慢一点但稳定的引擎更贵。

建议自己的 Mac 做三组测试：短代码补全、长文件重构、带工具调用的多轮任务。固定模型文件、上下文长度、温度和 prompt，记录 p50/p95 延迟、tok/s、峰值内存和任务成功率。不要把不同量化版本、不同 speculative decoding 配置混在一张表里。

本地推理真正的价值不是追求排行榜第一，而是让敏感代码不出设备、让 Agent 在断网时仍可工作，并把成本从按调用计费换成设备折旧和电力。引擎速度只是决定这条路线是否舒服的一个变量。

来源

Kapitsa benchmark、Kapitsa 项目主页、llama.cpp。