EN
Uncategorized

Ollama 接入 Phonon:Mac 本地 AI 开始处理声音了

Ollama 10 月为 macOS 加入 Phonon 语音模型。真正值得测试的不是“能不能说话”,而是流式输出、内存和隐私边界。

Jacky Wang 4 分钟阅读 315 阅读

我做语音功能时,最容易低估的不是模型,而是等待感。用户按下按钮后,如果要等一整段音频生成完才听到第一个字,体验马上像一个远程批处理任务。Ollama 10 月 24 日宣布支持语音模型,第一款是 Gradium 的 Phonon,并且先在 macOS 上提供支持。这让我更愿意重新看一眼本地语音,而不只是把它当成离线聊天模型的附属功能。

官方给出的使用方式很短:Ollama 0.40.11 或更高版本,拉取 phonon,然后通过兼容 OpenAI 的接口请求语音。返回默认是 24 kHz 单声道 WAV,也可以请求原始 16-bit PCM。更重要的是,响应可以流式返回,播放器不用等整段文件完成才开始工作。

先把“本地”拆清楚

本地运行有两个边界。模型权重和推理在 Mac 上,声音数据就不必离开机器;但应用仍可能把日志、提示词或用户配置发送到别的服务。我要检查的不只是 Ollama 进程,还包括应用的网络请求、缓存目录和崩溃日志。

官方示例是一个很好的最小测试:

ollama pull phonon
curl -sN http://localhost:11434/v1/audio/speech \
  -H 'Content-Type: application/json' \
  -d '{"model":"phonon","input":"Playback starts right away."}' \
  | ffplay -nodisp -autoexit -loglevel error -

我会把这条命令改成自己的测试文本,记录从请求发出到第一段音频可播放的时间,再记录完整输出时间。短句和长段落要分开测,因为流式输出改善的是首字延迟,不一定让总时长变短。

Apple Silicon 的优势和代价

Ollama 说 Apple Silicon 版本使用 MLX 加速;在 M5 Max 的测试里,它比 Gradium 自己的 ptts runtime 快 35%,测试方法是生成 45 秒语音并取 10 次运行的中位数。这个数字属于官方测试,不是我在自己的机器上复现的结果,所以我不会把它当成所有 Mac 的保证。

官方还提到 Phonon 在 Ollama 中使用 bf16,而参考 runtime 在 CPU、Neural Engine 和 GPU 之间使用不同精度。对开发者来说,这种实现细节比一句“本地很快”更有用,因为内存压力、温度和并发数都会改变实际体验。我的 MacBook 如果要同时跑编码模型、数据库和语音服务,最先遇到的可能不是算力不够,而是统一内存被吃光后系统开始换页。

我会把它放在哪里

我不会马上把本地 TTS 当成所有用户的生产后端。更适合的第一步是开发环境、隐私敏感的草稿、会议后的本地朗读,或者网络断开时的降级路径。云端语音仍然有声音选择、弹性并发和运维成熟度的优势;本地语音则把数据路径和成本控制在设备侧。

我会做一个很小的适配层,把 speak(text) 后面的实现分成 local 和 cloud 两种。适配层只返回音频流、采样率和错误类型,业务代码不关心模型名。这样当一台 Mac 的内存不够,或团队需要统一声音时,可以切换后端,不必重写产品逻辑。

测试时我还会把热机状态记下来。刚启动模型时的首包时间很漂亮,不代表连续播放十分钟后也一样。应该分别观察冷启动、第二次请求、并发两个请求和系统内存接近上限时的表现。对用户来说,偶尔慢一点可以接受;播放到一半断流、没有明确错误,就会让人以为产品坏了。错误类型至少要区分模型未安装、内存不足、输入过长和音频输出失败。

我的判断是,本地 AI 的下一步不会只围绕“能不能跑一个更大的模型”。声音这种短反馈更能检验端侧工程:首包延迟是否稳定、应用是否真的不上传内容、设备发热时会不会拖垮其他任务。我会先把 Phonon 放进内部工具和离线原型里,等真实的音频缓存、并发和恢复问题露出来,再决定它是否值得进入 SaaS 的正式路径。

如果最后还是选择云端,也不代表本地实验白做了。端侧版本逼着我把音频接口、缓存策略和错误处理写清楚,这些边界同样适用于云端。先把接口做干净,再比较费用和声音质量,通常比先绑定某一家供应商更省事。

我也会保留一个完全离线的演示路径,让用户能清楚看到数据没有上传。隐私不是设置页里一句口号,而是断网后功能还能否按预期工作的可观察结果。

Ollama: Speech models Ollama: MLX on Apple Silicon Ollama API documentation

发表评论