EN
Uncategorized

Cloudflare AI Gateway 的模型别名:把换模型从部署动作变成路由配置

Cloudflare 在 11 月 4 日为 AI Gateway 加入模型别名池。应用只调用一个名字,网关负责顺序回退或智能路由,但观测和成本标签不能丢。

Jacky Wang 4 分钟阅读 311 阅读

我维护 API 服务时,换模型通常不是改一行配置那么轻松。要改环境变量、重新部署、观察错误率,有时还要处理不同供应商的返回格式。Cloudflare 在 2026 年 11 月 4 日给 AI Gateway 加入 model aliases,提供了另一种切法:应用请求写一个稳定的别名,网关把它路由到一组模型。

官方说明里有两个行为:可以按设定顺序回退,也可以用 smart routing 为每次请求选择模型。示例别名是 custom/support-fast,请求体里的 model 使用这个别名,再通过 cf-aig-gateway-id 选择对应 gateway。别名是 gateway 级别的,不是全账号的全局变量。

{
  "model": "custom/support-fast",
  "input": {
    "messages": [
      {"role": "user", "content": "Reply with a short greeting."}
    ]
  }
}

这个抽象对小团队很实用。应用不必知道当前的首选模型是什么,运维可以先把一个别名指向模型 A,再把顺序改成 A 失败时走模型 B。部署和路由调整分开后,回滚也应该更快。不过,我不会把它理解成“模型差异消失了”。上下文窗口、工具支持、结构化输出和费用仍然可能不同。

别名是稳定接口,不是模糊接口

我会给别名命名得非常保守,比如 support-fast-v1、code-review-low-cost-v1。别把 best-model 这种没有承诺的词写进业务代码。别名后面可以换模型,但它仍应有可测试的契约:最大输入、是否支持工具、响应 schema、超时和每次请求预算。

部署前跑一组固定样本,并把响应解析单独测试。生产请求记录 alias、最终 provider/model、路由原因、延迟、输入输出 token 和估算成本。用户只看到 alias,排障人员必须看到真实落点,否则“今天怎么变慢了”会变成猜谜。

alias=custom/support-fast
resolved_model=provider/model-a
route=primary
latency_ms=842
budget_cents=3

上面是日志字段示例,不是 Cloudflare 返回字段的保证。我的应用会自己补一层 correlation id,把网关响应和业务请求连起来。特别是 smart routing,一次成功并不代表下一次仍由同一模型处理。

回退也有副作用

顺序回退听起来简单,但失败类型要分清。网络超时、供应商 5xx、额度耗尽可以触发下一个模型;参数错误、上下文太长或业务拒绝通常不应该盲目重试。否则一个请求可能被多个 provider 处理,费用和延迟都翻倍,用户还可能收到风格不一致的结果。

我会给每次请求设一个总预算和 deadline,而不是给每个模型各自一份宽松额度。对写操作,回退尤其危险:如果上游已经完成动作但响应丢失,重试模型并不能解决幂等问题。网关解决路由,不解决业务事务。

这对我的云架构意味着什么

在 Kubernetes 里,我会把 alias 配置当成可审查的配置对象,保留变更记录,先在 staging 观察,再逐步切流。应用镜像不应该因为一次模型切换而重建。另一方面,别名池不能掩盖供应商锁定;统一的错误分类、超时和输出契约仍需要放在自己的适配层。

我喜欢这个功能的原因很简单:它把“换模型”从一次代码发布变成一次可以回滚的路由变更。但稳定的 alias 会让团队更容易忘记它背后的真实模型。我的下一步是先为一个低风险的内部接口建立别名,连续记录一周成本、延迟和失败原因,确认监控跟得上之后,才把它用于面向用户的请求。

我会额外保留一份路由变更的人工说明。比如为什么把模型 B 放到第二位,是因为价格、容量,还是某类工具调用失败?一个月后只看配置 diff,往往看不出当时的判断。对需要处理客户数据的服务,还要确认回退模型的地区、数据保留和内容过滤行为没有悄悄改变。

主要依据是 Cloudflare AI Gateway changelog、AI Gateway model aliases documentation 和 AI Gateway REST API reference。我会把这些页面当作配置核对清单,而不是把别名当成对供应商差异的抽象抹平。

发表评论