EN
Uncategorized

Google Cloud 接入 OpenAI 模型后,选模型不再只是 API 价格题

Google Cloud 最近把 OpenAI 模型放进 Model Garden。对运行 Agent 的团队来说,真正变化是路由、权限、日志和故障切换可以放进同一个云边界。

Jacky Wang 3 分钟阅读 79 阅读

以前我给一个 Kubernetes 上的 Agent 选模型,通常先看 API 价格和延迟,然后再处理网络、密钥、日志与供应商切换。10 月 21 日 Google Cloud 宣布把 OpenAI 的 GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Luna 放进 Model Garden,先向部分企业客户开放私有预览。官方同时强调,平台上还可以管理更多第一方和第三方模型。

这件事对开发者的意义,不是“又多了几个模型名”。它把模型选择推向基础设施问题:同一个身份边界里,谁可以调用哪个模型?请求是否必须留在某个区域?路由失败时,能不能降级而不改变业务语义?

先把模型当作可替换的后端

应用代码不要到处写模型名。我会把路由放进一个小网关,输入任务类型、预算和数据级别,输出允许的模型与参数。比如摘要可以走低延迟模型,代码审查走推理更强的模型;高敏感数据则只走批准的区域。

route:
  code_review:
    model: gpt-6-astra
    max_output_tokens: 2400
    approval: required
  short_summary:
    model: gpt-6.1-sol
    max_output_tokens: 700
    approval: none

示例里的模型名称来自 Google Cloud 公告,参数是我会在自己系统里明确写出的配置,不代表官方推荐值。重点是把决策从 prompt 里拿出来,让它可以审计。

云边界带来的好处和误区

统一平台可能简化身份、账单、网络出口和监控。Google Cloud 也把 agent-native infrastructure、GKE 能力和模型选择放在同一个基础设施叙事里。但“在同一个 Model Garden”不等于所有模型的行为、数据处理和可用区都一样。仍要逐项读模型文档,确认保留策略、区域、配额和版本生命周期。因此我会先画出请求的实际路径:应用身份如何到达网关,哪些字段跨过边界,响应和日志保存在哪里,故障时是否会跨区域。还要区分模型不可用、配额耗尽和策略拒绝,因为前两种可以触发已批准的回退路由,策略拒绝则不应静默改投限制更宽的模型。

路由配置还应定义兼容性检查。回退模型是否支持相同的输入格式和工具调用,输出是否仍满足下游 schema,降级后是否需要降低并发或关闭某个功能,都要在切换前写成可测试的条件。否则“成功回退”可能只是返回了一段无法被业务消费的文本。

我也会给路由加版本号,并把变更和一组固定输入一起评审。这样出现差异时,可以判断是模型变化、参数变化还是网关规则变化,而不是把所有问题归因于 Agent。

我还会记录每次路由的模型、版本、区域、token 用量和结果状态。没有这些字段,成本异常会被误判成模型质量问题,供应商故障也会被误判成 Agent 不稳定。

先做可回退的灰度

从一个只读任务开始,例如内部文档摘要或测试报告归纳。固定输入,保存输出,不把结果直接写回生产数据库。观察延迟、错误码、输出格式和费用,再决定是否扩大到客服或代码变更。

云厂商把更多模型放到同一入口后,开发者的工作反而更像平台工程师。我的偏好是让 Agent 面对一个稳定的内部模型接口,把供应商选择藏在可审查的路由配置里;这样下一次模型发布,改的是一条配置和一组评测,不是整个产品。

发表评论