EN
Uncategorized

Google Cloud API Gateway 支持流式传输,长连接开始进入网关设计

Google Cloud 宣布 API Gateway 公测实时流式能力。对 AI 应用来说,能转发流不等于长连接运维问题消失。

Jacky Wang 4 分钟阅读 679 阅读

我在给 AI 接口接网关时,最先遇到的通常不是模型调用,而是响应还没结束,某一层已经替我把连接关了。浏览器看到一个半截结果,服务端日志却只写着 200。这个问题很难靠换一个模型解决,因为它发生在应用之外:代理、超时、认证、限流和观测系统都要理解“这次请求还活着”。

Google Cloud 在 2026 年 10 月 21 日的官方文章里宣布,API Gateway 的实时流式传输进入 Public Preview。支持范围包括 Server-Sent Events、WebSockets、gRPC 和 chunked transfer encoding,而且不要求修改现有 API specification。官方把它定位为面向实时和 AI 工作负载的能力,并提到网关仍然提供认证、限流和可观测性。

支持协议只是起点

这件事对我有吸引力,因为它把“流式响应”放回基础设施设计里,而不是每个服务单独打补丁。对聊天接口,SSE 可以逐段返回文本;对内部服务,gRPC streaming 能让一条连接承载多次消息;对兼容旧客户端的接口,chunked response 可能已经足够。

但我不会因为网关支持 WebSockets,就默认应用已经适合 WebSockets。长连接会改变资源模型。一个请求不再是几百毫秒的函数调用,而可能持续几分钟。连接数、每条连接的内存、空闲超时、客户端重连和部署期间的排空,都要进入容量估算。

我会先把网关行为写成可测的配置和检查,而不是凭感觉调 timeout:

streaming:
  protocol: sse
  idle_timeout: 60s
  max_duration: 10m
  retry_after_disconnect: true

这段是我的设计草稿,不是 Google Cloud 的固定配置。关键在于把几个经常被混为一谈的时间分开:首字节等待时间、两次事件之间允许的空闲时间、整条连接的最长时间,以及客户端重试的退避时间。没有这四个概念,所谓“支持流式”只是一句产品描述。

网关仍然要对每条流负责

流式接口的限流也不能只按请求数算。一个用户打开一条连接,可能持续消费服务端资源;另一个用户一次发起十条短请求,消耗模式完全不同。对 SSE,我会记录连接建立、首个事件、最后事件、正常关闭和异常断开。对 WebSocket,还要记录 ping/pong、服务端关闭码和重连次数。

认证同样不能被长连接掩盖。连接建立时的 token 可能在十分钟后过期,权限也可能在连接存活期间发生变化。如果服务把所有授权只做一次,撤销访问的效果就会延迟到下一次连接。不同业务的答案不一样,但至少应该明确:权限是按连接固定,还是按消息重新检查。

Google 的公告还提到新的网关会提供 deterministic default hostnames,方便环境配置和 infrastructure-as-code。这种小细节对我很实际。随机或依赖控制台状态的地址,会让 Terraform、预览环境和回滚都更脆弱。稳定的 hostname 不能解决所有部署问题,却能减少一类“代码没变、环境地址变了”的噪声。

Kubernetes 上最容易漏掉的是排空

如果流式服务跑在 Kubernetes,滚动发布时不能只看 Pod readiness。一个 Pod 变成 NotReady 后,新连接可能停止进入,但老连接仍然在。应用要有 graceful shutdown:停止接收新流,给旧连接发送明确的结束信号,等待一个上限,然后再退出。Ingress、网关和应用三层的 timeout 还必须对齐,否则其中一层会先切断连接。

我会用一个简单的运行检查开始:部署一个每五秒发一次事件的测试服务,观察连接跨过滚动发布、短暂上游错误和客户端重连。检查重点不是页面上有没有文字,而是事件序号有没有跳号、重试后有没有重复副作用、关闭时客户端能否分辨正常结束和异常中断。

Google Cloud 这次更新降低了采用流式 API 的门槛,但没有替团队做完协议选择和运行设计。我的判断是,未来的网关会越来越像一个有状态的交通枢纽,而不只是 HTTP 路由表。对 AI 产品,我会先选 SSE 做可观测的单向输出,只有在确实需要双向会话时才上 WebSockets。连接活得越久,责任就越不能藏在“网关支持”四个字后面。

参考来源:Google Cloud API Gateway 流式配置文档、API Gateway 发布说明、Google Cloud 最新公告

发表评论