TPU 8tx 与 TPU 8i Max:AI 基础设施开始按 Agent 的等待时间来设计
Google 于 11 月 9 日公布 TPU 8tx 与 TPU 8i Max。对运行 Agent 的团队来说,关键不只是峰值算力,还有训练、推理和等待之间的资源分配。
做 Kubernetes 服务时,我经常看到一种不太显眼的浪费:Pod 还活着,但真正干活的请求已经结束了。Agent 更容易放大这个问题。它可能运行一次工具,等待外部 API,再等用户确认,最后才继续推理。如果每个会话都长期占着昂贵的加速器,利用率看起来很忙,账单却未必合理。
Google 在 11 月 9 日公布了 TPU 8tx 和 TPU 8i Max,并把它们放进第八代 TPU 产品线。官方的定位很清楚:8t 面向大规模训练,8i 面向实时推理。Google 还把 Agent 工作负载、上下文窗口和推理响应时间放在同一篇公告里讨论。对开发者来说,这比“又有一代更快芯片”更有用,因为它提示我们重新看待资源分工。
官方来源是 TPU 8tx 与 TPU 8i Max 公告 以及 GKE 新功能说明。后者能帮助我把硬件发布和实际的云平台能力分开,不把产品公告直接当成迁移建议。
训练和在线推理不是同一张账单
训练的目标通常是让大批加速器持续工作,数据管线和同步效率决定吞吐。在线 Agent 则更像一个断断续续的循环:模型回答一轮,工具执行一段,系统等待一段,然后继续。峰值 token 速度当然重要,但排队、启动、网络往返和上下文搬运也会直接改变用户体验。
我会把一个 Agent 请求拆成几个时间段,而不是只看 GPU 或 TPU 利用率:
request = model_turn + tool_call + external_wait + human_wait + resume
如果 external_wait 和 human_wait 占了大部分时间,就不应该用“整段会话都绑定加速器”的架构。可以把状态写入持久化存储,让推理工作在需要时重新排队;也可以按延迟目标分层,短请求走实时池,长任务走更便宜的异步池。这些选择并不由芯片型号自动决定,但芯片的定位会影响这张表怎么画。
“实时”要写成指标,不要写成形容词
我还会把缓存命中、模型加载和跨区域流量单独记下来。一个看似很快的推理服务,如果每次都要搬运巨大的上下文,最终延迟仍然会落在网络上。对多租户 SaaS 来说,租户隔离也会限制缓存共享;为了省一点 token,不能把客户数据放进一个没有明确边界的公共缓存。基础设施选择最终要回到请求的真实形状,而不是宣传页上的单项最高值。
我不会只在方案里写“低延迟”。至少要有首 token 时间、每轮工具调用时间、恢复时间、队列等待时间和每次任务的 token 数。对于一个需要浏览器、代码执行和人工审批的 Agent,模型本身只占请求链路的一段。
Google 的公告提到,TPU 8tx 和 TPU 8i Max 是一年内推出的四个第八代 TPU 系统中的两个,也提到 TPU 已服务接近 100 个客户。这个数字说明产品线正在扩展,但不代表任何小团队都该直接迁移。真正的决策仍要看框架支持、区域可用性、数据移动、运维技能和现有模型的适配成本。
我会先做一张资源时间图
对于运行在云上的 Agent,我会记录每次请求从队列进入到最终完成的时间,并把等待原因分开。一个简单的日志字段就能帮助判断瓶颈:model_ms、tool_ms、queue_ms、human_wait_ms、input_tokens、output_tokens。没有这张时间图,团队很容易因为看到新硬件的宣传数字,就去优化错误的部分。
对我来说,TPU 8tx 和 TPU 8i Max 的重要信号不是“所有 AI 都要换 TPU”,而是基础设施供应商开始承认 Agent 不像传统批处理。未来的集群调度会更在意会话何时暂停、何时恢复,以及状态怎样从计算节点上剥离。我会先用现有工作负载做分段测量,再决定是否值得为新加速器改平台。先测等待时间,再谈峰值算力,这会是更可靠的顺序。
