EN
Uncategorized

Google Cloud HPC Agent Skills:让 Agent 先理解集群,再谈自动优化

Google Cloud 在 11 月 13 日介绍 HPC 场景的 Agent skills。对 Kubernetes 和 GPU 工作负载来说,真正的门槛是把存储、放置和网络约束写进工作流。

Jacky Wang 4 分钟阅读 41 阅读

我排查 Kubernetes 上的 GPU 工作负载时,最怕看到一个看起来合理的建议:把计算型 VM 换上去、把并行文件系统接上、把副本数调高。每一条单独看都像优化,组合起来却可能和放置策略、网络拓扑或数据访问模式冲突。Google Cloud 在 11 月 13 日发布的 HPC 更新,正面提到这个问题:没有领域和基础设施上下文,Agent 可能配错存储层、忽略 placement policy,或者在多节点 MPI 网络故障时卡住。

它没有再做一个聊天窗口,而是把 HPC 专业知识包装成可复用的 Agent skills,用来引导复杂的设置和优化流程。对我来说,这个方向比“让模型直接改 YAML”靠谱,因为它承认集群不是一堆可以随便替换的资源。

先把约束变成输入

如果要让 Agent 帮忙做一次训练任务排查,我会先给它只读的集群事实:节点标签、GPU 型号、可用区、StorageClass、网络带宽、队列策略和最近的事件。它可以提出方案,但不能凭猜测补齐缺失信息。

一个面向排查的输入文件可以是:

workload: mpi-training
namespace: research
read_only: true
constraints:
  gpu_family: approved-only
  zones: [australia-southeast1-a, australia-southeast1-b]
  storage: parallel-read
  network: low-latency
forbidden_actions:
  - delete_pvc
  - resize_node_pool
  - apply_production_manifest

read_only: true 应该由工具权限实现,而不是写在提示词里提醒模型。Agent 可以读取 kubectl get 的结果,却不应拥有 apply 或删除资源的凭据。生成的建议要经过离线验证,确认它没有把不可兼容的 GPU、存储和网络组合放在一起。

Agent skills 的价值在边界知识

HPC 任务有很多普通应用看不到的细节。一个作业可能需要高吞吐文件系统,但不是所有 checkpoint 都适合放在那里;某个 GPU 节点的算力足够,却可能因为跨区域通信让整体训练变慢;MPI 程序启动失败,问题也许不在容器镜像,而在互联网络的配置。

把这些判断写成 skill,意味着 Agent 不只拿到命令,还拿到适用条件、常见冲突和验证步骤。我会要求每个建议附带“为什么现在适用”和“什么证据会推翻它”。例如,它推荐换 StorageClass,就必须指出数据量、读写模式和迁移成本;它建议改变 placement,就必须说明对网络和故障域的影响。

这会让自动化变慢一点,但对于昂贵的 GPU 集群,慢一点往往比错误试错便宜。尤其是涉及训练任务时,重启一次不是普通 Web 请求的重试,可能意味着等待队列、重新加载数据和丢失中间状态。

我会把建议和执行分成两条线

第一条线只做观察和报告:收集指标,解释瓶颈,给出候选改动,输出一份可审查的 patch。第二条线才可能执行,而且需要人为批准、资源预算和回滚方案。一个简单的审批记录可以包含:

proposal: increase-mpi-network-buffer
evidence: p95 inter-node latency rose after node-pool change
scope: namespace=research, job=run-184
rollback: restore config revision 31
approval: pending

这和我在生产 Kubernetes 里的习惯一致:Agent 能帮我读得更快,但它不应该因为“看起来有道理”就改变集群。Google 的文章也提到,HPC Agent 需要深度的基础设施和领域知识;我会把这句话理解为工程要求,而不是宣传口号。

先在离线样本上验

我会保存一批已经解决的故障样本,去掉敏感数据后让 Agent 重新判断。验收不是看它是否猜中一个答案,而是看它有没有列出必要证据,是否识别出不兼容组合,是否在证据不足时停下来。等它在这些样本上稳定后,再给它一个只读的开发集群。

我的预测是,云厂商接下来会把 Agent skill 做成基础设施产品的一部分,但最有价值的 skill 不会是“替你点一下创建集群”。它们会更像一套带证据的运行手册:知道什么能组合,知道什么时候不能动,也知道把问题交还给工程师。

成本也必须进入建议。一次只看 GPU 利用率的优化,可能把瓶颈从计算搬到存储,最后让排队时间和每个 job 的费用一起上升。我会要求 Agent 报告预计改变的资源、观察窗口和停止条件,例如连续 15 分钟的网络 p95 没有改善就回滚。它可以提出更大的节点池,但不能把预算上限藏在一句“提升吞吐”后面。对小团队而言,清楚的停止条件往往比更聪明的自动调参更有用。

我也会把 GPU、存储和网络的观察窗口写入报告,避免把一次瞬时尖峰当成长期瓶颈。比如先看最近五个成功 job,再拿一个失败 job 对照;没有这个基线,Agent 很容易把正常的 checkpoint 抖动描述成系统故障。

Google Cloud HPC 与 AI 更新、Google Cloud AI 基础设施总览、Google Cloud AI Infrastructure 10 月更新

发表评论