EN
Uncategorized

GitHub Copilot Evals 和 Event Streams:Agent 进入 CI 后,先把观察做实

GitHub 在 11 月 17 日把 Copilot Evals 推入公开预览,又推出 Event Streams。对我来说,Agent 进入 CI 后最先要补的是可复现的观察和唤醒边界。

Jacky Wang 4 分钟阅读 51 阅读

上周我在看一个会自己改代码、开分支、等 CI 的 Agent 流程时,最先担心的不是它能不能写出第一版补丁,而是它停下来以后我还能不能解释发生了什么。一个任务显示“完成”,并不等于测试覆盖了真正的风险;一个任务没有动静,也不代表它应该继续占着运行时。

11 月 17 日,GitHub 在 Copilot 的更新里同时放出了两个很有操作味道的预览:Copilot Evals,以及 Event Streams。Evals 让开发者可以在提示词、模型、skills 和工具变化后,检查 Copilot 的结果是否仍然符合自己的标准。Event Streams 则把 GitHub 变成开发者、Agent 和自动化之间的实时协调层,Agent 没有工作时可以休眠,有事件时再被唤醒。把它们放在一起,重点就不是“又多了一个模型”,而是 Agent 的运行过程开始有了可检查的证据。

我会怎样定义一条 eval

我不会用一次演示来判断编码 Agent。先拿仓库里反复出现的任务做小样本:修一个带回归测试的 bug、给 API 增加一个字段、把一个 Kubernetes 清单的镜像标签升级。每条样本都固定输入、仓库状态和允许使用的工具,结果则记录测试、diff、权限和耗时。

一个最小的本地记录可以长这样:

{
  "case": "upgrade-image-tag",
  "base": "main@abc123",
  "allowed_tools": ["read", "edit", "test"],
  "checks": ["git diff --check", "npm test"],
  "must_not": ["kubectl apply", "send-email"]
}

这里的 must_not 不是装饰。Agent 如果能完成代码修改,却顺手碰了生产集群,这个结果应该判失败,即使测试全绿。对 SaaS 项目,我还会把“是否留下可审查 diff”作为结果的一部分。没有 diff 的成功很难复盘,只有 diff 没有测试也不够。

GitHub 对 Copilot Evals 的描述很适合拿来做起点,但它不会替我定义团队标准。我的标准会分成硬门槛和软评分:硬门槛包括测试通过、没有越权工具调用、没有秘密进入 diff;软评分才讨论改动大小、解释清晰度和人工返工时间。这样模型换掉以后,比较的是工作结果,不是某一次漂亮的聊天记录。

Event Streams 改变的是等待方式

很多 Agent 系统的问题不在执行,而在等待。它开了一个长进程,等 PR 评论、等 CI、等审批,期间既占资源,也让失败恢复变得含糊。Event Streams 的思路是让 Agent 没事时睡眠,事件抵达再唤醒。对我这种会把服务放进 Kubernetes 的人,这会把设计重点从“让 Pod 永远活着”移到“事件来了能否恢复同一份状态”。

我会把状态写成显式的任务记录,而不是依赖进程内内存:

task:
  id: pr-482
  phase: waiting_for_ci
  last_event: check_suite.completed
  resume_from: verify.patch
  budget_seconds: 900

重启后,Worker 读到 resume_from,再检查事件 ID 是否已经处理过。没有幂等键的唤醒机制很容易重复评论、重复开 PR,或者把旧的 CI 结果当成新的信号。实时不等于可靠,可靠来自状态、去重和能被人接管的暂停点。

我会先做小范围接入

我不会把所有仓库一起交给 Agent。选一个低风险服务,先收集十到二十个固定用例,比较人工基线和 Agent 结果。Evals 负责告诉我变化后质量有没有掉,Event Streams 负责告诉我等待和恢复是否可控。两者都通过后,才考虑让它自动开 PR;合并和生产发布仍然留在人工批准之后。

我的判断是,编码 Agent 的竞争会慢慢从“谁更会写代码”移到“谁能把失败讲清楚”。如果一条自动化链路不能告诉我它读了什么、改了什么、为什么停下,我宁愿它慢一点。

还有一个容易漏掉的基线:同一批用例要让人类工程师也跑一次。不是为了把人和模型做成排行榜,而是要知道返工来自哪里。若人工也常常因为测试环境不稳定而失败,换模型没有意义;若 Agent 的失败集中在权限判断,我会优先收紧工具,而不是继续调 prompt。每次版本更新后固定重跑,保留输入 commit、工具版本和结果摘要,才能知道改进到底发生在模型、harness 还是测试环境。

在实际接入时,我还会给每个任务一个预算:最多多少次工具调用、最多运行多久、最多允许改动多少文件。预算耗尽就暂停并交给人处理。这个限制不是为了惩罚 Agent,而是防止一个失控的循环把“修测试”变成“改半个仓库”。

预算接近上限时也应该发出告警,并保存现场,而不是静默失败。这样我收到通知后,可以从最后一个安全步骤继续,也能判断是任务太难,还是工具边界太宽。

GitHub Copilot Evals 公开预览、GitHub Event Streams 预览、GitHub 2026 年 11 月更新总览

发表评论