Rackspace 这次事故告诉我:网站恢复不等于 Kubernetes 控制面恢复
Rackspace Spot 集群的 CA 轮换让 Ingress Controller 失去 Kubernetes API 连接,网站返回 503。结合 11 月美国多起云与企业服务故障,拆解为什么控制面、证书和变更验证比单个 Pod 更值得监控。
网站能打开,通常只证明最后一段链路暂时正常:浏览器找到了入口,入口找到了后端,后端返回了页面。它不证明控制面、证书轮换、服务发现和下一次变更都处于健康状态。
2026 年 11 月 22 日,我自己的 jackywang.me 就遇到了这种故障。域名没有换 IP,WordPress Pod 也没有挂。真正坏掉的是 Kubernetes Ingress Controller 与 API Server 之间的信任关系:集群 CA 轮换后,Controller 进程仍使用旧 CA,无法继续监听 Service、EndpointSlice、Ingress 和 Secret。结果是后端在集群内部返回 200,公网入口却持续返回 503。
这次修复不是重建网站,也不是改 DNS,而是滚动重启 Ingress Controller,让它重新加载轮换后的 CA。重启完成后,jackywang.me 先返回 301 到 www.jackywang.me,再返回 200;后端 endpoint 仍然是 ready。这个差异很重要:应用层恢复和入口控制面恢复,是两件不同的事。
我观察到的故障链
我能确认的证据只有几条:
- apex 与
www的 DNS 仍指向原来的 LoadBalancer 地址; - WordPress Pod 处于
Running,Service 也有 ready endpoint; - 容器内访问 Apache 返回
200 OK; - 公网访问经过 NGINX Ingress 返回
503; - Ingress Controller 日志反复出现
certificate signed by unknown authority,并且无法 watchEndpointSlice、Service、Ingress和Secret; - 查看 CA 指纹后,发现集群根 CA 在 11 月 20 日轮换,而 Controller 在轮换之前启动;
- 只重启 Ingress Controller,不改 DNS、不删数据,公网页面恢复。
这里最容易误判的是“Pod 还在,所以服务没问题”。Pod 只是数据面的一部分。Ingress Controller 需要持续从 Kubernetes API 读取对象,把 Service 和 EndpointSlice 转成 NGINX 的上游配置。如果它失去 API 连接,已经加载的配置可能暂时还能工作,也可能在某个 reload、endpoint 变化或证书更新后突然全部失效。
为什么这和美国最近的多起故障放在一起看
我不会把这些事件说成一个已经证实的共同攻击或同一个根因。公开证据并不支持这种结论。更值得关注的是它们暴露出的相似结构:复杂系统的故障经常发生在“变更已经完成,但依赖关系还没有完成验证”的阶段。
ThousandEyes 对 2026 年 11 月 12–13 日 Microsoft Outlook 故障的分析显示,用户看到的是连接重置、拒绝、超时和 HTTP 错误,而不是简单的“整个平台离线”。微软后来把问题指向早期网络容量升级在后续网络变更后暴露的缺陷。登录、Teams 或不同区域的恢复时间也并不完全一致。这个案例提醒我们,服务可用性经常是分层和分区域的。
更宏观的数据也值得警惕。Network World 转述 ThousandEyes 的周度观测:2026 年 11 月 9–15 日,美国记录到 282 起网络故障事件,其中公共云网络故障为 153 起,高于前一周的 117 起。这个数字是观测事件数,不是“有 282 家公司同时宕机”,也不能证明所有事件彼此相关;但它说明云、ISP、CDN、DNS 和 SaaS 依赖叠加后,故障的公共表象会越来越像一场“很多网站一起坏了”。
同一时期,美国媒体还报道了 Microsoft、United Airlines、银行和其他大型服务的连续技术故障。报道本身不能替代每家公司的事后报告,但它们共同构成了一个现实背景:组织越来越依赖共享的身份、网络、控制面、软件更新和第三方服务。只要其中一层的变更验证不足,用户看到的就不一定是一个清晰的错误,而可能是登录失败、页面 503、数据延迟和部分功能可用同时出现。
这次事故给小团队的四个具体教训
1. 监控入口,不要只监控 Pod
一个健康检查至少要分三层:应用容器本地 HTTP、集群内通过 Service 的 HTTP、以及从公网按真实域名访问的 HTTP。只有最后一层能证明用户真的走完了 DNS、TLS、Ingress、Service 和应用链路。
2. 把 CA 轮换当成变更事件
CA 不是“配置文件里永远不变的背景数据”。它有签发时间、有效期、传播路径和进程加载时机。轮换后,必须验证:控制器、Webhook、Operator、节点代理和本地运维工具是否都加载了新信任根。挂载文件已经更新,不代表正在运行的进程已经重新读取。
3. 对控制面依赖设置可见的告警
Ingress Controller 的 reflector、leader election、EndpointSlice watch 和 Secret watch 错误,应该进入高优先级告警。它们不一定立刻让所有请求失败,却是在告诉你入口已经失去自我修复和动态更新能力。
4. 修复动作必须可回滚、可验证
这次最小动作是滚动重启,而不是删除证书、重建 Ingress 或修改 DNS。修复之后必须重新验证两个 hostname、301/200 链路、证书 SAN、后端 endpoint 和 Controller 日志。命令退出成功不是线上恢复证据,公网真实请求才是。
结论:真正的可用性是“能证明自己恢复了”
这次 Rackspace Spot 事故没有改变网站 IP,也没有摧毁 WordPress 数据。它让一个看起来健康的应用,因为入口控制面的信任关系失效而返回 503。对我来说,最重要的经验不是“记住重启 Ingress”,而是把证据链写进运维习惯:先分辨 DNS、TLS、控制面、入口和后端,再选择最小修复动作。
最近美国多起网站和云服务故障也值得用同样的尺度观察。不要因为几个品牌在同一周出问题,就直接宣布存在共同攻击;也不要因为 Pod、节点或页面某一层是绿色,就宣布系统整体健康。真正可靠的状态判断,必须覆盖依赖关系、变更后的信任链,以及用户从公网发出的那一次请求。
