健康检查没说谎

健康检查没说谎

11月12日那天,你要是用Outlook办公,大概率经历了这么一天:早上邮箱打不开,想着等等就好,等到下午Teams的会议邀约也发不出去了,日历一片空白。微软后来确认,整个影响窗口是23小时50分钟,到第二天上午11点10分才算完。监测平台上光Outlook一项的故障报告就冲到了十几万条,一个小时内74个国家和地区都有人报障。

受牵连的名单有点意思。Copilot不能用了,因为它取数据要走Exchange;Anthropic也出来说,自家部分服务的故障源于Microsoft 365的连接,Claude的邮件、日历工具跟着停。邮箱这种东西,平时没人觉得它是基础设施,停了才发现一堆东西压在它上面。

纳德拉17号在Ignite大会开场就道了歉。完整事故报告说是要今天,20号发。我写这篇的时候它还没出来,所以下面说的根因部分,都是微软15号给的初步口径,后面可能会修正。

流量没涨,容量掉了

这次事故最反直觉的地方在这儿:请求量没有增加。

微软在状态通报里专门写了一句,负载升高不是流量增长所致,是一大批服务器突然不可用了。后面的链条大概是这么转的:一批服务器出了问题,通不过自动化健康检查,被移出服务;剩下的机器接过它们的流量,跟着过载;负责建立安全连接的进程被压垮之后,干脆停止处理请求。于是这些机器也通不过健康检查了,也被踢出去。

踢人这个动作本身,成了故障的放大器。每踢一批,幸存的机器就更难活。

微软后来换了一套替代的健康检查方法,才把部分服务器送回服务。但送回来也不等于好了,BBC的报道里提过,恢复中的服务器重新接上流量后可能再次无响应,逼得他们在已有保护措施之外又做了策略性的流量阻断。翻译一下就是:不敢让病人立刻出院干活。

15号的初步报告把起因归到三个因素叠加:一项7月就部署上去的软件有缺陷;Teams的流量切换到主网络网关,推高了负载;而前一天另一起故障,已经让网关近14%的服务器容量暂时不可用。单拎出来哪个都不致命,叠在一起,余量就没了。

两次事故,两种失灵

去年10月底Azure Front Door那次全局故障,持续了八个多小时,微软365和Entra ID全被带倒。那次的毛病是保护系统一路收到"健康"信号,毒配置一路放行,连"最后已知良好"的快照都被污染了。

这次正好反过来。信号没有说谎,服务器是真的处理不了请求,健康检查如实上报,处置系统如实执行。然后系统死了。

Front Door那次是该报警的时候没报警。这次是报了警,处置系统照着真话一路执行,没人踩刹车。

我们平时聊可靠性,聊的基本都是前一种:监控覆盖够不够,告警及不及时。后一种很少聊。检测是对的,处置也是按规则来的,但处置动作本身没有速率限制,没有保底容量,一路执行到底就是雪崩。健康检查只负责说真话,它不负责真话说出来之后的事。

金融业对这种事其实不陌生。基金合同里有个巨额赎回条款,单日赎回超过一定比例,基金公司可以部分延期办理。这条款平时看着像霸王条款,真到挤兑那天才明白它是干嘛的:要是不设闸,基金经理就得被迫贱卖资产应对赎回,净值一跌,赎回的人更多,正反馈转到死为止。延期办理就是给处置动作踩的那脚刹车。

反面教材也有。2016年A股搞过熔断,上线没几天就停了,阈值设计得离现价太近,反而把价格往熔断线上吸,等于保护装置自己踩了油门。

我们自己踩过同款

前端这边,同款坑我们踩过一个微缩版的。

有段时间理财产品详情页的接口加了失败自动重试,逻辑本身没毛病,评审也过了。后来后端有一次抖动,时间不长,但监控上的请求量曲线直接翻了倍还不止。接口一慢,所有在线用户的客户端同时开始重试,重试又把网关压得更慢,更慢就触发更多重试。后端同学当时在群里说了句话,大意是你们这重试比用户手刷狠多了,用户刷两下就放弃了,代码不会放弃。

那次之后我们改了几个地方:重试加退避,加次数上限,连续失败到一定次数就停下来,展示缓存数据加个提示。说实话改完我心里也不踏实,因为"停下来展示旧数据"在理财场景里是个业务决策。净值是旧的,额度是旧的,用户看着旧数据下单怎么办?这个不是前端能自己拍的,拉着产品和后端吵了一轮才定下来哪些字段可以缓存展示、哪些必须置灰。

回头看,当时评审只问了"重试逻辑对不对",没人问"所有人同时重试会怎样"。单个客户端的重试是自愈,一万个客户端同时重试就是攻击。这两件事在代码评审里长得一模一样。

处置动作也要被评审

微软这次给我的提醒是,我们评审方案时的注意力分配可能一直偏着。检测方案会被反复盘问,探测频率多少、误报了怎么办。但检测之后的那个自动动作,踢机器、重启、重试、切流量,往往一句"按标准流程处理"就带过去了。

这些动作都是照着检测结果自动执行的,可检测正确不代表执行安全。踢掉一台确实坏掉的机器没问题,但一分钟里踢掉一百台,剩下的机器就接不住流量了。动作对不对,和动作该以什么速度、什么上限执行,是两个问题,后者在我们的评审里基本缺席。

还有个更难的:保底数怎么定。最少留多少容量,一次最多踢多少,降到什么程度必须停手改人工。这个数压测压不出来,它是个业务判断,跟巨额赎回那个比例差不多,很难拿捏。我们那次重试的上限是拍的,拍完也没验证过,因为没法在生产上验证。

今天微软的最终报告要发了,我挺想知道他们怎么写"健康检查如实执行导致容量雪崩"这一段。承认检测没错、错在处置,比承认代码有bug难多了。代码bug改了就完了,处置逻辑的问题往下追,追的是谁批准了这个自动化,批准的时候看没看过它的失控形态。

至于我们那个拍脑袋定下来的重试上限,到现在也没验证过。可能得找个机会在演练里故意把后端打挂一次,看看客户端会不会学着闭嘴。这事我在组里提过一嘴,还没排上期。

You voted 5. Total votes: 10

添加新评论