上一篇 下一篇 分享链接 返回 返回顶部

怎么安排应急演练

发布人: 发布时间: 阅读量:56

怎么安排应急演练

多数应急演练最后都变成了一次演示:脚本写好、步骤背熟、结果圆满。真出事那天你会发现,演练里没涉及的环节全在掉链子。演练的价值不在证明团队扛得住,而在提前把不知道的事变成知道。

要考的是没练过的部分

有脚本的演练只能验证熟不熟,验证不了预案有没有洞。真正该练的是判断:告警响了,谁决定切清洗;切了还慢,谁决定换 IP;换了之后,老客户怎么找回入口。

这些判断没法写进脚本,只能给一个起点状态,然后放手让人走。设计者的活儿是设障碍,不是写台词。你甚至可以不通知具体时间,只说本周内有一次。演练当天别急着开总结会,等记录整理完再开,否则大家只会重复记得最清楚的那一段。

三种场景覆盖大部分情况

一种是流量型:模拟三到四层洪水,看清洗切换和业务抖动。一种是应用型:模拟高频请求或慢连接,看限流、规则和降级开关。一种是设施型:机器宕、线路断、机房侧失联,看主备切换和数据完整性。三种都要贴着业务走,别只丢空包,真实攻击里常混着正常请求。

一年把三种各演一遍,比同一种演四次有用。设施型最容易被跳过,因为它不好模拟,可它恰恰是恢复时间最长的那类。要模拟线路断,拔网线、改路由、封端口都行,手段糙一点没关系。线路那头也得有地方可切,备用节点小一点不要紧,够接住切换后的量就行,比如同一条业务链上另开的镇江 BGP 节点。

限时和信息隔离

演练要有明确的起止,比如九点半开始、十点半收尾,不管做到哪一步。没有时限的演练会自然拖成一次加班,结论也变成"下次再弄"。收尾的意思是停手、恢复原状、把改动记下来,不是做到一半就地解散。我一般把时限压在一小时,逼大家先做决定,而不是一次修完。

信息隔离是只把初始现象告诉值班的人,不告诉他原因、不告诉他预期多久。真实故障里没人会提前通知"这是演练",也不会说"再等十分钟就好"。这个差别决定演练能不能测出真实的判断力。现场留一个裁判,只观察、不提示,合格与否由他签字。

四个角色,人少也能配齐

指挥决定升不升级、要不要对外公告;执行负责切流量、改配置、重启服务;记录只盯时间,写下每个动作和发起人;沟通对接客户、渠道和机房。四角之外还要排一个替补,谁临时被叫走都有人顶上。

小团队一人兼两角可以,记录这个角色不能省。复盘靠的是那份时间戳清单,不是大家的印象。谁在几点几分说了什么,比"当时好像挺乱"有用得多。

判定标准提前写在纸上

恢复时间目标、数据丢失容忍度,这两个数在演练前就要定,并且写成"从告警到首页可下单不超过多久"。定完再演,演完对照,差多少就是差多少。

标准里还得有两条软指标:过程中有没有人越权操作,有没有对外说过不确定的话。技术指标达标,客户那头却收到三条互相矛盾的通知,这场演练仍然不合格。软指标由记录员判定,不由当事人自评。

复盘只记事实和决策点

复盘表三列:时间、发生了什么、当时基于什么信息做的决定。别写"某某响应慢",要写"九点四十二分发现异常,九点五十一分才确认是攻击,中间翻了三个地方的日志"。

决策点单独标出来。切不切、换不换、公不公告,每个决策点对应一条改进项:补信息源、提前授权,或者把判断规则写进预案。改进项要有人名和日期,否则下次演练还是同一批问题。完成情况在下次演练开场对一遍,没做完的先说明原因。我的经验是每次只认领两条,认领多了,一条都落不了地。

拿真实记录回放一遍

演练是凭空设障,还有一种更省事的检验:翻出过去一年的攻击记录,挑峰值最高的那一次,按当时的告警时间和流量曲线重放,看现在的流程会不会更快。

回放不用真打流量,几个人对着监控图走流程,一小时能走完。走完常会发现,当时的某些判断其实是对的,只是没写下来,下次还得重新想一遍。

别只在低峰演

第一次演练放在业务低峰、有人值守的工作日下午,目的就是把流程跑通,把高防 CDN 的切换开关这类平时不碰的东西摸一遍。

跑通之后挑一次晚高峰演,因为真正的攻击多半挑那时候来,低峰跑得顺不代表高峰扛得住。挑高峰之前先跟业务方打招呼,说清影响范围,必要时只演一个入口、一条线路,把客服话术也提前备好。演练造成真实投诉,比不演更糟。

演练之后最该改的三件事

一是联系人和升级路径。演练里最常见的卡点是找不到人:电话打不通、群里没人应、机房值班换了班。把联系人表更新到能打通,比换设备便宜。这张表按季度核对一次,离职、换岗、值班表调整都要同步。

二是权限。切清洗、改解析、封 IP 这些操作,演练时才发现账号在离职同事手里,或者要三级审批。应急账号和授权范围得提前写清楚,别等真事来了现走流程。

三是回滚。多数演练只演切过去,不演切回来。切回来才发现数据对不上、缓存脏了、证书没配,回滚步骤要单独写一段,并且和切换一样练。

一句判断

演练做得好不好,看一个指标:真出事那天,第一个动作是不是演练里练过的那个。如果是,说明预案落地了;如果不是,说明演练只是走过场。

反问一句:你上一次演练,有没有哪一步是当场才发现的?一步都没有,多半不是团队强,是脚本太顺。备机也一样,写进预案却没真开过机的宿迁高防物理机,到了切换那天跟没有差不多。

目录结构
全文