什么叫被打死
什么叫被打死
“打死”不是合同里的词,是运维半夜在群里喊的那一句。它说的不是服务器坏了,而是外面进不来、里面也出不去,业务在你手上彻底失去响应。同一个词至少对应四种故障,处置顺序和账单都不一样。分不清这一点,报障时你说的每句话都会被对方按最省事的那种解释接住。
打死说的是不可用,不是损坏
硬盘没坏,系统没崩,数据库还在跑,只是没有人能连上。这是“打死”和“宕机”最根本的差别。宕机要修机器,打死要修链路。重启基本没用,机器重启得再干净,外面那条路还是堵着,客户看到的照样是超时。我见过有人一晚上重装三次系统,第二天才发现是出口被打满,机器一点毛病没有。
判断顺序应该反过来:先看链路,再看服务,最后才怀疑系统。
四种死法,现场都长成打不开
出口带宽被灌满,最直白。入向流量把机房管道塞死,回包的确认帧挤不出去,正常用户连握手都完不成,页面卡在转圈那一步。
IP 被黑洞,第二种。路由被指向空接口,进来的包直接丢掉,ping 全灭、端口全闭,和你把机器关掉看起来一模一样。
连接表或者 CPU 被耗干,第三种。流量不大,但每个请求都要查库、开进程,几万个并发能把一台 8 核机器压到 load 30 以上,SSH 都跟着卡。
上游限速,第四种。通,但慢,丢包率卡在一个固定值上下不动。这一种最容易被当成网络抖动,因为它是通的:你 ping 得通,SSH 连得上,只有用户说卡。
丢包形状比流量图更说明问题
百分之百丢包、持续五分钟以上、SSH 也进不去,先按黑洞处理,直接问机房是不是触发了清洗或者封禁。丢包在三成到七成之间跳、带宽图贴着套餐上限,那是管道满了。SSH 能进、ping 正常、网站返回 502,问题在应用层,多半是 CC 或者数据库被拖死。
三种现象对应三种人:机房、带宽、开发。报障时报错对象,比报一句“网站打不开”能省半小时。还有一个不花钱的对照:同机房、同网段的其他 IP 是不是也挂了。全挂是上游的事,只有你挂,是你被盯上了。
打死你不需要很大的流量
这一点被低估得厉害。带宽型攻击要几十 G 才见效,应用层不用。一个要查三张表的动态页,几千个并发就能让数据库排队排到超时,而前面那台机器 CPU 可能才跑到三成。
我一般会提醒做商城和论坛的客户:你买的防御 G 数,对 CC 基本不起作用。三层四层的清洗设备看不懂 HTTP 语义,它只认包的特征、速率和源 IP 分布。真要防 CC,得在七层做,规则、人机验证、频控一层一层加。指望一个高防 IP 把两层活都干了,最后是钱花了,站还是死。具体能拦掉多少,我没做过横向测试,各家策略差得太多,只能凭经验估。
同样的攻击量,有人死了有人没死
静态站和动态站是两个物种。前者挂上 CDN,源站可能只吃几个百分点的回源流量;后者每个请求都要落库,扛不住就是扛不住,没有缓存能替你挡。
单机和集群也是两回事。一台 8 核的机器,打死它可能只需要一个跑满 CPU 的循环;同样的流量打在一个四台机器的集群上,也许只是一个接口变慢,而客户感知到的差别就是能不能下单。
有人问我 100G 够不够,我通常反问:你上次被打是多少 G,持续多久,当时是网站打不开还是只是慢。答不上来的,说明还没到定档位的时候。
打残和打死是两档
打残更常见,也更难查。全站不可用谁都看得见,打残是部分用户进不来、部分接口 502、后台能开前台慢。监控图上找不出红点,投诉却一直来。
这两档在采购上要分开算。防打死买的是清洗带宽和超限条款,防打残买的是余量:CPU 留一半、带宽留三成、数据库连接池别刚好卡在峰值。前者按月付费,后者由架构决定,临时加钱买不回来。
监控要能从外面看
机房自带的监控只能看到机器活着,看不到业务死了。一台机器 CPU 百分之五、网络正常,网站 502 已经二十分钟,这种情况我见过不止一次。
至少要配三样:外部多地点 ping、首页 HTTP 状态码探测、一次真实的业务请求(登录或者查一个列表)。这三样里任何一样告警,都比“CPU 超过八成”有用。告警发到手机上,别只发邮件。
不死是可以谈进合同的
标称防御多少 G 只是第一行。真正决定你那天死不死的是三件事:超阈值之后继续清洗还是进黑洞、扩容要多久、CC 管不管。这三件事都能写进工单,写不进去的,就按最坏情况准备。
价格上有个参照。宿迁 50G 单线 119 起,100G 三线 BGP 档位 199 起,150G 299 起,400G 移动线路也是 299 起,150G 高性能 699 起。同一个机房,防御从 50G 抬到 150G 差不到两百块,这个差价远小于被打死一晚上的损失。
华南方向 佛山电信高防 299 起,华东的 镇江 BGP 549 起、宁波高防 350 起。档位和线路都不一样,别横向比单价,先比超限条款。
被打死之后的前十分钟
别急着重装。先截图:ping 的丢包率、带宽曲线、服务商的告警短信,时间精确到分钟。
然后确认三件事:域名能不能切走、有没有备用 IP、DNS 的 TTL 是多少。TTL 设成一天,临时改也得等一天,等于自己给自己加刑。
最后才联系服务商。带着时间点和现象去问,比问“你们是不是把我打死了”有效得多。有的机房解除黑洞要人工申请,你不催,就一直待在里面。
一句判断
“打死”是个结果词,不是原因词。有人用它说黑洞,有人用它说 CPU 跑满,有人只是网站慢了半分钟。沟通的时候把这个词拆成现象,事情就成了一半。
你上次说“被打死了”,指的是哪一种?