丢包怎么定位
丢包怎么定位
丢包这个词被用得太泛。有人把晚高峰的卡顿叫丢包,有人把路由器不回应 ping 叫丢包,真正端到端丢几个百分点的场景反而不多。判断的第一步不是测,是先分清你看到的是哪一种。
先分清 ICMP 限速和真丢包
mtr 跑到中间某一跳显示三成丢包,最后一跳却是零,这是路由器对 ICMP 做了限速,不是链路在丢。控制平面给 ICMP 的优先级本来就低,忙的时候干脆不回。
真正的丢包会一路带到终点。终点那一行的 Loss 才是业务实际承受的丢包率,中间跳的数字只能当参考,拿它去投诉运营商基本没用。
mtr 的正确读法
mtr -rwzc 100 目标IP,一百个包、报告模式、带 AS 号。-c 给太少没有统计意义,十个包测不出百分之二的丢包,还容易得出相反结论。
重点看两列:Loss% 和 StDev。Loss% 在某一跳突增、下一跳又回落,是限速;从某一跳开始一路上升不回落,才是真问题,问题出在那一跳的入口链路。
去程回程要分开测
从你这边 mtr 到服务器,看到的只是去程。回程拥塞在去程上完全体现不出来,跨境线路尤其如此。在服务器上朝客户端方向再跑一次,两边结果对着看。
去程干净、回程丢包,表现是请求发得出去、响应收不回来。抓包看到服务器确实发了包,客户端却没收全,这类问题在客户端侧怎么排查都是白费。
端到端统计比单次 ping 可靠
ping -c 200 -i 0.2 目标IP,看最后那行的 loss 和 mdev。mdev 大说明抖动大,和丢包一起看才有判断价值,单看平均值会把尖刺抹平。
Windows 上用 ping -n 200 -l 1400,把包长加到接近 MTU,能顺带测出分片和路径 MTU 的问题,小包永远测不出来。
本机这一侧的证据
ss -ti 的输出里有 retrans 和 rtt,重传数持续上涨,说明本机在反复补包。netstat -s 里 segments retransmitted 那一行,隔一分钟读两次算差值,比单次读数有意义得多。
还有一种丢包发生在网卡上:ring buffer 溢出。ethtool -S eth0 里的 drop 或 miss 计数在涨,说明包已经到了网卡但没来得及交给协议栈,这时候调大缓冲区比换线路有效。
带宽跑满也会丢包
出口带宽打满,队列一满就丢,现象和链路丢包几乎一样。sar -n DEV 1 看 rxkB/s 是不是贴着上限,或者用 iftop 看实时速率和来源。
这种丢包加带宽只是掩盖,得先弄清楚谁在跑。多数情况是备份任务、日志外传,或者干脆被人刷了流量。
清洗设备造成的丢包
接在高防后面的业务,丢包可能来自清洗策略而不是链路。特征是丢包集中在被攻击的时段,且丢得不均匀——某类包全没,其他包正常。
要服务商提供清洗日志,看命中规则和丢弃计数。拿不到日志就只能在源站抓包,对比进来的包数和应用收到的包数,差值就是中间被吃掉的量。
虚拟化环境里的隐形丢包
云主机看到的丢包,可能压根不发生在你的网卡上。同一台宿主机上的邻居跑满带宽,你的包在虚拟交换机上就被丢了,机器内部一切指标正常。
这种自己查不出来,只能拿时间点和现象去找服务商看宿主监控。我一般会先排掉自己这边的可能,再带着证据去问,沟通效率差很多。
TCP 和 UDP 的丢包表现不一样
TCP 会把丢掉的包重传,用户感觉到的不是丢包而是变慢;UDP 丢了就丢了,游戏和直播里体现为卡顿、跳帧、画面糊。同一条链路,两种业务两种抱怨。
排查前先确认业务走哪种协议。拿 ICMP 的丢包率去解释 UDP 的卡顿,经常对不上号,最后只能得出"测不出来"的结论。
长连接下的丢包更隐蔽
长连接业务丢几个百分点,连接不会断,吞吐却掉一大截,因为拥塞窗口一直起不来。ss -ti 里 cwnd 长期偏小、retrans 缓慢增长,就是这个特征。
这类问题最容易被当成服务器性能不行,然后一路加 CPU 加内存,钱花了现象还在。
最后一公里别忽略
家宽和手机网络的无线段本身就有丢包,高峰期更明显。同一台机器,公司专线测着正常,用户拿手机就是卡,问题可能压根不在机房。
让对方切一次 WiFi、再切一次流量,换个运营商网络对比,几分钟就能分开,比在服务器上翻半天日志快。
抓包数丢包更直接
两端同时抓比只看一端强。tcpdump -nn -i eth0 host 对端IP -w cap.pcap,抓完丢进 Wireshark 看 seq 有没有缺口、有没有连续重复 ACK。
抓包别贪长,几分钟就够,文件上到几百兆之后分析起来很痛苦,还容易漏看关键那一段。
什么时候该考虑换
同一条线路连续几天在固定时段丢包,服务商又给不出清洗日志和链路监控,这就不是排查能解决的事了,属于线路本身的品质问题。
换之前把证据留好:mtr 报告、双向对比、精确到分钟的时间点。有这些东西,谈补偿或者谈迁移都主动。
MTU 不对也像丢包
大包发不出去、小包一切正常,表现和丢包几乎一样。ping -s 1472 -M do 目标IP 能直接测路径 MTU,从 1472 往下试,试到能通为止。
隧道、PPPoE、VPN 都会吃掉可用 MTU,握手成功而传文件中断,先怀疑这一项,比怀疑线路快。
先把现象记下来
丢包这种事,等你赶到现场往往已经恢复。第一次发现问题时就把现象记清楚:哪个时段、哪个运营商、丢多少、影响哪块业务。
这类信息凑够三条,才能和服务商对上话。只报一句"我们这边丢包",对方也只能回你一句"我们这边正常"。
一句判断
我的判断顺序是:终点有没有丢、双向是不是对称、本机有没有重传、网卡有没有丢弃。四问下来还定位不了,那多半不在你能查的范围内。
四问全正常、业务依旧卡,更可能是应用自己在排队,而不是网络在丢东西。
线路本身的质量,买之前就该摸清楚。镇江 BGP 方案 和 温州 BGP 方案 走的都是多线接入,跨网丢包比单线少;预算充足又怕被打的,可以看 宿迁 100G 三线方案。具体配置和价格以官网页面为准。