上一篇 下一篇 分享链接 返回 返回顶部

万兆网卡要不要上

发布人: 发布时间: 阅读量:42

万兆网卡要不要上

千兆网卡的理论上限是 125MB/s,实际跑满也就 110MB/s 左右。一块盘顺序读能到 200MB/s,两条内存通道的机器拷个文件,网络先成了瓶颈。这时候才轮到万兆上场。

先算清楚千兆到底够不够

125MB/s 是物理层数字,减去以太网头、IP 头、TCP 头,再算上确认包和重传,能用的带宽大概九成。小包更惨,一个 64 字节的包,头部开销占了大半,包转发率顶不住,带宽再高也白搭。

所以判断标准不是"我的带宽用了多少",而是"我的场景是大包还是小包"。备份、同步、视频传输是大包,能跑到 110MB/s;高频交易、游戏同步是小包,千兆可能只跑出几十兆。

换万兆不是换一张卡

网卡、交换机端口、光模块、线缆,四样要一起换。Cat6a 网线在 30 米内能跑万兆,再远就上光纤。交换机如果没有万兆口,只换网卡等于两块万兆卡各跑各的千兆。

还有主板的 PCIe 通道。一张万兆卡要 PCIe 3.0 x4 才不憋屈,插在 x1 的槽上,理论带宽都不够。买之前翻一下主板手册,看插槽的实际通道数,别只看"能插进去"。

瓶颈常常不在网卡

万兆线速是 1.25GB/s,一块机械盘顺序读 200MB/s,根本喂不饱。这时候换网卡,测出来还是 200MB/s,然后怀疑网卡是假的。真正的瓶颈在盘、在文件系统、在单核的软中断处理能力。

单核跑满 10G 很吃力。一个 CPU 核处理网络中断和协议栈,跑到 6 到 8G 就上不去了,top 里能看到某个核的 si 占比很高。要开多队列、把中断分散到多个核,这一层不调,万兆只能跑出一半。

什么业务真的需要

内网大规模同步、备份窗口压在几个小时内的、跑 Ceph 这类分布式存储的、做视频转码和分发的、虚拟化宿主机上挂着十几台虚机的,这些场景万兆是刚需。数据在机器之间搬的频率越高,万兆越值。

我判断的方法很土:看高峰时段的网卡出带宽,连续一周都在 80% 以上,就该升了。偶尔冲一下不算,那只是备份任务撞上了业务高峰。这条线画在七成还是八成,我说不准,按自己业务的容忍度定。

什么业务不用凑热闹

公网出口只有 100M 的站点,内网再快也没用,用户那头就窄。单机数据库、企业内部系统、访问量不大的应用,千兆绑两块做冗余比万兆更实在。

云主机上更直接:内网带宽是平台给的,你换不了网卡。标称"内网 1G"和"内网 10G"是两档产品,价格不一样,别指望在控制台点一下就有。

公网带宽和内网带宽是两笔钱

公网带宽按 Mbps 计费,价格高;内网带宽通常含在套餐里或者按档位给。三线 BGP 的 100G 防护款 标的是 20 到 300Mbps 公网带宽,内网另算,买之前把两个数字分开看。

需要大流量分发的业务,把静态资源交给 国内高防 CDN,比自己拉万兆便宜得多。CDN 的 68 元起那档,对中小站点已经够用,源站带宽压力能降一个数量级。

调优比加带宽有效

MTU 调到 9000 能减少头部开销和中断次数,前提是整条链路都支持,中间有一个设备不支持就会丢包。多队列网卡开 RSS,把中断绑到不同核上,单核瓶颈能缓解不少。

TCP 窗口和拥塞算法也值得调。长肥管道上,默认窗口填不满带宽,开 BBR 之后吞吐能上一个台阶。这些改动不花钱,效果常常比换网卡明显,先调再换,顺序别反。

成本账要算全

一张万兆网卡几百到几千,万兆交换机按端口算,光模块一对几百,再加上布线和功耗。整套下来,两台机器的互联成本可能比机器本身还贵。

只连两台机器的话,直连是最省的做法,省掉交换机。三台以上才需要交换设备,这时候再考虑端口数和未来扩容,别一上来买 48 口。

电费也算一笔。万兆电口单口功耗十几瓦,一台 24 口交换机常年在机柜里跑,电费和空调费都要摊到成本里。光口的功耗低一些,缺点是模块贵、维护时要配对。

怎么测才算数

用 iperf3 跑多流,单流跑不满是正常的,TCP 单连接受窗口和 RTT 限制。双向同时跑,看是否对称;换大包和小包各测一轮,小包的包转发率才是真实水平。

测的时候把磁盘排除在外,用内存盘或者 /dev/zero,否则测的是盘不是网。测出来 3G 就以为网卡有问题,其实盘只有 300MB/s,这种误判很常见。

物理机上的现实选择

做计算和存储分离的架构,万兆是必需品;单机跑业务、数据都在本地,千兆双网卡绑定更划算。宿迁高防物理机 799 元起这类方案,网卡和交换机配置要在下单前问清楚,后期加装要停机。

需要多网口、多盘的,定制高配物理机 可以按需求配,万兆双口、冗余电源这些都能加。定制的交期比标准款长,赶时间的话要提前排。

先用链路聚合顶一阵

两块千兆绑一起,理论 2G,实际受单流限制,多流能接近翻倍,单流还是 1G 左右。备份、同步这类多连接场景受益明显,单连接的数据库复制基本没提升。

链路聚合还要交换机支持 LACP,配错模式会出现环路或者只跑一块。作为过渡手段可以,长期高负载还是得万兆,别把聚合当成万能药。

光模块与线缆的坑

万兆的物理层有好几种:10GBASE-T 用电口,模块便宜但功耗高、发热大;SFP+ 光口要配对模块,单模多模不能混用,距离也不同。买模块前确认交换机型号和端口类型,插错了不亮,还容易烧。

线缆长度也要算。Cat6a 在 30 米内稳,超过就上光纤。机房内跳线乱拉、弯折过度,误码率会上来,表现成"能通但速度上不去",查起来很费时间。

一句判断

万兆不是"更快的网卡",是一整套链路升级。盘跟不上、核跑不满、交换机没口,任何一环缺了,钱都花不出效果。

先测一周的网卡出带宽,再看磁盘的持续写能力,两个数字凑得上,才轮到下单买卡。

本文价格取自官网公开报价页,均为起价,随配置和线路浮动,实际以下单页为准。

目录结构
全文