内网互通怎么弄
内网互通怎么弄
三台机器放在两座机房,要当一套系统来用。这件事看着是网络问题,实际有一半是规划问题:网段、路由、MTU、安全边界,哪一样没提前想,后面都得返工。
先画一张网段表
每台机器的内网地址、掩码、网关、DNS 写在一张表上,谁负责也写上。地址冲突是跨机房组网的第一道坎:两边都用 192.168.1.0/24,接起来就是时通时断,严重时有一台彻底不可达。
规划时按用途分段,数据库一段、应用一段、管理一段,避开家用路由常见的默认段。规模一大,地址表被翻出来的次数比架构图还多,找不到时挨个登机器看 ip addr,那一晚基本就废了。
同机房最省事
同一个机房、同一个 VPC 里的机器,默认就在一张内网里,把安全组放行就行。多数服务商会给一段独立地址,机器之间用内网互访,这部分流量通常不计费。
唯一的坑是两层防火墙叠着。云平台放行了,机器上的 iptables 还拦着,表现是“安全组明明开了却不通”。排查时先在本机 tcpdump 看包到没到,到了就是本机规则的问题,没到再往上游找。
跨机房只有两条路
跨机房没有共享内网,得自己搭,或者拉一条专线把不确定性买掉。自己搭有三种常见选择:IPsec 标准、兼容性好、配置繁琐;WireGuard 轻、握手快、只开一个 UDP 端口,在 NAT 后面也容易打通;GRE 最简单,但不加密,还要网络设备放行协议号。
选型看三件事:要不要加密、两端有没有公网地址、防火墙能不能改。都在 NAT 后面,WireGuard 省事;对端是路由器这类设备,IPsec 兼容性最好;同城两台机器传数据、又信任中间链路,GRE 开销最小。
路由别写成一条默认
隧道起来只是第一步,路由写错照样不通。正确做法是只把对端网段指向隧道,别用 0.0.0.0/0,否则本机访问公网也会被塞进隧道,绕一圈还不通,排查时非常迷惑。
机器多起来就得考虑收敛方式。五台以内用静态路由,写在配置里、记在文档里;再多就该上 OSPF 或者直接买 SD-WAN,手工维护十几条路由,出错是必然的。
MTU 是隐藏的坑
隧道要加封装头,IPsec 大约多五十到七十字节,WireGuard 多六十字节。链路 MTU 1500 时,隧道内给 1400 到 1420 比较稳妥,再在网关上做 MSS clamp,否则大包被丢,表现是能 ping 通、网页打不开、SSH 登录卡住。
这个现象极易被误判成应用故障,尤其在 HTTPS 站点上:握手包小,能过;证书链一大,就卡死。判断方法很朴素,ping 小包通、带 DF 标志的大包不通,基本就是 MTU,不用再查代码。
七步落地
一,列网段表,确认两端不冲突。二,每端选一台做网关,别让所有机器各自建隧道。三,开隧道,先 ping 通对端网关,再通对端网段。四,配路由,只指必要网段。五,调 MTU 和 MSS,用大包验证一次。
六,加监控,隧道状态、丢包、延迟三项都要有,断了要能告警。七,写文档,密钥和配置存进密码库,别只留在某个人的终端历史里。
第六步最常被省掉。隧道断了不会报错,业务只是变慢、部分接口超时,等用户找上来,通常已经过去几个小时,日志也滚掉了。
安全边界要划清
内网互通不等于把两张网合并成一张。只放行需要的端口,数据库不要整段暴露给对端;管理面单独一条隧道,或者走跳板机;密钥定期轮换,经手人离职立刻换。
我的做法是反向白名单:默认拒绝,按业务一条条加,加的时候写清用途和负责人。半年后回头看,通常能删掉三成——那些规则是当时图省事留下的,早没人记得为什么存在。
云上还有对等连接
同一个云厂商、不同账号的两套 VPC,可以走对等连接,不必自己搭隧道。开通之后两边都要加路由,只在一侧加,方向就是单向通;跨账号还需要对方授权,授权没过期前别急着排障。
对等连接不支持传递路由,A 连 B、B 连 C,A 和 C 仍然不通,这是设计如此。三个以上 VPC 要全互通,得用云厂商的组网产品,或者自己在中间放一台网关做转发,后者的带宽和可用性都要自己扛。
带宽按峰值估,不按均值
隧道带宽取决于两端里较弱的那一环:出口带宽、网关机器的网卡、加密消耗的 CPU。三样里最便宜的那一项,通常决定了实际能跑多少。
估算用峰值乘一点五。数据库全量同步、备份窗口重叠、大促当天,这三个时刻的峰值往往是最平日均的好几倍,按均值买,一定会在最不该慢的时候慢。
不通了按层查
先看链路,两端各 ping 对端网关,通不了就是隧道或者公网的问题。再看路由,ip route get 对端地址,确认走的是隧道网卡而不是默认网关。然后看防火墙,安全组、本机规则、对端规则,三处都要放行。
四层都通了还不通,回头看 MTU,用带 DF 的大包试一次。这个顺序能覆盖九成的故障,比一上来就重装系统有效得多。
成本参照
两端都在云上,先把隧道跑起来,主要成本是机器。西安云服务器 35 起每月,香港 CN2 轻量 36 起,拿来当对端的小网关足够;要跑数据库和同步任务的那一端,宿迁的独享高防机 799 起更稳,排查时也少一层邻居干扰。
带宽和流量按各家的计费口径走,西安那几个云主机档位 从 35 到 330 分八级,香港 CN2 的轻量系列 从 36 到 96 分五级,按并发和内存选就行。对端在海外的话,跨境链路本身的抖动比带宽更影响同步,美国方向的轻量节点 30 起,拿来当落地端够用。专线另计,以服务商实时页面为准。
一句判断
内网互通的难点从来不是隧道怎么建,是网段怎么划、路由怎么收敛、MTU 怎么调。三件事有一件没想清楚,隧道建起来也只是多了一条不通的路——你手上那份地址表,是最新的吗?
本文价格取自官网公开报价页,均为起价,随配置和线路浮动,实际以下单页为准。