日志保留多久合适
日志保留多久合适
日志保留多久,答案不是一个数字。安全审计、访问日志、调试日志,三类的合理保留期能差十倍;一刀切成三十天,出事那天你会后悔。
先把日志分三类
安全审计类:登录记录、sudo 操作、防火墙拦截、SSH 失败。这类是出事之后唯一能还原谁在什么时候做了什么的东西。
应用访问类:Nginx 的 access 和 error、业务自己的流水日志。排障和算账都靠它,量也最大。
系统与网络类:内核消息、systemd、cron、DHCP。多数时候没人看,出事时能解释机器为什么在凌晨三点重启。三类日志的诉求不一样,塞进同一个目录、共用一条轮转规则,最后一定是审计日志被访问日志挤掉。很多人只留 Nginx 日志,不记 sudo 和 SSH,真出事时最想看的恰恰是后者。
六个月是条硬线
《网络安全法》要求采取监测、记录网络运行状态和网络安全事件的技术措施,网络日志留存不少于六个月。等保测评里,这一条也是必查项。
六个月是下限,不是目标。金融、医疗、涉及支付的业务,行业规范往往要求更长。先确认自己受哪套规定约束,再定保留期。真被检查的时候,看的是你能不能调出某天的记录,不是有没有写一份制度文件。留存期从日志产生那一刻算,不是从入库算,转发延迟两小时,这盘账就要往后推。
先算一次容量
一天 20GB 访问日志,乘 180 天是 3.6TB。纯文本 gzip 之后通常能压到八分之一到十分之一,落盘大概 400GB 上下。
压缩比这个数我没实测过你的日志,只能给范围:JSON 和纯文本差很多,重复字段多的更好压。按十倍做预算,再留三成余量。
算完再决定放哪。400GB 放对象存储和放本地盘,成本差好几倍,查询体验也差好几倍。要放本地又要容量,宿迁高防物理机这类硬盘按需配的机型适合做归档节点。很多团队算完容量才发现日志盘只有 100G,这才是最该先改的地方。带宽同样要算,每天 20GB 往外推,平均下来 20Mbps,和业务抢带宽的时候很难看。
分三档温度
热数据七到十四天,能直接 grep、能进索引。排障基本都发生在这个窗口里,过了这个窗口翻日志,多半是在写事故报告而不是救火。
温数据三十到九十天,压缩后放本地或低成本存储,需要时解压单天,几分钟能拿到。
冷数据六个月到一年,归档到对象存储。取回要等,但合规和溯源够用。冷热之间要有清单,哪天的日志在哪一档写清楚,不然真要用时先花半天找文件。
留太久也有代价
存储成本是明面上的,查询变慢是隐性的。400GB 里 grep 一个 IP,等五分钟和等五秒,排障时是两种心情。
还有合规上的反向风险。日志里带手机号、身份证、银行卡,留得越久,泄露时的责任越大。能脱敏就脱敏,能不记就不记。
密码、token、完整卡号这三样,任何情况下都不该进日志。这条比保留期重要得多。我一般建议先按最小必要字段收日志,再谈留多久,字段少一半,容量和风险都少一半。
日志要能查得到
字段结构化,时间统一时区。UTC 和本地时间混着写,跨机器对时间线会疯。
每台机器开 NTP。时间差超过一秒,日志的先后顺序就不可信,回溯攻击过程会得出相反结论。
一个请求穿过 Nginx、应用、数据库,靠 request_id 串起来。没有这个字段,出了问题只能靠猜时间,而猜时间是最不靠谱的排查方式。字段命名也要统一,别一台机器叫 remote_addr,另一台叫 client_ip,合并查询时会想骂人。索引也不是万能的,全字段索引让存储翻三倍,只给真要查的字段建。
别信本机日志
攻击者拿到权限之后,第一件事常常是清日志。rm、truncate、改 history,都很快。
实时转发是唯一可靠的解法:rsyslog 或 vector 把日志推到另一台机器或对象存储,本机只留三到七天。推送走 TLS,接收端只允许追加。
条件允许就开对象存储的合规保留,写入后不可删改。贵一点,但删不掉。异地的归档节点不用多强,美国节点这类低价机型做日志落点足够。转发链路本身也要监控,断流三天没人发现,等出事才知道这三天是空的。
logrotate 别写错
daily、rotate 14、compress、delaycompress、missingok、notifempty,六个参数加一个 postrotate 重载 Nginx,能覆盖大部分场景。
只配 rotate 不配 compress,磁盘会在第三周开始告警。只配 compress 不配 delaycompress,Nginx 还在写的那个文件会被压坏。
轮转之后必须 reload。否则 Nginx 继续往被改名的那份文件里写,新建的日志文件永远是空的。这个坑每年都有人踩。老日志还要设上限,rotate 之外加 maxage 或定时清理,不然某个服务疯狂报错,一天就能写满盘。改完先跑一次 logrotate -d,dry run 会列出它准备动哪些文件,比直接上生产稳。
三类日志的保留建议
可以直接抄的版本,按自己的合规要求微调:
| 类型 | 热 | 温 | 冷 |
|---|---|---|---|
| 安全审计 | 30 天 | 90 天 | 12 个月 |
| 访问日志 | 7 天 | 90 天 | 6 个月 |
| 应用错误 | 14 天 | 90 天 | 6 个月 |
| 调试日志 | 3 天 | 不建议 | 不建议 |
表里是最低配置。真遇到纠纷或者攻击溯源,往往要往前多查一个月,冷档留长一点比临时找数据容易。合规只是底线,日常用日志最多的场景其实是排障和对账。
哪些可以短留
健康检查的 access 日志,一天几百万条,全是 200,价值接近零。采样百分之一,或者干脆关掉。
调试级别的日志默认关,需要时开十分钟,查完关掉。一直开着 debug,既费磁盘又拖性能。
CDN 边缘日志另算,量大、单价低,通常服务商侧会保留一段时间,需要时导出。国内高防 CDN的拦截记录建议单独导出,那是判断攻击来源最直接的材料。
一句判断
保留期定得对不对,有个简单的测法:随机挑三个月前的一天,看能不能查清那天下午谁登录过、哪个 IP 请求最多。
查不清,说明你的保留策略只是存了文件,没留下证据。这个测法我一般建议每季度真做一次,别只在脑子里过。