上一篇 下一篇 分享链接 返回 返回顶部

冷热数据怎么分

发布人: 发布时间: 阅读量:35

冷热数据怎么分

冷热不是按数据"多老"分的,是按"多久被读一次"分的。一条五年前的订单,客户每年查一次,它就是冷的;一条昨天创建却没人看的日志,当天就该冷。

冷热看访问频率,不看创建时间

判断一张表冷不冷,标准只有一个:最近三十天被读过几次。读得多的留热库,读得少的进冷库,一次没读过的进归档,这套判据比任何经验都稳。

按时间切最省事,也最容易切错。订单表按年份归档,结果客服和财务天天查去年;日志表全留热库,其实除了排障那几天,根本没人翻。

先量三个数

表的大小、增长速率、访问分布。大小决定迁移成本,增长速率决定多久迁一次,访问分布决定切在哪一刀。这三个数从慢查询日志和存储统计里就能拿到。

访问分布最好按"表加时间段"统计,只看整表热度会漏掉"整体冷、局部热"的情况。一张三年的大表,可能只有最近一个月的数据在被查,其余全是陪跑。

分层的四档

热、温、冷、归档。热库存最近三个月,温库存一年,冷库存三年,归档只保一份不可变的副本。档与档的界线按业务定,不按行业惯例定。

档位越多,维护成本越高。小团队分三档就够,别一上来设计四层,规则写复杂了没人愿意维护,最后所有数据又悄悄堆回热库。

表内切还是表间切

分区表适合按时间滚动删除,查询能自动裁剪;归档表适合把整段数据搬走,结构可以简化。前者改动小,后者省空间,各有各的代价。

我倾向于先做归档表。分区表在数据量没到那个级别时,带来的运维复杂度超过收益,而且分区键一旦选错,改起来比搬表还麻烦。

冷数据放哪

对象存储、低频存储、冷归档,价格依次往下,取回成本依次往上。放之前想清楚"多久取一次":一年取一次,取回费可以忽略;一个月取一次,可能比放热库还贵。

冷数据也要能查。整份打包成压缩包扔进去,等于没有归档。至少保留可解析的格式和一份索引,不然三年后没人知道里面装的是什么。

迁移不能停机

双写、影子读、按主键分批搬,是三个常用手段。双写期间两边都写,影子读比对结果,一致之后切读,切完再停旧写,整个过程用户可以无感。

迁移脚本要能断点续跑。几千万行的表一次跑完不现实,中途失败重来一次的成本,比一开始就写好断点高得多,也可能根本跑不完。

冷数据的查询体验

冷数据查询慢是正常的,但不能慢到用户放弃。给冷库单独做一个查询入口,时间范围必填,比让用户在主库里翻三年数据体验好,也保护了主库。

异步导出也是个办法:用户提交条件,后台跑,跑完给下载链接。这样既不占在线资源,也不用为了偶尔的查询去扩冷库。

备份不是归档

备份是为了恢复,归档是为了留证。备份可以只留七天,归档要留到法规要求的年限。两件事混在一起,要么恢复变慢,要么该留的没留。

我见过把备份当归档用的团队,真要查两年前的记录,得从一堆增量备份里恢复整台机器。那种时候,时间比钱贵,而且还不一定恢复得出来。

成本账要算全

冷存储便宜,但取回、请求、跨区传输都收费。把一年的取回次数乘上单价,再加迁移时的人力,才是真实成本,只看存储单价会得出错误结论。

有些数据留在原地反而便宜。不到几百 G 的表,搬走的费用和省的存储费差不多,白折腾一场,还多了一份要维护的链路。

生命周期规则自动化

能自动就别手动。按创建时间转档、按最后访问时间清理、到期自动删除,规则写成配置,别写成某个人记得的操作,人不在了规则就断了。

删除规则一定要有缓冲期。误删的恢复窗口通常设七天到三十天,这个设置比任何性能优化都值钱,因为它救的是不可逆的错。

什么业务不用分

总量不到一百 G、查询都带主键、一年增长不到两成,这类系统分层是过度设计。加一个索引、调一次查询,效果比分层明显,也快得多。

还在验证阶段的业务也别分。数据模型一周改三次,今天切好的冷热边界,下周就作废了。西安云服务器 那种按月付费的小规格,先扛过验证期再说。

权限和合规

冷库常被当成"不重要的库",权限给得很松,这恰恰是风险。归档里往往是最完整的用户数据,审计要求一点不比热库少。

加密、访问日志、脱敏,该有的都要有。数据越冷,越容易被人忘记它还在,直到某天出事才发现它一直躺在那里。

价格档位怎么对

热库放在 宿迁 100G 三线 BGP 方案 这类云服务器上,119 到 299 那几档够中小业务用;数据量上到几 T、又要独占磁盘 IO,宿迁高防物理机 799 起那类更合适,内存和盘位都能按需选。

归档放对象存储按量付费,不用为容量买机器。真正的省法是让热库变小,而不是让冷库更便宜,顺序反了,钱就白花。

迁移完要抽样校验

按主键随机抽几百行,把冷库和热库的字段逐一对一遍,长度、编码、时间戳的时区都要比。这一步不做,三个月后才发现某个字段被截断,就再也补不回来了。

再算一次总量。行数对不上,先别删源表。保留源表一个计费周期,是最便宜的保险,删早了没有后悔药,而且没人会替你承担这个错。

分层的节奏

一次只切一张表,观察一个计费周期再切下一张。多张表同时动,出问题时你分不清是哪次改动引起的,回滚也不知道该回到哪一步。

切完把查询耗时记一笔。分层之后热库查询该更快,如果没有变化,说明切得不够,或者热库里还留着一堆没人读的数据,那就再切一轮。

一句判断

冷热分层的收益不在存储单价,在它让热库保持小而快:备份更快、索引更小、故障恢复更短。分完之后热库没变小,那这次分层就是白做。

本文价格取自官网公开报价页,均为起价,实际以下单页为准。

目录结构
全文