前阵子我去处理一个日增 2TB 左右的数据平台,最头疼的其实不是计算资源,而是存储。平台跑了不到两年,HDFS 里堆了七百多 TB 逻辑数据,按三副本算,已经吃掉 2PB 出头的物理空间。更尴尬的是,热数据查询其实只咬住最近 30 天不放,90 天以前的分区几乎没人主动读,但团队为了保险,所有数据都按同等速度、同等成本的磁盘保存着,扩容速度一年比一年快。
我最后

前阵子我去处理一个日增 2TB 左右的数据平台,最头疼的其实不是计算资源,而是存储。平台跑了不到两年,HDFS 里堆了七百多 TB 逻辑数据,按三副本算,已经吃掉 2PB 出头的物理空间。更尴尬的是,热数据查询其实只咬住最近 30 天不放,90 天以前的分区几乎没人主动读,但团队为了保险,所有数据都按同等速度、同等成本的磁盘保存着,扩容速度一年比一年快。
我最后