前阵子跟一个做自动驾驶数据平台的朋友聊选型,他说最头疼的不是 GPU 不够,而是打标产出的那几亿张小图片,传统文件系统一放就卡。前阵子 JuiceFS 公开了 2025 年的里程碑:开源第五年,文件规模迈入千亿级。有朋友跑来问:千亿文件到底什么概念?这是公关话术还是背后真有硬功夫?作为这几年一直在摸存储、也帮团队落地过不少文件系统方案的从业者,我打算把这数字背后的工程逻辑、架构原理、真实场景和踩坑经验都掰开讲讲,给正在做存储选型的团队一个参考。
1. "千亿文件"是个什么概念:先把这个数字翻译成工程语言
1.1 数字账:千亿文件意味着什么
“一千亿”不是“一亿的十倍”那么简单,量级感受完全不同。一个 4 KiB 的文本文件,一千亿个,光数据量就是 400 TB 量级,听起来也不是特别夸张,毕竟对象存储动辄 PB。但真正要命的不是数据量,是“数量”本身。文件系统里每个文件都对应一条元数据记录——路径、inode、权限、owner、大小、时间戳、数据块索引,一条记录少说几百字节。一千亿条记录,就是几百 GB 甚至 TB 级的元数据仓库。这个量级,想让任何一次 open/lookup 都在毫秒内完成,意味着这套元数据索引必须经过精心设计。
换个角度算账:假如每秒能创建一万个文件(实际上一个普通元数据服务在持续高压下要做到这个速度也不容易),攒够一千亿个文件,也要三年多。如果你真的在跑这种业务,大概率是每天成千上万台机器持续写入,几年累计到现在。换句话说,千亿文件不是一个“测试出来的数字”,而是真实业务长时间运转的累积结果。
再换个角度想遍历:哪怕你的集群强悍到每秒能扫一百万条元数据,把一千亿个文件全量扫一遍,也需要近 28 小时。像 du、find 这类常规命令,在这种规模下基本别指望在线跑。这是千亿文件在运维习惯上给人的第一记重拳。
1.2 真正的瓶颈在元数据,不在数据
很多从业者一提到“海量文件”,第一反应是“存储空间够不够”,这其实是个误区。数据本身可以很轻松地扔进对象存储——S3、OSS、COS 这类产品单桶对象数上限非常高,容量基本不用操心。文件读写变慢的真正原因,几乎都出在元数据这一环。
元数据是文件系统的控制面。你每次 ls 一个目录,要先查目录项;打开文件,要先查 inode 和权限;读数据,要查数据块地址;写完后更新大小和 mtime。一切操作的起点都是元数据查询。文件数量一旦过亿,元数据引擎就同时面临三座大山:
- 容量:亿级甚至千亿级记录,单机数据库内存装不下,索引排不下;
- 吞吐:同一时刻可能有几千个客户端在 open/create/rename,每秒几万到几十万的元数据操作量,单实例服务扛不住;
- 一致性:分布式场景下,rename、目录删除、文件锁这些操作必须保证不出现“两边看到不一样”的脏状态。
用一个生活化类比:对象存储像一个超大的书库,书(数据)可以随便堆,但你要让读者(客户端程序)快速找到任何一本书,图书馆的检索卡片(元数据)必须既全又快。书库还能靠多点仓储扩容,检索卡片一旦膨胀到千万级,人工翻卡片就开始卡了——这就是普通文件系统在大规模小文件场景崩掉的原因。
1.3 常规方案是怎么被"量"压垮的
传统方案通常死在三处。
第一,单机文件系统。ext4/xfs 单机扛个几千万文件就明显吃力,ls 大目录、find 全盘都会卡。而且单机存储容量、inode 数量都有上限,几十 TB 想撑到千亿,硬件上就是天方夜谭。
第二,NFS 集中式文件服务器。NFS 能把多台客户端接到同一份数据上,但所有元数据请求都打向同一台/几台文件服务器。客户端多一些、小文件密一些,文件服务器的 CPU 和网络就先被打满,延迟从亚毫秒飙升到几十毫秒,甚至出
