很多人把编程里的“存储”想得很简单——不就是一个硬盘放文件嘛。但真当你要设计一个数据库引擎、做一个高性能消息队列、或者调优一套存储系统的IO路径时,你会发现,物理存储层的那点事儿,决定了你上层所有逻辑的“地基稳不稳”。我记得自己刚接触这块的时候,翻了很多教程,全是大词儿:“柱面”“磁头”“扇区”“磨损均衡”“写放大”,名词倒背如流,可一落地就懵——这些跟我写的代码到底有什么关系?直到自己亲手压测、看着iostat里的await和svctm发愣,又亲手把机械盘换固态、跑通一遍block层的IO模型,才算真正把这层窗户纸捅破。
这一讲是“核心体系架构-物理存储(中)”,咱们不绕弯子,就聚焦三件事:物理存储介质究竟怎么组织数据、操作系统和硬件之间怎么对齐、IO栈上每一层又是怎么影响你最终看到的性能数字。内容直接照着实际项目里用得上的深度来,适合正在做存储相关开发、或者想搞明白“为什么我的磁盘这么慢”的工程师。
1. 物理存储这堂课到底在讲什么
1.1 为什么“物理存储”是体系架构的承重墙
物理存储不是硬盘厂商的说明书,而是整个数据世界的底层逻辑。你写一行代码,调用一个write()函数,这行数据从用户态到内核态,从页缓存刷到块设备,最后落在盘面的某个磁道上——中间每一个环节都受物理存储特性的制约。选型的时候如果忽略它,后面出的问题几乎都是“结构性”的,不是改两行配置能救回来的。
举一个最直白的例子:为什么机械硬盘时代,数据库DBA们天天念叨“随机IO是魔鬼”?本质上是机械臂的物理运动周期决定的。磁头从一个磁道移动到另一个磁道,是典型的机械动作,以ms为单位;而CPU/内存操作是以ns为单位计算,两者差了几个数量级。而到了SSD时代,随机IO性能暴涨,不是因为软件变聪明了,而是NAND闪存的“寻址”不再需要物理移动,电子迁移的速度比机械运动快几个数量级。可见,介质的物理特性变了,上层体系架构的整个性能模型也跟着变。
所以我一直觉得,学体系架构不先吃透物理存储,等于盖楼不打地基。而你一旦掌握了物理层的行为模式,再看上层的页缓存、IO调度器、文件系统,很多时候都能“未卜先知”地猜出它们为什么要那样设计。
1.2 一次读写请求在物理层经历了什么
为了让大家有直观体感,我们先从头到尾跟一个读请求走一遭。假设你写了一个程序去读文件/var/lib/mysql/data/user.ibd的某段内容:
- 应用通过
read()系统调用进入内核,在虚拟文件系统(VFS)层定位到具体文件系统和inode; - 文件系统把文件内偏移转换为主机可见的“逻辑块地址”(LBA);
- 通用块层(Generic Block Layer)以
bio结构体封装请求,交给IO调度器排队; - IO调度器按策略(如NOOP、Deadline、mq-deadline)合并、排序请求,最终派发给设备驱动;
- 设备驱动把LBA翻译成物理存储介质内部的三维/多维地址,比如机械盘的柱面-磁头-扇区(CHS),或SSD的通道-芯片-块-页;
- 硬件真正执行动作——磁头寻道+盘片旋转到目标扇区,或者闪存控制器从目标Page读取电荷状态;
- 数据从设备寄存器/缓存通过DMA搬入内存,再copy_to_user返回应用。
每一次读请求,都要走完这整条链路。看到没有,物理存储的每个环节都嵌在这条链路里。这也就是为什么优化不能只看单一层——有时候你觉得是磁盘慢,其实问题在IO调度器,或在文件系统预读策略。不过别急,这些后面会一一展开。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 机械硬盘的物理组织:柱面、磁头与扇区的真实关系
2.1 盘片上的基础结构:磁道、扇区、柱面到底怎么数
机械硬盘(HDD)靠盘片旋转和磁头移动来读写数据。盘片一般用铝合金或玻璃做基底,表面涂覆磁性介质。每个盘片有两个面,每面配一个磁头,磁头悬浮在盘面上方几十纳米的高度,通过感应磁场变化来读取数据,或者通过磁场改变磁化方向来写入数据。
盘面上,磁头从外圈到内圈,会在无数个同心圆上移动,每一圈就叫一个“磁道”(Track)。磁道不是连续的线,而是被切分为一段一段的弧,每一段叫一个“扇区”(Sector)。传统扇区大小是512字节,后来随着容量增大和纠错需求,逐步演进到4K高级格式化扇区(4096字节)。
那“柱面”是什么呢?一块硬盘如果有多张盘片叠在一起,不同盘面上相同半径的磁道,在垂直方向上会形成一个“圆柱面”。假设盘片A的第100号磁道和盘片B的第100号磁道,它们到主轴的距离完全一致,从三维角度来看,这些等半径磁道的集合,就是柱面。
柱面的概念在CHS寻址时代非常重要。因为磁头臂是所有
