1. 为什么需要vdbench压测Ceph存储?
第一次接触Ceph集群性能测试时,我踩过一个坑:用单节点fio工具测试RBD性能,结果在生产环境多节点并发访问时,性能直接腰斩。这才明白,分布式存储的性能评估必须模拟真实业务场景。而vdbench正是解决这个痛点的利器。
vdbench作为Oracle开发的存储基准测试工具,相比fio有三个独特优势:
- 集群视角:能同时发起多节点负载,统计整体IOPS和带宽,而不是简单的单点数值叠加
- 双重测试:一套工具既能测裸盘(RBD)也能测文件系统(CephFS),避免工具切换带来的数据偏差
- 智能分析:自动生成包含延迟分布、CPU利用率等维度的报告,直接定位性能瓶颈
去年我们给某视频平台做Ceph集群扩容前,用vdbench发现了OSD磁盘的尾延迟问题——虽然平均延迟只有3ms,但99分位延迟高达800ms。这个发现让我们及时调整了Crush Map,避免了上线后的卡顿投诉。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 环境准备与工具部署
2.1 基础环境配置
测试集群需要满足这些条件:
- 时钟同步:所有节点时间差需小于1秒,否则会导致心跳异常
bash复制# 检查时间同步状态
timedatectl status
- SSH互信:主节点要能免密登录所有测试节点
bash复制# 生成密钥对
ssh-keygen -t rsa
# 批量配置免密登录
for node in {node1,node2,node3}; do ssh-copy-id $node; done
- 防火墙设置:开放5560-5570端口范围
bash复制firewall-cmd --permanent --add-port=5560-5570/tcp
firewall-cmd --reload
2.2 vdbench安装要点
从Oracle官网下载vdbench压缩包后,解压即用。但要注意:
- JAVA环境:需安装JDK 8+并配置JAVA_HOME
- 权限问题:执行用户需要对测试路径有读写权限
- 版本选择:推荐50406以上版本,对Ceph兼容性更好
实测中发现个细节:如果测试节点磁盘空间不足,vdbench会静默失败。建议提前检查:
bash复制df -h /path/to/test
3. 从单机到集群的压测实战
3.1 单节点基准测试
先通过裸盘测试摸清单OSD性能天花板。这是我的标准测试模板:
text复制sd=sd1,lun=/dev/sdb,openflag=o_direct
wd=wd1,sd=sd1,seekpct=0,rdpct=0,xfersize=1M
rd=rd1,wd=wd1,iorate=max,warmup=60,elapsed=600,interval=5
关键参数解读:
openflag=o_direct:绕过系统缓存,测真实磁盘性能warmup=60:前60秒数据不计入结果,避免冷盘影响xfersize=1M:模拟视频存储场景的大块写入
曾经有客户抱怨测试结果波动大,最后发现是没设warmup——磁盘阵列的缓存策略导致前30秒性能虚高。
3.2 多节点集群压测
集群测试配置文件示例:
text复制hd=default,vdbench=/opt/vdbench,user=ceph,shell=ssh
hd=hd1,system=node1
hd=hd2,system=node2
sd=sd1,hd=hd1,lun=/dev/rbd0
sd=sd2,hd=hd2,lun=/dev/rbd1
wd=wd1,sd=sd*,seekpct=100,rdpct=70,xfersize=4k
rd=rd1,wd=wd1,iorate=max,elapsed=1800,interval=10
踩坑提醒:
- 负载均衡:当多个SD对应同一个存储池时,建议设置
skew参数分配权重 - 网络瓶颈:万兆网络下建议xfersize不超过2M,否则容易打满带宽
- 元数据开销:CephFS测试时要控制
depth和width,避免产生海量小文件
4. 深度解析测试报告
4.1 关键指标解读
在output/totals.html中重点关注这些数据:
| 指标 | 健康值 | 异常排查 |
|---|---|---|
| resp_time | <10ms | 检查OSD负载和网络延迟 |
| cpu% sys | <30% | 优化内核参数减少系统调用 |
| queue_depth | ≈线程数 | 调整并发线程数量 |
| MB/sec | 接近理论带宽 | 检查网络链路聚合 |
去年遇到一个典型案例:测试显示resp_time高达50ms,但CPU利用率很低。最后发现是客户端网卡的TSO/GRO特性导致,关闭后延迟直接降到3ms。
4.2 性能瓶颈定位
通过summary.html的interval数据可以分析:
- 周期性波动:可能是CRUSH算法导致的数据分布不均
- 渐进式下降:检查Ceph的mon_osd_full_ratio设置
- 突发毛刺:用
ceph osd perf查看是否有慢盘
附赠一个实用命令,实时监控测试期间的OSD状态:
bash复制watch -n 1 'ceph osd perf | sort -nk3'
5. 进阶测试技巧
5.1 混合负载模拟
真实业务往往是读写混合的,推荐这样配置:
text复制wd=wd1,sd=sd*,seekpct=100,rdpct=30,xfersize=4k,skew=70
wd=wd2,sd=sd*,seekpct=0,rdpct=0,xfersize=1M,skew=30
这个配置模拟了:
- 70%的4K随机读(模拟数据库查询)
- 30%的1M顺序写(模拟日志写入)
5.2 数据校验方案
添加-jn参数启用异步校验,能发现静默数据错误:
bash复制./vdbench -f test_parm -jn
校验原理:每次写入时在数据块中嵌入LBA和校验码,读取时反向验证。曾帮我们发现过硬盘固件bug导致的数据位翻转。
6. 避坑指南
- 时间不同步:会导致
heartbeat issues错误,用chrony同步 - 内存不足:测试数据量应大于客户端内存的两倍
- 日志干扰:添加
messagescan=no过滤系统日志 - Ceph特有:测试前执行
rados df确认集群状态健康
最难忘的一次是测试中所有节点突然断开,查日志发现是防火墙触发了DoS防护。现在我的检查清单里一定会加上这条:
bash复制systemctl status firewalld
