陆冠均(opllx)1. 为什么需要自定义CRUSH规则
在Ceph集群的实际运维中，默认的CRUSH规则往往无法满足特定业务场景的需求。我遇到过这样一个案例：某视频平台需要将热数据集中存放在高性能SSD节点，而冷数据则自动迁移到大容量HDD节点。这种场景下，就必须通过自定义CRUSH规则来实现精细化的数据分布控制。
CRUSH算法的本质是一种伪随机数据分布算法，它通过计算PG到OSD的映射关系，决定了数据在集群中的物理分布。与传统的静态映射表不同，CRUSH具有以下核心特性：
- 确定性映射：相同的输入参数（如PG ID、集群拓扑）总是产生相同的OSD输出列表
- 权重感知：根据OSD的权重值（通常与容量相关）按比例分配数据
- 故障域隔离：支持自定义故障域层级（如host/rack/row等）
默认规则的问题在于，它假设所有OSD具有相同的硬件特性和业务价值。而现实情况往往是：
bash复制# 查看默认规则
$ ceph osd crush rule dump
[
{
"rule_id": 0,
"rule_name": "replicated_rule",
"type": 1,
"steps": [...]
}
]
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 自定义CRUSH规则设计实战
2.1 定义设备分类桶
首先需要根据硬件差异建立逻辑分组。以下是我们为混合存储集群设计的拓扑结构：
bash复制# 创建SSD和HDD两个根桶
ceph osd crush add-bucket ssd-root root
ceph osd crush add-bucket hdd-root root
# 按机架组织OSD（示例）
for rack in {1..3}; do
ceph osd crush add-bucket rack${rack}-ssd rack
ceph osd crush add-bucket rack${rack}-hdd rack
ceph osd crush move rack${rack}-ssd root=ssd-root
ceph osd crush move rack${rack}-hdd root=hdd-root
# 将对应OSD加入分组
for osd in $(seq $((rack*6-5)) $((rack*6-3))); do
ceph osd crush move osd.$osd rack=rack${rack}-ssd
done
for osd in $(seq $((rack*6-2)) $((rack*6))); do
ceph osd crush move osd.$osd rack=rack${rack}-hdd
done
done
2.2 创建差异化存储规则
针对SSD和HDD分别创建规则集：
bash复制# SSD规则：两副本+主机级容错
ceph osd crush rule create-replicated ssd-rule ssd-root host
# HDD规则：三副本+机架级容错
ceph osd crush rule create-replicated hdd-rule hdd-root rack
关键参数说明：
ssd-root/hdd-root：规则作用的根桶host/rack：故障隔离级别- 副本数通过pool设置关联
3. 规则与存储池的联动配置
3.1 创建关联存储池
bash复制# 高性能池使用SSD规则
ceph osd pool create hot-storage 128 128 ssd-rule
# 大容量池使用HDD规则
ceph osd pool create cold-storage 128 128 hdd-rule
# 设置合理的副本数
ceph osd pool set hot-storage size 2
ceph osd pool set cold-storage size 3
3.2 数据自动分层实践
通过CRUSH规则结合缓存分层技术，可以实现自动化的冷热数据迁移：
bash复制# 创建缓存层
ceph osd tier add cold-storage hot-storage
ceph osd tier cache-mode hot-storage writeback
# 设置迁移策略
ceph osd tier set-overlay cold-storage hot-storage
ceph osd pool set hot-storage hit_set_type bloom
4. 集群管理中的常见问题排查
4.1 OSD日志故障恢复
当出现ceph osd的日志出现问题如何恢复时，可按以下步骤处理：
- 确认故障OSD状态：
bash复制ceph osd tree | grep -i down
- 检查日志分区状态：
bash复制df -h /var/lib/ceph/osd/ceph-*/journal
- 典型修复流程：
bash复制# 停止问题OSD
systemctl stop ceph-osd@<id>
# 重建日志（假设使用单独日志设备）
ceph-osd -i <id> --mkjournal
# 重新启动
systemctl start ceph-osd@<id>
4.2 CRUSH规则调优技巧
通过crushtool可以对规则进行离线分析和优化：
bash复制# 导出当前CRUSH map
ceph osd getcrushmap -o crushmap.txt
# 编译并测试规则效率
crushtool -i crushmap.txt --test \
--rule 1 \ # 规则ID
--num-rep 3 \ # 副本数
--min-x 1 --max-x $((1024*1024)) \ # PG数量范围
--show-statistics
输出结果需关注：
- 数据分布标准差（应<5%）
- 故障域隔离合规率（应100%）
- OSD利用率极差（应<15%）
5. 生产环境经验总结
在实际部署中，有几个容易忽略的关键点：
- 权重校准：SSD和HDD的权重比建议设置为1:3（每TB容量），而非默认的1:1
bash复制ceph osd reweight-by-utilization 1.0 120 # 自动平衡阈值设为120%
- 规则过渡方案：修改已有池的CRUSH规则时，应采用分步迁移：
bash复制ceph osd pool set <pool> crush_rule <new_rule>
ceph osd pool set <pool> pg_num <new_pg_num> # 先扩PG
ceph osd pool set <pool> pgp_num <new_pg_num> # 再迁移数据
- 监控指标：必须监控的关键指标包括：
ceph osd df：查看各OSD的实际使用量ceph pg dump | grep misplaced：检查数据错位情况ceph osd perf：监控延迟异常OSD