Oracle Flex ASM环境下crsd进程启动失败排查指南

1. 问题现象与初步判断

最近在维护一套基于Flex ASM架构的Oracle RAC环境时，遇到了一个棘手的问题：Grid Infrastructure（GI）无法正常启动，检查日志发现是crsd进程未能成功拉起。这种故障在传统ASM架构中比较少见，但在Flex ASM环境下却有其特殊性。

典型的现象是：

• 执行crsctl start has命令后，GI启动过程卡住
• crsctl check has返回CRS-4639错误
• 日志中反复出现"CRS-2765: Resource 'ora.crsd' has failed on server"的报错
• 通过ps -ef|grep crsd确认crsd进程确实不存在

注意：Flex ASM与传统ASM的关键区别在于前者将ASM实例与数据库实例解耦，这使得资源管理的复杂度增加，也带来了新的故障场景。

2. Flex ASM架构下的crsd角色解析

2.1 crsd的核心职责

crsd（Cluster Ready Services Daemon）是Oracle集群资源管理的中枢神经，主要功能包括：

• 管理OCR（Oracle Cluster Registry）的读写操作
• 维护资源的启动、停止、监控和故障转移
• 处理资源间的依赖关系
• 维护资源的运行状态信息

在Flex ASM环境中，crsd还需要额外处理：

• ASM实例的动态注册与注销
• ASM客户端（数据库实例）与ASM实例的动态关联
• ASM资源的负载均衡调度

2.2 Flex ASM带来的变化

传统ASM架构中，每个节点都有本地ASM实例，资源关系相对固定。而Flex ASM引入了以下变化：

1. ASM实例可以运行在集群的任意节点上
2. 数据库实例可以动态连接到不同ASM实例
3. ASM实例数量可以少于数据库节点数
4. 资源注册机制更加动态化

这些变化使得crsd需要处理更复杂的资源协调场景，也增加了启动阶段的初始化复杂度。

3. 故障排查全流程

3.1 日志分析要点

首先需要检查的关键日志文件：

code复制$GRID_HOME/log/<hostname>/crsd/crsd.log
$GRID_HOME/log/<hostname>/agent/ohasd/orarootagent_root/orarootagent_root.log  
$GRID_HOME/log/<hostname>/agent/ohasd/oraagent_grid/oraagent_grid.log

常见的关键错误模式：

1. OCR访问问题：

   code复制CRS-8010: OCR location initialization failed
   

2. 权限问题：

   code复制CRS-2674: Start of 'ora.crsd' on '<host>' failed due to insufficient permissions
   

3. 资源依赖问题：

   code复制CRS-5804: Resource 'ora.asm' is waiting for dependency 'ora.cluster_interconnect.haip'
   

3.2 分步排查流程

1. 确认基础环境：

   bash复制# 检查集群状态
   crsctl check cluster -all
   
   # 检查OCR完整性
   ocrcheck
   
   # 检查表决盘状态
   crsctl query css votedisk
   

2. 检查OHASD状态：

   bash复制# 确认ohasd已启动
   ps -ef|grep ohasd
   
   # 如果没有启动，手动启动
   crsctl start has
   

3. 检查crsd依赖资源：

   bash复制# 查看资源注册状态
   crsctl stat res -t -init
   
   # 重点关注以下资源状态：
   # - ora.asm
   # - ora.cluster_interconnect.haip
   # - ora.crsd
   

4. 手动启动crsd（测试用）：

   bash复制$GRID_HOME/bin/crsd.bin restart
   

4. 典型解决方案

4.1 OCR损坏场景

症状：

• 日志中出现OCR读写错误
• ocrcheck命令报错

解决方案：

1. 使用备份恢复OCR：

   bash复制ocrconfig -restore <backup_file>
   

2. 若无备份，尝试导出/导入：

   bash复制ocrconfig -export /tmp/ocr.exp
   ocrconfig -import /tmp/ocr.exp
   

4.2 权限问题

症状：

• 日志中出现Permission denied错误
• 文件属性和权限异常

处理步骤：

bash复制# 检查关键目录权限
ls -ld $GRID_HOME $GRID_HOME/bin $GRID_HOME/log

# 重置权限（示例）
chown -R grid:oinstall $GRID_HOME
chmod -R 755 $GRID_HOME/bin

4.3 资源死锁场景

在Flex ASM环境中，ASM资源与VIP、HAIP等资源可能存在复杂的依赖关系。

解决方案：

1. 清理资源状态：

   bash复制crsctl stop has
   crsctl unpin css -n <node_name>
   crsctl delete res ora.asm -init
   crsctl start has
   

2. 重建ASM实例：

   sql复制srvctl add asm -listener <listener_name> -pfile <pfile_path>
   srvctl start asm
   

5. 深度修复方案

5.1 完整GI堆栈重启

当简单重启无效时，需要执行完整清理：

bash复制# 停止所有资源
crsctl stop crs

# 清理资源状态
crsctl stop has
crsctl unpin css -all
crsctl delete resource ora.asm -init
crsctl delete resource ora.crsd -init

# 重新初始化
crsctl start has

5.2 配置文件修复

检查并修复以下关键配置文件：

1. $GRID_HOME/crs/install/s_crsconfig_<node>_env.txt
2. $GRID_HOME/crs/init/<node>.ocr
3. $GRID_HOME/network/admin/listener.ora

5.3 内核参数调整

Flex ASM对共享内存要求更高，建议调整：

bash复制# 检查当前值
sysctl -a|grep shm

# 临时修改
sysctl -w kernel.shmmax=4294967296
sysctl -w kernel.shmall=2097152

# 永久修改（/etc/sysctl.conf）
kernel.shmmax = 4294967296
kernel.shmall = 2097152

6. 预防措施与最佳实践

1. OCR维护策略：

   • 配置OCR自动备份
   • 定期执行ocrconfig -showbackup检查备份有效性
   • 在多路径环境下确保OCR设备路径稳定

2. 监控配置：

   bash复制# 设置crsd自动重启
   crsctl modify resource ora.crsd -attr AUTO_START=always
   
   # 配置资源监控间隔
   crsctl modify resource ora.asm -attr CHECK_INTERVAL=30
   

3. Flex ASM特定建议：

   • 确保至少3个ASM实例在线
   • 配置ASM实例的负载均衡策略
   • 定期验证ASM客户端注册状态：

     sql复制SELECT instance_name, db_name, status FROM v$asm_client;
     

4. 日常检查脚本示例：

   bash复制#!/bin/bash
   CRS_STATUS=$(crsctl check crs)
   if [[ $CRS_STATUS != *"CRS-4638"* ]]; then
     echo "CRS abnormal: $CRS_STATUS" | mail -s "CRS Alert" dba@example.com
   fi
   

在实际运维中，我们发现Flex ASM环境下crsd启动失败往往不是单一原因导致，而是多个因素共同作用的结果。建议每次处理完问题后，详细记录故障现象、分析过程和解决方案，形成知识库。我们团队通过这种方式，已将类似故障的平均解决时间从4小时缩短到30分钟以内。