1. 问题现象与初步排查
那天早上刚到办公室,就收到监控系统的一连串告警——PolarDB集群的从节点全部显示"不可用"状态。作为DBA,这种红色警报总能让人瞬间清醒。登录控制台查看,发现主节点运行正常,但所有从节点都处于"Disconnected"状态,同步延迟不断增大。
第一反应是检查网络连通性:
bash复制ping 从节点IP
telnet 从节点IP 3306
测试结果显示基础网络通信正常,排除了防火墙或网络设备故障的可能性。接着查看主节点错误日志:
bash复制grep -i "replica" /polardb/log/mysql_error.log
发现大量"replica IO thread: error reconnecting to master"的报错,提示认证失败。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 认证失败深度分析
2.1 复制账号状态验证
登录主节点检查复制账号:
sql复制SELECT user, host FROM mysql.user WHERE user='repl';
账号存在且权限正常,但奇怪的是从节点始终无法通过该账号认证。突然想到前一天晚上执行过密码轮换操作,立即检查密码变更记录:
bash复制grep "ALTER USER" /polardb/log/mysql_audit.log
果然发现对repl账号的密码修改记录,但变更时间是在从节点维护窗口之前。
2.2 PolarDB的密码同步机制
这里暴露出对PolarDB复制拓扑的特殊性理解不足:
- PolarDB采用共享存储架构,但账号密码仍存储在各自节点的内存中
- 主节点密码变更不会自动同步到从节点
- 从节点使用旧密码连接主节点时,主节点新密码会触发认证失败
关键教训:在PolarDB中修改复制账号密码后,必须同时在所有从节点执行相同变更,或者先停止复制线程再修改密码。
3. 故障修复全流程
3.1 安全停止复制
首先确保业务影响最小化:
sql复制-- 在所有从节点执行
STOP SLAVE;
SET GLOBAL read_only=1;
3.2 密码统一配置
在主节点生成新密码并记录:
sql复制ALTER USER 'repl'@'%' I
