Redis集群故障应急手册：从诊断到修复的实战指南
凌晨三点，监控系统突然发出刺耳的警报声——Redis集群中两个节点显示为"fail"状态。作为值班工程师，你必须在早高峰前恢复服务。本文将带你深入Redis集群故障的应急处理全流程，从快速诊断到安全修复，掌握redis-cli --cluster工具链的核心技巧。
1. 集群健康检查：定位故障源头
当收到集群告警时，首要任务是确定故障范围和类型。redis-cli --cluster check命令是集群诊断的瑞士军刀，它能发现以下典型问题：
redis-cli --cluster check 127.0.0.1:7001常见异常输出解析：
[ERR] Not all 16384 slots are covered by nodes
槽位分配不完整，可能是节点宕机导致槽位丢失Node ... is not empty but has no slots assigned
节点有数据但无槽位分配，通常出现在扩容失败场景Multiple owners for the following slots
槽位冲突，多个节点声称拥有相同槽位
检查完成后，记录关键指标：
redis-cli --cluster info 127.0.0.1:7001集群健康状态矩阵：
| 状态指标 | 正常值 | 异常表现 |
|---|---|---|
| 槽位覆盖率 | 16384 | 小于16384 |
| 主从连接状态 | connected | disconnected/fail |
| 节点握手状态 | connected | handshake_fail |
| 集群纪元(epoch) | 各节点一致 | 数值不一致 |
2. 节点故障处理：主从切换与恢复
当单个节点故障时，根据其角色采取不同策略：
2.1 从节点宕机处理
从节点故障影响较小，处理流程：
- 尝试重启节点
- 检查日志定位崩溃原因
- 若无法立即恢复，临时移除节点：
redis-cli --cluster del-node 127.0.0.1:7001 <node-id>2.2 主节点宕机紧急恢复
主节点故障会直接影响槽位服务，需立即处理：
自动故障转移失败时手动干预：
# 提升从节点为主节点 redis-cli -h 127.0.0.1 -p 7002 cluster failover takeover # 修复原主节点槽位 redis-cli --cluster fix 127.0.0.1:7001 \ --cluster-fix-with-unreachable-masters主节点恢复检查表：
- [ ] 确认原主节点数据持久化状态
- [ ] 检查哨兵监控配置
- [ ] 验证新主节点同步状态
- [ ] 监控集群流量变化
3. 槽位异常修复：解决数据访问问题
槽位问题是集群最常见的故障类型，表现为部分key无法访问。
3.1 槽位迁移中断修复
使用--cluster fix处理迁移中断：
redis-cli --cluster fix 127.0.0.1:7001 \ --cluster-search-multiple-owners槽位修复决策树：
确认槽位状态：
redis-cli cluster slots | grep <problem-slot>判断修复方式：
- 单个槽位冲突 → 手动重置
- 批量槽位问题 → 自动修复
执行修复后验证：
redis-cli --cluster check 127.0.0.1:7001 | grep -A5 "Fix"
3.2 孤儿槽位恢复
当主节点永久丢失时，需重新分配其槽位：
# 将槽位重新分配到存活节点 redis-cli --cluster reshard 127.0.0.1:7001 \ --cluster-from <dead-node-id> \ --cluster-to <new-node-id> \ --cluster-slots <count> \ --cluster-yes注意：此操作会导致受影响槽位数据丢失，仅在所有从节点都不可用时使用
4. 集群配置维护：预防性措施
完善的监控配置能预防80%的集群故障：
关键监控指标配置：
# 集群状态监控 cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 # 节点存活检查 cluster_known_nodes:6 cluster_size:3定期维护任务清单：
每月执行集群平衡：
redis-cli --cluster rebalance 127.0.0.1:7001 \ --cluster-threshold 1季度备份集群配置：
redis-cli --cluster backup 127.0.0.1:7001 /backup验证故障转移演练：
redis-cli --cluster call 127.0.0.1:7001 "DEBUG sleep 30"
5. 复杂故障场景处理
面对多节点故障等复杂情况时，需要系统化的处理流程：
5.1 网络分区恢复
当集群出现脑裂时，按顺序执行：
- 优先恢复网络连接
- 比较各分区配置纪元(epoch)
- 保留配置纪元高的分区
- 重启低纪元分区节点
5.2 全集群重启步骤
记录当前槽位分配：
redis-cli --cluster nodes 127.0.0.1:7001 > cluster.nodes按顺序关闭节点：
- 先关闭所有从节点
- 最后关闭主节点
启动时恢复配置：
redis-cli --cluster import 127.0.0.1:7001 \ --cluster-from cluster.nodes
故障处理黄金法则：每次修复操作前，务必备份当前集群状态。我曾遇到一次误操作导致槽位分配完全混乱，幸亏有完整的nodes.json备份，最终通过--cluster import恢复了整个集群配置。
