前言
在 Kubernetes 集群运维中，经常需要对单个节点进行维护，比如升级内核、重装 NVIDIA 驱动、扩容磁盘甚至重装系统。这时最核心的需求是：安全地将节点隔离出来，确保不影响集群其他部分，同时彻底清理本地残留，避免容器和 Pod 反复重建。
下面分享一套经过实战验证的完整流程，适用于大多数基于 kubeadm 或类似方式部署的集群(版本 v1.20+ 均适用)。
1. 标记节点不可调度
防止新 Pod 被调度到目标节点。
kubectl cordon <node-name>节点状态变为Ready,SchedulingDisabled。
2. 删除节点上所有 Pod(包括 DaemonSet)
kubectl delete pod --all-namespaces --field-selector spec.nodeName=<node-name> --grace-period=0 --force这一步会强制删除所有 Pod，包括 DaemonSet 管理的系统组件(如 calico-node、kube-proxy 等)。
3. 让节点进入 NotReady 状态(关键步骤)
这是阻止 DaemonSet Pod 重建的核心。
在目标节点上执行：
sudo systemctl stop kubelet sudo pkill -9 -f kubelet # 确保进程彻底结束几秒到一分钟后，节点状态变为NotReady,SchedulingDisabled。
此时即使 DaemonSet 控制器尝试创建新 Pod，也只会卡在 Pending 状态，不会真正启动容器。
4. 清理本地运行的容器
kubelet 停止前可能已拉起部分容器，需要手动清理。
sudo docker rm -f $(sudo docker ps -aq) # Docker 环境 # 或 containerd 环境 sudo crictl rm -f $(sudo crictl ps -q)5. 清理镜像和运行时残留
sudo docker rmi -f $(sudo docker images -q) sudo docker system prune -a --volumes -f6. 清理 Kubernetes 残留文件和挂载
常会遇到Device or resource busy错误，因为 secret/configmap 等卷以 tmpfs 方式挂载。
# 先卸载所有 kubelet 相关 tmpfs sudo mount | grep kubelet | awk '{print $3}' | xargs -r sudo umount # 再删除残留目录 sudo rm -rf /var/lib/kubelet/* /var/log/pods/* /var/log/containers/* # 重建必要空目录 sudo mkdir -p /var/lib/kubelet /var/log/pods /var/log/containers7. 可选：进一步释放磁盘空间
- 清理 snap 旧版本(Ubuntu 常见)：
sudo snap list --all | awk '/disabled/{print $1, $3}' | while read n r; do sudo snap remove "$n" --revision="$r" --purge; done - 清理系统日志：
sudo journalctl --vacuum-size=500M
8. 维护完成后恢复节点
在目标节点上：
sudo systemctl start kubelet等待节点恢复Ready状态后，在控制平面执行：
kubectl uncordon <node-name>所有 DaemonSet Pod 会自动重建，节点恢复正常运行。
常见问题与解决方案
- Pod 或容器反复重建→ 节点仍为 Ready 状态 → 必须停止 kubelet 让节点 NotReady
- 删除 /var/lib/kubelet 时提示 busy→ 未卸载 tmpfs 挂载 → 先 umount 再删除
- docker stop 无效→ kubelet 仍在拉起容器 → 彻底杀死 kubelet 进程
总结
这套流程的核心思想是：
- cordon 阻止调度
- 强制删除 Pod
- 停止 kubelet 让节点 NotReady(阻止重建)
- 彻底清理本地残留
执行完后，节点完全隔离且干净，可安全进行任何破坏性操作。恢复时仅需启动 kubelet 并 uncordon 即可自动愈合。
