避免业务中断，K8s节点故障排查攻略，速来围观！

Kubernetes故障排查方法论

网络诊断：

• 连通性测试：使用 ping、nc、telnet 等工具测试 Pod 间的网络连通性，或通过 curl 检查服务端口是否可达。

• NetworkPolicy 检查：确认 NetworkPolicy 规则是否过于严格导致通信阻断，使用 kubectl get netpol 查看并分析现有策略。

• CNI 插件排查：检查 CNI 插件（如 Calico、Flannel 等）的日志，排查网络配置或插件自身问题。

存储问题排查：

• PVC/PV 状态检查：使用 kubectl get pvc,pv 查看 PersistentVolumeClaim 和 PersistentVolume 的绑定状态与容量，确认是否存在未绑定、容量不足等问题。

• 存储日志与事件：检查存储插件（如 Local Volume、CSI Driver 等）日志，以及 PVC/PV 的事件信息，查找存储访问异常。

• 数据完整性验证：必要时，直接在宿主机上挂载存储卷，检查数据完整性和一致性。

资源调度与亲和性问题：

• 节点资源分析：使用 kubectl top nodes 查看节点资源使用情况，判断是否存在资源瓶颈。

• 调度策略检查：确认 Deployments、StatefulSets 等资源的 .spec.template.spec.nodeSelector、.spec.affinity、.spec.tolerations 等调度相关字段配置，看是否限制了 Pod 的调度范围。

• kube-scheduler 日志：分析 kube-scheduler 日志，了解调度决策过程，找出影响调度的因素。

认证授权与访问控制：

• RBAC 规则审查：使用 kubectl get rolebindings,clusterrolebindings 检查角色绑定关系，确保用户或服务账户具有正确的 API 访问权限。

• API Server 访问日志：分析 kube-apiserver-audit.log，跟踪特定用户或账户的 API 请求与响应，排查授权问题。

• 网络代理与认证配置：检查 kubeconfig 文件、API Server 配置及网络代理（如 kube-proxy、ingress-nginx 等）的认证设置，确保访问路径无误。

不管是否初学者，大家一般都可以从现象识别到问题定位，再到深入排查与解决方案制定，形成一套完整的问题解决闭环。随着实践经验的积累，排查效率与解决问题的能力将不断提升。

三、K8S 常见故障案例

下面再给大家来些经典的故障案例及其排查方法：

故障案例1：服务间网络通信异常，表现为超时或连接失败

问题点：Kubernetes 集群内不同服务之间的网络通信出现异常，表现为请求超时、连接失败或响应缓慢。

影响范围：

• 直接影响：服务间依赖关系中断，导致依赖服务的功能不可用或性能下降。

• 间接影响：可能波及整个微服务架构，引发连锁反应，造成系统整体不稳定。

排查方法：

1. 验证服务状态：使用 kubectl get svc 和 kubectl get po 确认涉及的服务和 Pod 是否正常运行。

2. 测试网络连通性：在出现问题的 Pod 内使用 ping、nc 或 curl 等工具测试与目标服务的网络连通性，包括 ClusterIP、NodePort 或 Headless Service 的 DNS 解析。

3. 检查 NetworkPolicy 规则：使用 kubectl get netpol 查看是否有 NetworkPolicy 规则限制了服务间的通信。

4. 检查网络插件日志：检查网络插件（如 Calico、Flannel 等）的日志，寻找可能的网络异常或配置问题。

5. 排查 DNS 解析问题：如果通过服务名访问出现问题，检查内部 DNS 服务（如 CoreDNS）日志，确认服务 DNS 记录是否正确。

故障案例2：Pod 无法启动，状态持续为 ImagePullBackOff

问题点：Pod 在创建过程中无法成功拉取指定的容器镜像，状态持续显示为 ImagePullBackOff。