K8S: etcdserver: too many requests

Kubernetes etcdserver: too many requests 错误解决方案

当Kubernetes集群出现 etcdserver: too many requests 错误时，表明etcd数据库接收到的请求量超过了其处理能力。etcd作为Kubernetes的核心组件，存储着集群的所有状态数据，处理请求过载会导致集群不稳定。

一、错误原因分析

此错误通常由以下原因引起：

• 高频API请求：某个组件（如控制器、Operator）频繁调用API服务器
• 资源对象过多：集群中存在大量Pod、Service、ConfigMap等资源
• 组件故障：某个Pod持续重试失败请求，导致流量激增
• 监控或日志系统压力：Prometheus、Fluentd等组件产生大量请求
• etcd配置不足：etcd节点资源（CPU/内存/磁盘）不足或参数配置不合理

二、诊断排查步骤

1. 检查etcd节点负载

   # 查看etcd节点资源使用情况
   kubectl top pod -n kube-system | grep etcd
   
   # 直接登录etcd节点查看详细指标
   kubectl exec -n kube-system etcd-[node-name] -- etcdctl endpoint status --write-out=table
   

2. 分析API请求流量

   # 查看API服务器请求速率
   kubectl top nodes
   kubectl logs -n kube-system api-server-[pod-name] | grep "request count"
   
   # 使用kubespy监控API请求
   kubectl apply -f https://github.com/vladimirvivien/kubespy/releases/latest/download/kubespy.yaml
   kubespy -n kube-system
   

3. 定位异常组件

   # 查看所有命名空间的Pod状态
   kubectl get pods --all-namespaces -o wide
   
   # 检查事件日志
   kubectl get events --all-namespaces | grep -i error
   

三、解决方案

1. 临时缓解措施

• 增加etcd请求限速
  修改etcd启动参数，提高请求处理能力（在etcd的Deployment中添加）：

  spec:
    containers:
    - name: etcd
      command:
      - etcd
      - --max-request-bytes=20971520  # 提高请求字节限制
      - --max-inflight-requests=1000    # 提高并发请求数（默认100）
      - --quota-backend-bytes=8589934592 # 提高后端存储配额（默认2GB）
  

• 临时重启etcd

  kubectl delete pod -n kube-system etcd-[node-name]
  

2. 长期优化方案

• 优化高频请求组件
  例如，调整控制器的 reconcile 频率（以Deployment为例）：

  spec:
    replicas: 3
    strategy:
      type: RollingUpdate
      rollingUpdate:
        maxSurge: 1
        maxUnavailable: 1
    minReadySeconds: 30  # 增加就绪检查时间，减少频繁更新
  

• 减少资源对象数量
  清理无用的资源：

  # 清理终止状态的Pod
  kubectl get pods --all-namespaces | grep Terminated | awk '{print $1, $2}' | xargs -I {} kubectl delete pod {} -n {}
  
  # 清理过期的Job
  kubectl get job --all-namespaces | grep completed | awk '{print $1, $2}' | xargs -I {} kubectl delete job {} -n {}
  

• 优化etcd节点配置

  • 为etcd节点分配更多资源（推荐配置：8核CPU/16GB内存/SSD磁盘）
  • 启用etcd WAL日志压缩：

    etcdctl compact --endpoints=https://127.0.0.1:2379 --cacert=/etc/etcd/ca.crt --cert=/etc/etcd/healthcheck-client.crt --key=/etc/etcd/healthcheck-client.key latest
    etcdctl defrag --endpoints=https://127.0.0.1:2379 --cacert=/etc/etcd/ca.crt --cert=/etc/etcd/healthcheck-client.crt --key=/etc/etcd/healthcheck-client.key
    

• 部署请求限流组件
  使用Kubernetes的限流插件（如limitrange、resourcequota）或外部限流工具（如Kong、APISIX）：

  apiVersion: v1
  kind: LimitRange
  metadata:
    name: api-request-limit
  spec:
    limits:
    - type: Pod
      max:
        requests.cpu: "1"
        requests.memory: "512Mi"
      min:
        requests.cpu: "100m"
        requests.memory: "64Mi"
  

四、最佳实践建议

1. 监控etcd关键指标
   关注以下Prometheus指标：

   • etcd_server_proposals_committed_total：每秒提交的提案数
   • etcd_disk_wal_fsync_duration_seconds：WAL日志写入延迟
   • etcd_server_requests_total：API请求总数

2. 实施滚动更新策略
   对etcd集群进行滚动更新时，每次只更新一个节点，确保集群可用性。

3. 启用etcd自动备份
   配置定期备份etcd数据，防止数据丢失：

   kubectl create cronjob etcd-backup --image=bitnami/etcd:3.5 \
     --schedule="0 2 * * *" \
     --restart=OnFailure \
     -- env="ETCDCTL_API=3" \
     -- env="ETCD_ENDPOINTS=https://etcd-client:2379" \
     -- env="ETCD_CA_FILE=/etc/etcd/ca.crt" \
     -- env="ETCD_CERT_FILE=/etc/etcd/client.crt" \
     -- env="ETCD_KEY_FILE=/etc/etcd/client.key" \
     -- etcdctl snapshot save /backup/etcd-snapshot-$(date +%Y%m%d%H%M).db
   

通过以上步骤，您可以有效解决etcd请求过载问题，并优化Kubernetes集群的长期稳定性。如果问题持续存在，建议进一步分析具体请求来源，可能需要对特定组件进行代码级优化。