集群恢复，当节点离线导致分片状态为UNASSIGNED时，如何进行分片重分配？ 当出现Elasticsearch bulk写入性能瓶颈时，可以从哪些方面进行优化

关于Elasticsearch集群恢复和写入性能优化问题，以下是具体解决方案：

一、集群分片重分配解决方案

1. 手动分片分配（需确保集群状态Yellow/Red）：

PUT _cluster/reroute
{
  "commands": [
    {
      "allocate_stale_replica": {
        "index": "索引名",
        "shard": 分片编号,
        "node": "目标节点ID"
      }
    }
  ]
}

2. 常用修复步骤：
   1）检查分片状态：

GET _cat/shards?v&h=index,shard,prirep,state,unassigned.reason

2）启用自动分配（默认开启）：

PUT _cluster/settings
{
  "transient": {
    "cluster.routing.allocation.enable": "all"
  }
}

3）调整恢复阈值（根据硬件调整）：

PUT _cluster/settings
{
  "transient": {
    "cluster.routing.allocation.node_initial_primaries_recoveries": 4,
    "cluster.routing.allocation.node_concurrent_recoveries": 2
  }
}

二、Bulk写入性能优化方案

1. 客户端优化：

# 使用多线程批量提交（Python示例）
from elasticsearch.helpers import parallel_bulk

for success, info in parallel_bulk(es, actions, thread_count=4):
    if not success:
        print(f'Doc failed: {info}')

2. 服务端核心参数调整：

PUT _cluster/settings
{
  "transient": {
    "indices.memory.index_buffer_size": "15%",
    "index.refresh_interval": "60s",
    "index.translog.durability": "async"
  }
}

3. 硬件优化建议：

• SSD NVMe磁盘（推荐IOPS > 5000）
• 单个节点内存建议 >= 32GB（堆内存设置31GB）
• 万兆网络带宽（建议开启TCP窗口缩放）

4. 高级优化技巧：

# 冷热数据分离架构
PUT _ilm/policy/hot_warm_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50GB"
          }
        }
      },
      "warm": {
        "min_age": "1d",
        "actions": {
          "allocate": {
            "require": {
              "data": "warm"
            }
          }
        }
      }
    }
  }
}

监控指标参考值：

• 单个bulk请求响应时间：< 1s
• JVM堆内存使用率：< 70%
• 磁盘IO等待时间：< 20ms

建议优化顺序：客户端参数 → 索引配置 → 硬件升级 → 架构调整