Elasticsearch 结果聚合与分页机制详解

一、结果聚合原理

Elasticsearch 的分布式结果聚合是通过两阶段查询过程完成的：

1. 查询阶段（Query Phase）

分片级处理：

• 协调节点将查询广播到所有相关分片（主分片或副本分片）
• 每个分片独立执行查询，计算本地相关性评分
• 各分片返回前N条结果的文档ID和评分（N = from + size）

特点：

• 使用优先级队列（Top-Hits Collector）收集结果
• 默认返回每个分片的Top 10结果（可通过preference参数调整）

2. 取回阶段（Fetch Phase）

协调节点处理：

1. 合并所有分片结果，重新排序得到全局Top N
2. 向相关分片发起多文档获取请求（multi-get）
3. 组装完整文档数据返回客户端

客户端请求

协调节点

分片1: 查询+评分

分片2: 查询+评分

返回元数据

全局排序

向分片获取完整数据

返回最终结果

二、深度分页问题与解决方案

1. 常规分页的问题

from/size 方式：

{
  "from": 9000,
  "size": 10
}

缺陷：

• 需要协调节点收集 from+size 条结果的所有分片数据
• 内存消耗大（O(n)复杂度）
• 默认限制 index.max_result_window=10000

2. 推荐解决方案

方案A：Search After（游标分页）

原理：

• 使用上一页最后一条结果的排序值作为下一页的起始点
• 避免全局排序，性能稳定（O(1)复杂度）

示例：

{
  "size": 10,
  "sort": [
    {"price": "asc"},
    {"_id": "desc"}  // 确保排序唯一性
  ],
  "search_after": [100, "abc123"]  // 上一页最后一条的sort值
}

优势：

• 适合无限滚动和深度分页
• 内存消耗恒定
• 支持实时数据（不受写入影响）

方案B：Scroll API（快照游标）

原理：

• 创建查询快照，保持初始索引状态
• 通过游标分批获取结果

示例：

POST /_search/scroll
{
  "scroll": "1m",  // 游标保持时间
  "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAA..."
}

适用场景：

• 大数据量导出
• 非实时分页需求（快照创建后新增数据不可见）

方案C：Point in Time (PIT) + Search After

ES 7.10+ 推荐方式：

// 1. 创建PIT
POST /my-index/_pit?keep_alive=1m

// 2. 首次查询
{
  "size": 10,
  "pit": {
    "id": "46ToAwMDaWR5BXV1aWQyKwZub2RlXzMAAAAAAAAAACoBYwADaWR4BXV1aWQxAgZub2RlXzEAAAAAAAAAAAEBYQADaWR5BXV1aWQyKgZub2RlXzIAAAAAAAAAAAwBYgACBXV1aWQyAAAFdXVpZDEAAQltYXRjaF9hbGw_gAAAAA==",
    "keep_alive": "1m"
  },
  "sort": [{"@timestamp": "asc"}, {"_id": "desc"}]
}

// 3. 后续分页
{
  "size": 10,
  "pit": {
    "id": "同上", 
    "keep_alive": "1m"
  },
  "sort": [{"@timestamp": "asc"}, {"_id": "desc"}],
  "search_after": ["2023-01-01T00:00:00.000Z", "abc123"]
}

优势：

• 结合Scroll的稳定性和Search After的高效
• 支持实时索引更新（通过keep_alive维护上下文）

三、聚合查询的分页处理

1. Terms Aggregation 分页

常规方式：

{
  "aggs": {
    "products": {
      "terms": {
        "field": "product_id",
        "size": 10,
        "order": {"_count": "desc"}
      }
    }
  }
}

分页问题：

• 聚合结果默认只返回Top N
• 无法直接跳过前M个桶

2. 解决方案：Composite Aggregation

分页实现：

{
  "aggs": {
    "products": {
      "composite": {
        "size": 10,
        "sources": [
          { "product": { "terms": { "field": "product_id" } } }
        ],
        "after": { "product": "abc123" }  // 上一页最后一项
      }
    }
  }
}

特点：

• 类似Search After机制
• 支持多字段组合分页
• 每次返回下一页的after_key

四、性能优化建议

1. 避免深度分页：

   • 业务设计上限制最大页码
   • 使用无限滚动替代传统分页

2. 索引设计优化：

   // 设置合理的分片大小
   PUT /my-index
   {
     "settings": {
       "number_of_shards": 5,  // 根据数据量调整
       "number_of_replicas": 1
     }
   }
   

3. 查询优化技巧：

   • 添加_doc排序（最轻量级排序）
   • 使用filter替代query减少评分计算
   • 限制_source字段返回

4. 监控与调优：

   // 查看查询性能
   GET /_nodes/stats/indices/search
   

五、分页方案对比

方案	适用场景	实时性	内存消耗	深度分页支持
from/size	浅分页（<1000页）	实时	高	不支持
Search After	深度分页/无限滚动	实时	低	支持
Scroll	大数据量导出	非实时	中	支持
PIT+Search After	深度分页（ES7.10+）	实时	低	支持
Composite Agg	聚合结果分页	实时	低	支持

正确选择分页方式可以避免集群性能问题，特别是处理大数据量时，Search After和Composite Aggregation是最推荐的解决方案。