Elasticsearch聚合查询详解

Elasticsearch聚合类型

什么是Bucket聚合

Bucket聚合是Elasticsearch中最基础的聚合类型之一，它根据特定条件或字段值将文档分组到不同的"桶"（buckets）中。每个桶代表一组满足特定条件的文档集合，这些桶可以用于分析数据分布或进行深度数据分析。

常用Bucket聚合类型

Elasticsearch提供了多种类型的Bucket聚合，每种类型适用于不同的分组场景：

使用场景和示例

1. Terms聚合示例

以电子商务网站为例，我们可以使用Terms聚合来分析产品分类的销售情况：

{
  "size": 0,
  "aggs": {
    "category_count": {
      "terms": {
        "field": "category.keyword",
        "size": 10
      }
    }
  }
}

这个查询将返回产品分类及每个分类中的文档数量（产品数量）。

2. Date Histogram聚合示例

分析过去30天内每天的订单量：

{
  "size": 0,
  "aggs": {
    "orders_over_time": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day",
        "format": "yyyy-MM-dd"
      }
    }
  }
}

这个聚合查询将订单按天分组，帮助了解订单量的时间趋势。

3. Range聚合示例

分析不同价格区间的产品分布：

{
  "size": 0,
  "aggs": {
    "price_ranges": {
      "range": {
        "field": "price",
        "ranges": [
          { "to": 50 },
          { "from": 50, "to": 100 },
          { "from": 100, "to": 200 },
          { "from": 200 }
        ]
      }
    }
  }
}

这个查询将产品按价格区间分组，帮助分析产品价格分布。

4. 嵌套使用Bucket聚合

分析每个产品类别中不同价格区间的分布：

{
  "size": 0,
  "aggs": {
    "categories": {
      "terms": {
        "field": "category.keyword",
        "size": 10
      },
      "aggs": {
        "price_ranges": {
          "range": {
            "field": "price",
            "ranges": [
              { "to": 50 },
              { "from": 50, "to": 100 },
              { "from": 100, "to": 200 },
              { "from": 200 }
            ]
          }
        }
      }
    }
  }
}

这个查询展示了Bucket聚合的嵌套使用，先按产品类别分组，然后在每个类别内再按价格区间分组。

最佳实践

• 控制返回桶数量：使用size参数限制返回的桶数量，避免返回过多数据导致性能问题。
• 优化字段类型：对于Terms聚合，使用keyword类型而非text类型字段进行聚合会有更好的性能。
• 使用过滤器减小数据集：在进行聚合前先使用query过滤数据，减少需要处理的文档数量。
• 考虑分片大小和数量：对于大规模聚合，分片大小和数量会影响聚合性能。
• 使用缓存：对于频繁执行的聚合查询，考虑使用缓存机制减轻集群负担。
• 合理使用子聚合：嵌套的聚合会增加计算复杂度，应谨慎使用深层嵌套。
• 使用适当的排序选项：例如，在Terms聚合中可以使用order参数按文档数量或自定义度量排序。

什么是Metric聚合

Metric聚合主要用于计算一组文档的统计指标，它们可以应用于文档集合或者Bucket聚合创建的桶内。与Bucket聚合不同，Metric聚合不会创建桶，而是计算数值类统计信息。

常用Metric聚合类型

Elasticsearch提供了丰富的Metric聚合类型，可以分为单值(Single-value)和多值(Multi-value)两类：

单值Metric聚合

多值Metric聚合

使用场景和示例

1. 基本Metric聚合示例

计算所有产品的平均价格、最高价格和最低价格：

{
  "size": 0,
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    },
    "max_price": {
      "max": {
        "field": "price"
      }
    },
    "min_price": {
      "min": {
        "field": "price"
      }
    }
  }
}

这个查询同时使用了多个单值Metric聚合，计算价格的不同统计指标。

2. 组合使用Bucket和Metric聚合

按产品类别分组，并计算每个类别的销售统计信息：

{
  "size": 0,
  "aggs": {
    "by_category": {
      "terms": {
        "field": "category.keyword",
        "size": 10
      },
      "aggs": {
        "sales_stats": {
          "stats": {
            "field": "sales_amount"
          }
        }
      }
    }
  }
}

这个示例先使用Terms聚合按产品类别分组，然后在每个类别内使用stats聚合计算销售额的统计指标。

3. 百分位数聚合示例

分析API响应时间的分布情况：

{
  "size": 0,
  "aggs": {
    "response_percentiles": {
      "percentiles": {
        "field": "response_time",
        "percents": [50, 75, 90, 95, 99]
      }
    }
  }
}

这个查询使用percentiles聚合计算不同百分位的响应时间，帮助分析性能和用户体验。

4. 基数聚合示例

计算每天访问网站的唯一用户数：

{
  "size": 0,
  "aggs": {
    "daily_visits": {
      "date_histogram": {
        "field": "timestamp",
        "calendar_interval": "day",
        "format": "yyyy-MM-dd"
      },
      "aggs": {
        "unique_users": {
          "cardinality": {
            "field": "user_id"
          }
        }
      }
    }
  }
}

这个示例结合使用了date_histogram和cardinality聚合，按天分组并计算每天的唯一用户数量。

最佳实践

• 选择合适的字段类型：确保用于计算的字段是合适的数值类型（integer、float、scaled_float等）。
• 理解精度与性能的平衡：百分位数（percentiles）和基数（cardinality）聚合默认是近似计算，提高精度会影响性能。
• 处理缺失值：使用missing参数指定当字段缺失时使用的默认值。
• 使用脚本扩展功能：对于复杂计算，可以使用脚本来处理字段或计算自定义值。
• 使用适当的聚合粒度：根据具体分析需求选择合适的统计粒度，避免过度聚合。
• 缓存常用聚合结果：对于频繁使用的复杂聚合，考虑缓存结果以提高性能。

什么是Pipeline聚合

Pipeline聚合是一种特殊类型的聚合，它不像Bucket和Metric聚合那样直接处理文档，而是处理其他聚合的输出结果。Pipeline聚合可以创建一系列聚合处理管道，对聚合结果进行进一步加工和转换。

Pipeline聚合主要分为两大类：

1. 父级(Parent) Pipeline聚合：对父聚合的桶内容进行处理，输出结果添加到现有桶中。
2. 兄弟级(Sibling) Pipeline聚合：使用与自身处于同级的聚合结果，并生成新的聚合输出。

常用Pipeline聚合类型

父级Pipeline聚合

兄弟级Pipeline聚合

使用场景和示例

1. 累积和（Cumulative Sum）示例

计算每月累计销售额：

{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "month",
        "format": "yyyy-MM"
      },
      "aggs": {
        "monthly_sales": {
          "sum": {
            "field": "sales_amount"
          }
        },
        "cumulative_sales": {
          "cumulative_sum": {
            "buckets_path": "monthly_sales"
          }
        }
      }
    }
  }
}

这个查询先按月分组并计算每月销售额，然后使用cumulative_sum聚合计算累计销售额。

2. 移动平均（Moving Average）示例

计算网站流量的7天移动平均值：

{
  "size": 0,
  "aggs": {
    "daily_visits": {
      "date_histogram": {
        "field": "timestamp",
        "calendar_interval": "day",
        "format": "yyyy-MM-dd"
      },
      "aggs": {
        "visit_count": {
          "sum": {
            "field": "visits"
          }
        },
        "visit_moving_avg": {
          "moving_avg": {
            "buckets_path": "visit_count",
            "window": 7,
            "model": "simple"
          }
        }
      }
    }
  }
}

这个示例先计算每天的访问量，然后使用moving_avg聚合计算7天的简单移动平均值，帮助平滑数据波动。

3. 桶选择器（Bucket Selector）示例

筛选出销售额超过1000的产品类别：

{
  "size": 0,
  "aggs": {
    "categories": {
      "terms": {
        "field": "category.keyword",
        "size": 100
      },
      "aggs": {
        "total_sales": {
          "sum": {
            "field": "sales_amount"
          }
        },
        "sales_bucket_filter": {
          "bucket_selector": {
            "buckets_path": {
              "salesAmount": "total_sales"
            },
            "script": "params.salesAmount > 1000"
          }
        }
      }
    }
  }
}

这个查询先按产品类别分组并计算每个类别的总销售额，然后使用bucket_selector只保留销售额超过1000的类别。

4. 桶脚本（Bucket Script）示例

计算每个产品的利润率：

{
  "size": 0,
  "aggs": {
    "products": {
      "terms": {
        "field": "product_id",
        "size": 100
      },
      "aggs": {
        "total_revenue": {
          "sum": {
            "field": "revenue"
          }
        },
        "total_cost": {
          "sum": {
            "field": "cost"
          }
        },
        "profit_margin": {
          "bucket_script": {
            "buckets_path": {
              "revenue": "total_revenue",
              "cost": "total_cost"
            },
            "script": "(params.revenue - params.cost) / params.revenue * 100"
          }
        }
      }
    }
  }
}

这个示例使用bucket_script聚合计算每个产品的利润率，通过脚本对收入和成本进行计算。

最佳实践

• 正确设置buckets_path：确保指定的路径正确引用了目标聚合，路径格式通常为聚合名称或父聚合>子聚合。
• 处理缺失值：使用gap_policy参数指定如何处理路径中缺失的值，可选值为skip（默认，跳过）或insert_zeros（插入零值）。
• 选择合适的移动平均模型：移动平均聚合支持多种模型（simple、linear、ewma等），根据数据特性选择合适的模型。
• 优化脚本性能：对于bucket_script聚合，尽量使用简单高效的脚本，避免复杂计算。
• 控制聚合深度：过深的Pipeline聚合嵌套可能导致复杂度增加和性能下降。
• 排序和分页：使用bucket_sort聚合对结果进行排序和分页，而不是在客户端处理。