本章將和大家分享 Elasticsearch 中的數據聚合功能，通過聚合（aggregations）可以實現對文檔數據的統計、分析、運算。 ...
本章將和大家分享 Elasticsearch 中的數據聚合功能，通過聚合（aggregations）可以實現對文檔數據的統計、分析、運算。
一、數據聚合-聚合的分類
聚合（aggregations）可以實現對文檔數據的統計、分析、運算。聚合的官方文檔地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html
聚合常見的有三類：
1）桶（Bucket）聚合：用來對文檔做分組
- TermAggregation：按照文檔欄位值分組
- Date Histogram：按照日期階梯分組，例如：一周為一組，或者一月為一組。
2）度量（Metric）聚合：用於計算一些值，比如：最大值、最小值、平均值等。
- Avg：求平均值
- Max：求最大值
- Min：求最小值
- Stats：同時求max、min、avg、sum等。
3）管道（Pipeline）聚合：以其它聚合的結果為基礎做聚合。
總結：
1）什麼是聚合？
- 聚合是對文檔數據的統計、分析、計算
2）聚合的常見種類有哪些？
- Bucket：對文檔數據分組，並統計每組數量
- Metric：對文檔數據做計算，例如：avg
- Pipeline：基於其它聚合結果再做聚合
3）參與聚合的欄位類型不能是 text（可分詞的文本）類型，可以是：keyword、數值、日期、布爾類型。
二、數據聚合-DSL實現Bucket聚合
1、DSL實現Bucket聚合
現在，我們要統計所有數據中的酒店品牌有幾種，此時可以根據酒店品牌的名稱做聚合。
類型為term類型，DSL示例：
# 聚合功能 GET /hotel/_search { "size": 0, //設置size為0，結果中不包含文檔，只包含聚合結果 "aggs": { //定義聚合 "brandAgg": { //給聚合起個名字 "terms": { //聚合的類型，按照品牌值聚合，所以選擇term "field": "brand", //參與聚合的欄位 "size": 10 //希望獲取的聚合結果數量 } } } }
運行結果如下：
{ "took" : 1, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 201, "relation" : "eq" }, "max_score" : null, "hits" : [ ] }, "aggregations" : { "brandAgg" : { "doc_count_error_upper_bound" : 0, "sum_other_doc_count" : 39, "buckets" : [ { "key" : "7天酒店", "doc_count" : 30 }, { "key" : "如家", "doc_count" : 30 }, { "key" : "皇冠假日", "doc_count" : 17 }, { "key" : "速8", "doc_count" : 15 }, { "key" : "萬怡", "doc_count" : 13 }, { "key" : "華美達", "doc_count" : 13 }, { "key" : "和頤", "doc_count" : 12 }, { "key" : "萬豪", "doc_count" : 11 }, { "key" : "喜來登", "doc_count" : 11 }, { "key" : "希爾頓", "doc_count" : 10 } ] } } }
2、Bucket聚合-聚合結果排序
預設情況下，Bucket聚合會統計Bucket內的文檔數量，記為_count，並且按照_count降序排序。
我們可以修改結果排序方式：
# 聚合功能，自定義排序規則 GET /hotel/_search { "size": 0, "aggs": { "brandAgg": { "terms": { "field": "brand", "size": 10, "order": { "_count": "asc" //按照_count升序排列 } } } } }
運行結果如下：
{ "took" : 0, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 201, "relation" : "eq" }, "max_score" : null, "hits" : [ ] }, "aggregations" : { "brandAgg" : { "doc_count_error_upper_bound" : 0, "sum_other_doc_count" : 130, "buckets" : [ { "key" : "萬麗", "doc_count" : 2 }, { "key" : "麗笙", "doc_count" : 2 }, { "key" : "君悅", "doc_count" : 4 }, { "key" : "豪生", "doc_count" : 6 }, { "key" : "維也納", "doc_count" : 7 }, { "key" : "凱悅", "doc_count" : 8 }, { "key" : "希爾頓", "doc_count" : 10 }, { "key" : "漢庭", "doc_count" : 10 }, { "key" : "萬豪", "doc_count" : 11 }, { "key" : "喜來登", "doc_count" : 11 } ] } } }
3、Bucket聚合-限定聚合範圍
預設情況下，Bucket聚合是對索引庫的所有文檔做聚合，我們可以限定要聚合的文檔範圍，只要添加query條件即可。
示例：
# 聚合功能，限定聚合範圍 GET /hotel/_search { "query": { "range": { "price": { "lte": 200 //只對200元以下的文檔聚合 } } }, "size": 0, "aggs": { "brandAgg": { "terms": { "field": "brand", "size": 10, "order": { "_count": "asc" } } } } }
運行結果如下：
{ "took" : 0, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 17, "relation" : "eq" }, "max_score" : null, "hits" : [ ] }, "aggregations" : { "brandAgg" : { "doc_count_error_upper_bound" : 0, "sum_other_doc_count" : 0, "buckets" : [ { "key" : "7天酒店", "doc_count" : 1 }, { "key" : "漢庭", "doc_count" : 1 }, { "key" : "速8", "doc_count" : 2 }, { "key" : "如家", "doc_count" : 13 } ] } } }
4、總結
1）aggs代表聚合，與query同級，此時query的作用是？
- 限定聚合的的文檔範圍
2）聚合必須的三要素是什麼？
- 聚合名稱
- 聚合類型
- 聚合欄位
3）聚合可配置屬性有哪些？
- size：指定聚合結果數量
- order：指定聚合結果排序方式
- field：指定聚合欄位
三、數據聚合-DSL實現Metric聚合
例如：我們要求獲取每個品牌的用戶評分的min、max、avg等值。
我們可以利用stats聚合：
# 嵌套聚合Metric GET /hotel/_search { "size": 0, "aggs": { "brandAgg": { "terms": { "field": "brand", "size": 10, "order": { "scoreAgg.avg": "desc" //對桶裡面的數據做排序 } }, "aggs": { //是brandAgg聚合的子聚合，也就是分組後對每組分別計算 "scoreAgg": { //聚合名稱 "stats": { //聚合類型，這裡stats可以計算min、max、avg等 "field": "score" //聚合欄位，這裡是score } } } } } }
運行結果如下所示：
{ "took" : 0, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 201, "relation" : "eq" }, "max_score" : null, "hits" : [ ] }, "aggregations" : { "brandAgg" : { "doc_count_error_upper_bound" : 0, "sum_other_doc_count" : 111, "buckets" : [ { "key" : "萬麗", "doc_count" : 2, "scoreAgg" : { "count" : 2, "min" : 46.0, "max" : 47.0, "avg" : 46.5, "sum" : 93.0 } }, { "key" : "凱悅", "doc_count" : 8, "scoreAgg" : { "count" : 8, "min" : 45.0, "max" : 47.0, "avg" : 46.25, "sum" : 370.0 } }, { "key" : "和頤", "doc_count" : 12, "scoreAgg" : { "count" : 12, "min" : 44.0, "max" : 47.0, "avg" : 46.083333333333336, "sum" : 553.0 } }, { "key" : "麗笙", "doc_count" : 2, "scoreAgg" : { "count" : 2, "min" : 46.0, "max" : 46.0, "avg" : 46.0, "sum" : 92.0 } }, { "key" : "喜來登", "doc_count" : 11, "scoreAgg" : { "count" : 11, "min" : 44.0, "max" : 48.0, "avg" : 46.0, "sum" : 506.0 } }, { "key" : "皇冠假日", "doc_count" : 17, "scoreAgg" : { "count" : 17, "min" : 44.0, "max" : 48.0, "avg" : 46.0, "sum" : 782.0 } }, { "key" : "萬豪", "doc_count" : 11, "scoreAgg" : { "count" : 11, "min" : 43.0, "max" : 47.0, "avg" : 45.81818181818182, "sum" : 504.0 } }, { "key" : "萬怡", "doc_count" : 13, "scoreAgg" : { "count" : 13, "min" : 44.0, "max" : 48.0, "avg" : 45.69230769230769, "sum" : 594.0 } }, { "key" : "君悅"
