Elasticsearch 系列(五)- 數據聚合

来源:https://www.cnblogs.com/xyh9039/p/18093166
-Advertisement-
Play Games

本章將和大家分享 Elasticsearch 中的數據聚合功能,通過聚合(aggregations)可以實現對文檔數據的統計、分析、運算。 ...


本章將和大家分享 Elasticsearch 中的數據聚合功能,通過聚合(aggregations)可以實現對文檔數據的統計、分析、運算。

一、數據聚合-聚合的分類

聚合(aggregations)可以實現對文檔數據的統計、分析、運算。聚合的官方文檔地址:https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html

聚合常見的有三類:

1)桶(Bucket)聚合:用來對文檔做分組

  • TermAggregation:按照文檔欄位值分組
  • Date Histogram:按照日期階梯分組,例如:一周為一組,或者一月為一組。

2)度量(Metric)聚合:用於計算一些值,比如:最大值、最小值、平均值等。

  • Avg:求平均值
  • Max:求最大值
  • Min:求最小值
  • Stats:同時求max、min、avg、sum等。

3)管道(Pipeline)聚合:以其它聚合的結果為基礎做聚合。

總結:

1)什麼是聚合?

  • 聚合是對文檔數據的統計、分析、計算

2)聚合的常見種類有哪些?

  • Bucket:對文檔數據分組,並統計每組數量
  • Metric:對文檔數據做計算,例如:avg
  • Pipeline:基於其它聚合結果再做聚合

3)參與聚合的欄位類型不能是 text(可分詞的文本)類型,可以是:keyword、數值、日期、布爾類型。

二、數據聚合-DSL實現Bucket聚合

1、DSL實現Bucket聚合

現在,我們要統計所有數據中的酒店品牌有幾種,此時可以根據酒店品牌的名稱做聚合。

類型為term類型,DSL示例:

# 聚合功能
GET /hotel/_search
{
  "size": 0, //設置size為0,結果中不包含文檔,只包含聚合結果
  "aggs": { //定義聚合
    "brandAgg": { //給聚合起個名字
      "terms": { //聚合的類型,按照品牌值聚合,所以選擇term
        "field": "brand", //參與聚合的欄位
        "size": 10 //希望獲取的聚合結果數量
      }
    }
  }
}

運行結果如下:

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 201,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "brandAgg" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 39,
      "buckets" : [
        {
          "key" : "7天酒店",
          "doc_count" : 30
        },
        {
          "key" : "如家",
          "doc_count" : 30
        },
        {
          "key" : "皇冠假日",
          "doc_count" : 17
        },
        {
          "key" : "速8",
          "doc_count" : 15
        },
        {
          "key" : "萬怡",
          "doc_count" : 13
        },
        {
          "key" : "華美達",
          "doc_count" : 13
        },
        {
          "key" : "和頤",
          "doc_count" : 12
        },
        {
          "key" : "萬豪",
          "doc_count" : 11
        },
        {
          "key" : "喜來登",
          "doc_count" : 11
        },
        {
          "key" : "希爾頓",
          "doc_count" : 10
        }
      ]
    }
  }
}

2、Bucket聚合-聚合結果排序

預設情況下,Bucket聚合會統計Bucket內的文檔數量,記為_count,並且按照_count降序排序。

我們可以修改結果排序方式:

# 聚合功能,自定義排序規則
GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10,
        "order": {
          "_count": "asc" //按照_count升序排列
        }
      }
    }
  }
}

運行結果如下:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 201,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "brandAgg" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 130,
      "buckets" : [
        {
          "key" : "萬麗",
          "doc_count" : 2
        },
        {
          "key" : "麗笙",
          "doc_count" : 2
        },
        {
          "key" : "君悅",
          "doc_count" : 4
        },
        {
          "key" : "豪生",
          "doc_count" : 6
        },
        {
          "key" : "維也納",
          "doc_count" : 7
        },
        {
          "key" : "凱悅",
          "doc_count" : 8
        },
        {
          "key" : "希爾頓",
          "doc_count" : 10
        },
        {
          "key" : "漢庭",
          "doc_count" : 10
        },
        {
          "key" : "萬豪",
          "doc_count" : 11
        },
        {
          "key" : "喜來登",
          "doc_count" : 11
        }
      ]
    }
  }
}

3、Bucket聚合-限定聚合範圍

預設情況下,Bucket聚合是對索引庫的所有文檔做聚合,我們可以限定要聚合的文檔範圍,只要添加query條件即可。

示例:

# 聚合功能,限定聚合範圍
GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "lte": 200 //只對200元以下的文檔聚合
      }
    }
  },
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10,
        "order": {
          "_count": "asc"
        }
      }
    }
  }
}

運行結果如下:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 17,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "brandAgg" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "7天酒店",
          "doc_count" : 1
        },
        {
          "key" : "漢庭",
          "doc_count" : 1
        },
        {
          "key" : "速8",
          "doc_count" : 2
        },
        {
          "key" : "如家",
          "doc_count" : 13
        }
      ]
    }
  }
}

4、總結

1)aggs代表聚合,與query同級,此時query的作用是?

  • 限定聚合的的文檔範圍

2)聚合必須的三要素是什麼?

  • 聚合名稱
  • 聚合類型
  • 聚合欄位

3)聚合可配置屬性有哪些?

  • size:指定聚合結果數量
  • order:指定聚合結果排序方式
  • field:指定聚合欄位

三、數據聚合-DSL實現Metric聚合

例如:我們要求獲取每個品牌的用戶評分的min、max、avg等值。

我們可以利用stats聚合:

# 嵌套聚合Metric
GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10,
        "order": {
          "scoreAgg.avg": "desc" //對桶裡面的數據做排序
        }
      },
      "aggs": { //是brandAgg聚合的子聚合,也就是分組後對每組分別計算
        "scoreAgg": { //聚合名稱
          "stats": { //聚合類型,這裡stats可以計算min、max、avg等
            "field": "score" //聚合欄位,這裡是score
          }
        }
      }
    }
  }
}

運行結果如下所示:

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 201,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "brandAgg" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 111,
      "buckets" : [
        {
          "key" : "萬麗",
          "doc_count" : 2,
          "scoreAgg" : {
            "count" : 2,
            "min" : 46.0,
            "max" : 47.0,
            "avg" : 46.5,
            "sum" : 93.0
          }
        },
        {
          "key" : "凱悅",
          "doc_count" : 8,
          "scoreAgg" : {
            "count" : 8,
            "min" : 45.0,
            "max" : 47.0,
            "avg" : 46.25,
            "sum" : 370.0
          }
        },
        {
          "key" : "和頤",
          "doc_count" : 12,
          "scoreAgg" : {
            "count" : 12,
            "min" : 44.0,
            "max" : 47.0,
            "avg" : 46.083333333333336,
            "sum" : 553.0
          }
        },
        {
          "key" : "麗笙",
          "doc_count" : 2,
          "scoreAgg" : {
            "count" : 2,
            "min" : 46.0,
            "max" : 46.0,
            "avg" : 46.0,
            "sum" : 92.0
          }
        },
        {
          "key" : "喜來登",
          "doc_count" : 11,
          "scoreAgg" : {
            "count" : 11,
            "min" : 44.0,
            "max" : 48.0,
            "avg" : 46.0,
            "sum" : 506.0
          }
        },
        {
          "key" : "皇冠假日",
          "doc_count" : 17,
          "scoreAgg" : {
            "count" : 17,
            "min" : 44.0,
            "max" : 48.0,
            "avg" : 46.0,
            "sum" : 782.0
          }
        },
        {
          "key" : "萬豪",
          "doc_count" : 11,
          "scoreAgg" : {
            "count" : 11,
            "min" : 43.0,
            "max" : 47.0,
            "avg" : 45.81818181818182,
            "sum" : 504.0
          }
        },
        {
          "key" : "萬怡",
          "doc_count" : 13,
          "scoreAgg" : {
            "count" : 13,
            "min" : 44.0,
            "max" : 48.0,
            "avg" : 45.69230769230769,
            "sum" : 594.0
          }
        },
        {
          "key" : "君悅"	   

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在 Python 2 中,str.format() 函數可以使用一些高級的格式化選項,下麵是一些常用的高級用法: 1. 格式化數字 可以使用格式化選項來控制數字的顯示方式,例如: # 將數字格式化為帶千位分隔符的字元串 n = 1234567 s = "{:,}".format(n) print(s ...
  • 概述 最近項目組在準備接入各種指標監控系統,筆者負責的部分剛好涉及到了 Druid,故記錄一下在過程中遇到的各種情況和坑。 1. 直接使用 Druid 直接使用 Druid 的監控功能,需要直接將它提供的 Servlet 配置到 Web 容器中。具體可以直接參照官方文檔。 配置信息採集:https: ...
  • 此系列文章逐個內容講解ET8.1的新特性。 ET8.1 發佈,帶來以下新特性: 1. 多線程多進程架構,架構更加靈活強大,多線程設計詳細內容請看多線程設計課程 2. 抽象出纖程(Fiber)的概念,類似erlang的進程,非常輕鬆的創建多個纖程,利用多核,仍然是單線程開發的體驗 3. 纖程調度: 主 ...
  • 開發了TensorRT C# API 2.0版本,該版本在開發時充分考慮了上一版本應用時出現的問題,併進行了改進。同時在本版本中,我們對介面進行了優化,使用起來更加簡單,並同時提供了相關的應用案例,方便開發者進行使用。 ...
  • 前面我們使用了IIncrementalGenerator來生成代碼,接下來我們來詳細瞭解下IIncrementalGenerator的核心部分IncrementalValueProvider。 介紹 IncrementalValueProvider是基於管道的模式,將我們需要的數據進行處理轉換後傳遞 ...
  • 前言 在WPF應用程式開發中,我們可以藉助其強大靈活的設計能力打造出絢麗而富有創意的用戶界面。然而,與這種高度定製化的界面相比,標準MessageBox卻顯得有些原始和古老。它的外觀與現代、絢麗的應用界面格格不入,使得用戶在交互中可能感到突兀或不符合預期。 本文將深入探討如何在WPF中封裝自定義Me ...
  • socket在接收數據時,經常會因為網路延遲、緩存區數據處理不及時等原因造成收到的數據是多個包黏在一起的情況。如下圖所示 圖中紅色框部分是通訊的 心跳包 圖中黃色框部分和未框選部分是 兩包 數據包 所以可見此時緩存區裡面同時存在了一個心跳包,兩個數據包 如何分包(此處僅針對幾個完整的數據包在一起的情 ...
  • 首先看完成效果 一個玩家的效果 多個玩家的效果 源碼地址 https://gitee.com/chesterdotchen/snake-with-orleans 項目介紹 Snake.Common項目 IGameGrain:游戲的Grain定義,與State定義 ISnakeGrain:蛇的Grai ...
一周排行
    -Advertisement-
    Play Games
  • 隨著Aspire發佈preview5的發佈,Microsoft.Extensions.ServiceDiscovery隨之更新, 服務註冊發現這個屬於老掉牙的話題解決什麼問題就不贅述了,這裡主要講講Microsoft.Extensions.ServiceDiscovery(preview5)以及如何 ...
  • 概述:通過使用`SemaphoreSlim`,可以簡單而有效地限制非同步HTTP請求的併發量,確保在任何給定時間內不超過20個網頁同時下載。`ParallelOptions`不適用於非同步操作,但可考慮使用`Parallel.ForEach`,儘管在非同步場景中謹慎使用。 對於併發非同步 I/O 操作的數量 ...
  • 1.Linux上安裝Docken 伺服器系統版本以及內核版本:cat /etc/redhat-release 查看伺服器內核版本:uname -r 安裝依賴包:yum install -y yum-utils device-mapper-persistent-data lvm2 設置阿裡雲鏡像源:y ...
  • 概述:WPF界面綁定和渲染大量數據可能導致性能問題。通過啟用UI虛擬化、非同步載入和數據分頁,可以有效提高界面響應性能。以下是簡單示例演示這些優化方法。 在WPF中,當你嘗試綁定和渲染大量的數據項時,性能問題可能出現。以下是一些可能導致性能慢的原因以及優化方法: UI 虛擬化: WPF提供了虛擬化技術 ...
  • 引言 上一章節介紹了 TDD 的三大法則,今天我們講一下在單元測試中模擬對象的使用。 Fake Fake - Fake 是一個通用術語,可用於描述 stub或 mock 對象。 它是 stub 還是 mock 取決於使用它的上下文。 也就是說,Fake 可以是 stub 或 mock Mock - ...
  • 為.net6在CentOS7上面做準備,先在vmware虛擬機安裝CentOS 7.9 新建CentOS764位的系統 因為CentOS8不更新了,所以安裝7;簡單就一筆帶過了 選擇下載好的操作系統的iso文件,下載地址https://mirrors.aliyun.com/centos/7.9.20 ...
  • 經過前面幾篇的學習,我們瞭解到指令的大概分類,如:參數載入指令,該載入指令以 Ld 開頭,將參數載入到棧中,以便於後續執行操作命令。參數存儲指令,其指令以 St 開頭,將棧中的數據,存儲到指定的變數中,以方便後續使用。創建實例指令,其指令以 New 開頭,用於在運行時動態生成並初始化對象。方法調用指... ...
  • LiteDB 是一個輕量級的嵌入式 NoSQL 資料庫,其設計理念與 MongoDB 類似,但它是完全使用 C# 開發的,因此與 C# 應用程式的集成非常順暢。與 SQLite 相比,LiteDB 提供了 NoSQL(即鍵值對)的數據存儲方式,並且是一個開源且免費的項目。它適用於桌面、移動以及 We ...
  • 1 開源解析和拆分文檔 第三方的工具去對文件解析拆分,去將我們的文件內容給提取出來,並將我們的文檔內容去拆分成一個小的chunk。常見的PDF word mark down, JSON、HTML。都可以有很好的一些模塊去把這些文件去進行一個東西去提取。 優勢 支持豐富的文檔類型 每種文檔多樣化選擇 ...
  • OOM是什麼?英文全稱為 OutOfMemoryError(記憶體溢出錯誤)。當程式發生OOM時,如何去定位導致異常的代碼還是挺麻煩的。 要檢查OOM發生的原因,首先需要瞭解各種OOM情況下會報的異常信息。這樣能縮小排查範圍,再結合異常堆棧、heapDump文件、JVM分析工具和業務代碼來判斷具體是哪 ...