Python連接es筆記二之查詢方式彙總

来源:https://www.cnblogs.com/hunterxiong/archive/2023/05/29/17441709.html
-Advertisement-
Play Games

> 本文首發於公眾號:Hunter後端 > 原文鏈接:[Python連接es筆記二之查詢方式彙總](https://mp.weixin.qq.com/s/0Yn5c-U9pBWrSC5HrCgWog) 上一節除了介紹使用 Python 連接 es,還有最簡單的 query() 方法,這一節介紹一下幾 ...


本文首發於公眾號:Hunter後端
原文鏈接:Python連接es筆記二之查詢方式彙總

上一節除了介紹使用 Python 連接 es,還有最簡單的 query() 方法,這一節介紹一下幾種其他的查詢方式。

以下是本篇筆記目錄:

  1. query() 方法介紹
  2. Q() 查詢
  3. 排序
  4. 分頁
  5. source() 指定返回欄位
  6. extra() 操作
  7. count() 總數
  8. from_dict() 函數

1、query() 方法介紹

在上一節中介紹了 query() 的一個簡單示例,如下:

s = Search(using="default").index("exam")

s = s.query("match", name="張三豐")

query() 中接受兩個參數,第一個是欄位查詢的方式,比如這裡是 match,也可以是 term,這個依照查詢的目的來替換。

第二個則是查詢的欄位與值,比如這裡是查詢的 name 欄位為 "張三豐" 的數據。

如果是有多個條件,比如 name="張三豐",address="中國" 的數據,這裡的 = ,並非是完全等於的意思,而是會依照前面的查詢方式,比如 match 或 term 進行類似的分詞或者模糊搜索。

如果是上面多個條件的查詢,可以直接在後面加上類似的 query():

s = s.query("match", name="張三豐").query("match", address="中國")

這兩個 query() 通過鏈式操作連在一起轉換成 es 語句就是使用 must 將多條件連接在一起,我們可以使用 to_dict() 方式來查看:

s.to_dict()

# {'query': {'bool': {'must': [{'match': {'name': '張三豐'}}, {'match': {'address': '中國'}}]}}}

2、Q() 查詢

如果看過之前我寫過的 Django 系列筆記,應該記得在 Django 里也有個 Q() 方法的查詢,和這裡的一樣,也是用於條件的聯合,與或非條件都可以實現。

引入方式如下:

from elasticsearch_dsl import Q

但是如果是在 Django 中使用 es 的連接,也是同樣使用 Q() 方法,我們可以使用 as 來區分,這裡我們對於 es 的 Q() 方法可以使用 ES_Q() 來區分:

from elasticsearch_dsl import Q as ES_Q

單個條件的使用 Q() 如下:

s = s.query(ES_Q("match", name="張三豐"))

如下使用 dict 形式的操作也是等效的:

s = s.query(ES_Q({"match": {"name": "張三豐"}}))

與操作

對於這兩個條件,如果想要實現它們的與操作:

q1 = ES_Q("match", name="張三豐")
q2 = ES_Q("match", address="中國")

可以如下實現:

s = s.query(q1 & q2)

或操作

如果是想實現上面的或操作,可以如下:

s = s.query(q1 | q2)

非操作

如果是想取反,直接在條件前加一個 ~ 即可:

q1 = ~ES_Q("match", name="張三豐")
s = s.query(q1)

multi_match

如果是搜索多欄位,可以如下操作:

q = ES_Q("multi_match", query="中國 張三豐", fields=["name", "address"])

s = s.query(q)

text.keyword 操作

對於 es 中 text 欄位,前面我們介紹過 .keyword 的查詢方式,是將 text 欄位作為一個整體進行查詢,在 ES_Q() 中,以下兩種操作是等效的:

q = ES_Q({"term": {"address.keyword": "中國湖北省"}})

q = ES_Q("term", address__keyword="中國湖北省")

filter() 操作

在 es 中的 filter 操作,在 Python 中是一個 filter() 函數,可以直接使用:

q = ES_Q("term", name="張三豐")
s = s.filter(q)

range 操作

實現大小於的操作示例如下:

q = ES_Q({"range": {"age": {"gte": 21}}})
s = s.query(q)

exclude() 操作

如果是想取反,除了使用 ~Q(),還可以直接使用 exclude() 函數,這個和 Django 里的操作也是一樣的:

q = ES_Q("term", name="張三豐")
s = s.exclude(q)

3、排序

如果是想對返回的結果進行排序操作,直接使用 .sort() 方法。

比如想對 age 欄位排序,正序返回數據,可如下操作:

s = s.sort("age")

如果是想倒序返回,可以如下操作:

s = s.sort("-age")

多欄位排序直接在後面跟上就行:

s = s.sort("-age", "name")

4、分頁

Python 連接 es 進行分頁,可以直接使用 Python 里的切片操作,比如:

s = s[5:10]

5、source() 指定返回欄位

我們可以通過 source() 方法指定返回的欄位:

s = s.source(["name", "address"])

source() 方法還可以接受 includes 和 excludes 參數來指定返回的欄位或者不返回的欄位,這個和 es 的原生處理方式是一致的:

s = s.source(
    includes=["address"],
    excludes=["name"]
)

6、extra() 操作

extra() 函數接受一些查詢的額外屬性,比如 size 參數決定返回條數,比如 from 參數可以決定從第幾條數據開始返回,sort 參數決定排序方式,以及 _source 參數決定返回的欄位。

比如我們想要返回的數據從第 2 條數據開始,返回兩條,按照 name 欄位進行排序,只返回 name 和 _id 欄位,可以如下操作:

s = Search(using="default").index("exam")
s = s.extra(
    sort="name",
    _source=["name"],
    **{
        "from": 1,
        "size": 2
    }
)
response = s.execute()

7、count() 總數

前面介紹過獲取符合條件的總數,可以通過 response.hits.total.value 的方式獲得,其實對於 Search(),可以直接使用 count() 函數:

count = s.count()

8、from_dict() 函數

如果我們想直接運行 kibana 里執行的命令,可以使用 from_dict() 函數,比如:

s = s.from_dict(
  {
    "query": {
      "term": {
        "name": {
          "value": "張三豐"
        }
      }
    }
  }
)

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • URL,稱為統一資源定位器,指互聯網上能找到資源定位的字元串。在一般語境中,又稱網路地址或鏈接,當我們需要訪問某個網頁就需要輸入對應的網址字元串,而這個網址就是URL。 前端對於網址鏈接,提供了URL對象,可以用於創建或解析網址字元串信息;而Nodejs中也有相應模塊來處理網址,同樣支持URL類對象 ...
  • 在 JavaScript 中, arguments 是一個特殊的對象,它代表了函數調用時傳遞的參數列表。它可以在函數內部訪問,用於獲取傳遞給函數的實際參數值。 arguments 對象包含了函數調用時傳遞的所有參數,無論是否在函數定義時明確聲明這些參數。它是一個類數組對象,可以通過索引訪問其中的參數 ...
  • 技術架構師,將整間企業的IT開發流程至維運管理,視為一個大型系統進行規劃。並分為四個面向進行發展: - [開發平臺]:構建高度重用的共用模組和服務,並在多個專案項目和應用系統中使用,以提高開發效率並降低維護成本。 - [DevOps平臺]:建構連續集成、連續交付的工作環境,將開發與維運團隊更緊密地連 ...
  • 本文通過對貧血三層架構進行精煉,推導出適合我們落地的應用架構,並且將之實現為Maven Archetype以應用到實際開發,然而應用架構只是落地DDD的一個知識點,要完整落地DDD還必須體系化地掌握限界上下文、上下文映射、充血模型、實體、值對象、領域服務、Factory、Repository等知識點... ...
  • groovy 3.0.7 ## 代碼實現 ### 實現方式1 ```groovy import java.security.MessageDigest; public class MD5Utils { public final static String MD5(String s) { char[] ...
  • QCustomPlot 是開源項目,源碼編寫十分規範,想要理解它的可視化思路不算特別困難。我在這篇隨筆中總結一下常用的源碼修改技巧,下麵的每一個技巧都是獨立的,不同技巧中添加的代碼無任何依賴關係,相互之間也不會引發任何衝突,不會影響 QCustomPlot 原生的介面。示例中使用的 QCustomP... ...
  • HashMap是Java中常用的數據結構之一,它提供了高效的鍵值對存儲和檢索功能。下麵是HashMap底層的詳細原理介紹: 1. 數據結構:HashMap底層使用數組和鏈表(或紅黑樹)的組合實現。它通過哈希演算法將鍵轉換為數組索引,並將值存儲在對應索引位置上。 2. 哈希演算法:當我們向HashMap中 ...
  • # 常用的排序演算法 ## 一、冒泡排序 冒泡排序(Bubble Sort),是一種較簡單的排序演算法。 它重覆地走訪過要排序的元素列,依次比較兩個相鄰的元素,如果順序(如從大到小、首字母從Z到A)錯誤就把他們交換過來。走訪元素的工作是重覆地進行直到沒有相鄰元素需要交換,也就是說該元素列已經排序完成。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...