Python連接es筆記二之查詢方式彙總

来源:https://www.cnblogs.com/hunterxiong/archive/2023/05/29/17441709.html
-Advertisement-
Play Games

> 本文首發於公眾號:Hunter後端 > 原文鏈接:[Python連接es筆記二之查詢方式彙總](https://mp.weixin.qq.com/s/0Yn5c-U9pBWrSC5HrCgWog) 上一節除了介紹使用 Python 連接 es,還有最簡單的 query() 方法,這一節介紹一下幾 ...


本文首發於公眾號:Hunter後端
原文鏈接:Python連接es筆記二之查詢方式彙總

上一節除了介紹使用 Python 連接 es,還有最簡單的 query() 方法,這一節介紹一下幾種其他的查詢方式。

以下是本篇筆記目錄:

  1. query() 方法介紹
  2. Q() 查詢
  3. 排序
  4. 分頁
  5. source() 指定返回欄位
  6. extra() 操作
  7. count() 總數
  8. from_dict() 函數

1、query() 方法介紹

在上一節中介紹了 query() 的一個簡單示例,如下:

s = Search(using="default").index("exam")

s = s.query("match", name="張三豐")

query() 中接受兩個參數,第一個是欄位查詢的方式,比如這裡是 match,也可以是 term,這個依照查詢的目的來替換。

第二個則是查詢的欄位與值,比如這裡是查詢的 name 欄位為 "張三豐" 的數據。

如果是有多個條件,比如 name="張三豐",address="中國" 的數據,這裡的 = ,並非是完全等於的意思,而是會依照前面的查詢方式,比如 match 或 term 進行類似的分詞或者模糊搜索。

如果是上面多個條件的查詢,可以直接在後面加上類似的 query():

s = s.query("match", name="張三豐").query("match", address="中國")

這兩個 query() 通過鏈式操作連在一起轉換成 es 語句就是使用 must 將多條件連接在一起,我們可以使用 to_dict() 方式來查看:

s.to_dict()

# {'query': {'bool': {'must': [{'match': {'name': '張三豐'}}, {'match': {'address': '中國'}}]}}}

2、Q() 查詢

如果看過之前我寫過的 Django 系列筆記,應該記得在 Django 里也有個 Q() 方法的查詢,和這裡的一樣,也是用於條件的聯合,與或非條件都可以實現。

引入方式如下:

from elasticsearch_dsl import Q

但是如果是在 Django 中使用 es 的連接,也是同樣使用 Q() 方法,我們可以使用 as 來區分,這裡我們對於 es 的 Q() 方法可以使用 ES_Q() 來區分:

from elasticsearch_dsl import Q as ES_Q

單個條件的使用 Q() 如下:

s = s.query(ES_Q("match", name="張三豐"))

如下使用 dict 形式的操作也是等效的:

s = s.query(ES_Q({"match": {"name": "張三豐"}}))

與操作

對於這兩個條件,如果想要實現它們的與操作:

q1 = ES_Q("match", name="張三豐")
q2 = ES_Q("match", address="中國")

可以如下實現:

s = s.query(q1 & q2)

或操作

如果是想實現上面的或操作,可以如下:

s = s.query(q1 | q2)

非操作

如果是想取反,直接在條件前加一個 ~ 即可:

q1 = ~ES_Q("match", name="張三豐")
s = s.query(q1)

multi_match

如果是搜索多欄位,可以如下操作:

q = ES_Q("multi_match", query="中國 張三豐", fields=["name", "address"])

s = s.query(q)

text.keyword 操作

對於 es 中 text 欄位,前面我們介紹過 .keyword 的查詢方式,是將 text 欄位作為一個整體進行查詢,在 ES_Q() 中,以下兩種操作是等效的:

q = ES_Q({"term": {"address.keyword": "中國湖北省"}})

q = ES_Q("term", address__keyword="中國湖北省")

filter() 操作

在 es 中的 filter 操作,在 Python 中是一個 filter() 函數,可以直接使用:

q = ES_Q("term", name="張三豐")
s = s.filter(q)

range 操作

實現大小於的操作示例如下:

q = ES_Q({"range": {"age": {"gte": 21}}})
s = s.query(q)

exclude() 操作

如果是想取反,除了使用 ~Q(),還可以直接使用 exclude() 函數,這個和 Django 里的操作也是一樣的:

q = ES_Q("term", name="張三豐")
s = s.exclude(q)

3、排序

如果是想對返回的結果進行排序操作,直接使用 .sort() 方法。

比如想對 age 欄位排序,正序返回數據,可如下操作:

s = s.sort("age")

如果是想倒序返回,可以如下操作:

s = s.sort("-age")

多欄位排序直接在後面跟上就行:

s = s.sort("-age", "name")

4、分頁

Python 連接 es 進行分頁,可以直接使用 Python 里的切片操作,比如:

s = s[5:10]

5、source() 指定返回欄位

我們可以通過 source() 方法指定返回的欄位:

s = s.source(["name", "address"])

source() 方法還可以接受 includes 和 excludes 參數來指定返回的欄位或者不返回的欄位,這個和 es 的原生處理方式是一致的:

s = s.source(
    includes=["address"],
    excludes=["name"]
)

6、extra() 操作

extra() 函數接受一些查詢的額外屬性,比如 size 參數決定返回條數,比如 from 參數可以決定從第幾條數據開始返回,sort 參數決定排序方式,以及 _source 參數決定返回的欄位。

比如我們想要返回的數據從第 2 條數據開始,返回兩條,按照 name 欄位進行排序,只返回 name 和 _id 欄位,可以如下操作:

s = Search(using="default").index("exam")
s = s.extra(
    sort="name",
    _source=["name"],
    **{
        "from": 1,
        "size": 2
    }
)
response = s.execute()

7、count() 總數

前面介紹過獲取符合條件的總數,可以通過 response.hits.total.value 的方式獲得,其實對於 Search(),可以直接使用 count() 函數:

count = s.count()

8、from_dict() 函數

如果我們想直接運行 kibana 里執行的命令,可以使用 from_dict() 函數,比如:

s = s.from_dict(
  {
    "query": {
      "term": {
        "name": {
          "value": "張三豐"
        }
      }
    }
  }
)

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • URL,稱為統一資源定位器,指互聯網上能找到資源定位的字元串。在一般語境中,又稱網路地址或鏈接,當我們需要訪問某個網頁就需要輸入對應的網址字元串,而這個網址就是URL。 前端對於網址鏈接,提供了URL對象,可以用於創建或解析網址字元串信息;而Nodejs中也有相應模塊來處理網址,同樣支持URL類對象 ...
  • 在 JavaScript 中, arguments 是一個特殊的對象,它代表了函數調用時傳遞的參數列表。它可以在函數內部訪問,用於獲取傳遞給函數的實際參數值。 arguments 對象包含了函數調用時傳遞的所有參數,無論是否在函數定義時明確聲明這些參數。它是一個類數組對象,可以通過索引訪問其中的參數 ...
  • 技術架構師,將整間企業的IT開發流程至維運管理,視為一個大型系統進行規劃。並分為四個面向進行發展: - [開發平臺]:構建高度重用的共用模組和服務,並在多個專案項目和應用系統中使用,以提高開發效率並降低維護成本。 - [DevOps平臺]:建構連續集成、連續交付的工作環境,將開發與維運團隊更緊密地連 ...
  • 本文通過對貧血三層架構進行精煉,推導出適合我們落地的應用架構,並且將之實現為Maven Archetype以應用到實際開發,然而應用架構只是落地DDD的一個知識點,要完整落地DDD還必須體系化地掌握限界上下文、上下文映射、充血模型、實體、值對象、領域服務、Factory、Repository等知識點... ...
  • groovy 3.0.7 ## 代碼實現 ### 實現方式1 ```groovy import java.security.MessageDigest; public class MD5Utils { public final static String MD5(String s) { char[] ...
  • QCustomPlot 是開源項目,源碼編寫十分規範,想要理解它的可視化思路不算特別困難。我在這篇隨筆中總結一下常用的源碼修改技巧,下麵的每一個技巧都是獨立的,不同技巧中添加的代碼無任何依賴關係,相互之間也不會引發任何衝突,不會影響 QCustomPlot 原生的介面。示例中使用的 QCustomP... ...
  • HashMap是Java中常用的數據結構之一,它提供了高效的鍵值對存儲和檢索功能。下麵是HashMap底層的詳細原理介紹: 1. 數據結構:HashMap底層使用數組和鏈表(或紅黑樹)的組合實現。它通過哈希演算法將鍵轉換為數組索引,並將值存儲在對應索引位置上。 2. 哈希演算法:當我們向HashMap中 ...
  • # 常用的排序演算法 ## 一、冒泡排序 冒泡排序(Bubble Sort),是一種較簡單的排序演算法。 它重覆地走訪過要排序的元素列,依次比較兩個相鄰的元素,如果順序(如從大到小、首字母從Z到A)錯誤就把他們交換過來。走訪元素的工作是重覆地進行直到沒有相鄰元素需要交換,也就是說該元素列已經排序完成。 ...
一周排行
    -Advertisement-
    Play Games
  • C#TMS系統代碼-基礎頁面BaseCity學習 本人純新手,剛進公司跟領導報道,我說我是java全棧,他問我會不會C#,我說大學學過,他說這個TMS系統就給你來管了。外包已經把代碼給我了,這幾天先把增刪改查的代碼背一下,說不定後面就要趕鴨子上架了 Service頁面 //using => impo ...
  • 委托與事件 委托 委托的定義 委托是C#中的一種類型,用於存儲對方法的引用。它允許將方法作為參數傳遞給其他方法,實現回調、事件處理和動態調用等功能。通俗來講,就是委托包含方法的記憶體地址,方法匹配與委托相同的簽名,因此通過使用正確的參數類型來調用方法。 委托的特性 引用方法:委托允許存儲對方法的引用, ...
  • 前言 這幾天閑來沒事看看ABP vNext的文檔和源碼,關於關於依賴註入(屬性註入)這塊兒產生了興趣。 我們都知道。Volo.ABP 依賴註入容器使用了第三方組件Autofac實現的。有三種註入方式,構造函數註入和方法註入和屬性註入。 ABP的屬性註入原則參考如下: 這時候我就開始疑惑了,因為我知道 ...
  • C#TMS系統代碼-業務頁面ShippingNotice學習 學一個業務頁面,ok,領導開完會就被裁掉了,很突然啊,他收拾東西的時候我還以為他要旅游提前請假了,還在尋思為什麼回家連自己買的幾箱飲料都要叫跑腿帶走,怕被偷嗎?還好我在他開會之前拿了兩瓶芬達 感覺感覺前面的BaseCity差不太多,這邊的 ...
  • 概述:在C#中,通過`Expression`類、`AndAlso`和`OrElse`方法可組合兩個`Expression<Func<T, bool>>`,實現多條件動態查詢。通過創建表達式樹,可輕鬆構建複雜的查詢條件。 在C#中,可以使用AndAlso和OrElse方法組合兩個Expression< ...
  • 閑來無聊在我的Biwen.QuickApi中實現一下極簡的事件匯流排,其實代碼還是蠻簡單的,對於初學者可能有些幫助 就貼出來,有什麼不足的地方也歡迎板磚交流~ 首先定義一個事件約定的空介面 public interface IEvent{} 然後定義事件訂閱者介面 public interface I ...
  • 1. 案例 成某三甲醫預約系統, 該項目在2024年初進行上線測試,在正常運行了兩天後,業務系統報錯:The connection pool has been exhausted, either raise MaxPoolSize (currently 800) or Timeout (curren ...
  • 背景 我們有些工具在 Web 版中已經有了很好的實踐,而在 WPF 中重新開發也是一種費時費力的操作,那麼直接集成則是最省事省力的方法了。 思路解釋 為什麼要使用 WPF?莫問為什麼,老 C# 開發的堅持,另外因為 Windows 上已經裝了 Webview2/edge 整體打包比 electron ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...