Python連接es筆記一之連接與查詢es

来源:https://www.cnblogs.com/hunterxiong/archive/2023/05/27/17437534.html
-Advertisement-
Play Games

> 本文首發於公眾號:Hunter後端 > 原文鏈接:[Python連接es筆記一之連接與查詢es](https://mp.weixin.qq.com/s/smp3VvWD6ChuFVuotQ9_zg) 有幾種方式在 Python 中配置與 es 的連接,最簡單最有用的方法就是定義一個預設的連接,如 ...


本文首發於公眾號:Hunter後端
原文鏈接:Python連接es筆記一之連接與查詢es

有幾種方式在 Python 中配置與 es 的連接,最簡單最有用的方法就是定義一個預設的連接,如果系統不是需要訪問多個集群,最建議的方式就是使用 create_connection 方法創建連接,然後所有的操作都會自動使用這個連接。

以下是本篇筆記目錄:

  1. 安裝依賴
  2. 連接
  3. Search 查詢
  4. Response 返回結果詳解

1、安裝依賴

我們使用的依賴名稱為 elasticsearch_dsl,我們這裡使用的 es 版本是 7.2.0,所以安裝方式如下:

pip3 install elasticsearch_dsl==7.2.0

2、連接

預設連接方式

我們可以通過下麵的方式來連接 es:

from elasticsearch_dsl import connections

connections.create_connection(hosts=["localhost"], timeout=20)

或者我們也可以加一個 alias,用作連接的別名,在後面可以很方便的用上:

from elasticsearch_dsl import connections

connections.create_connection(alias="new_conn", hosts=["localhost"], timeout=20)

多集群連接

如果我們想同時連接多個集群,可以使用 configure 方法:

connections.configure(
    default={"hosts": "localhost"},
    dev={
        "hosts": ["example.com:9200"],
        "sniff_on_start": True,
    }
)

使用別名

當使用多個連接的時候,我們可以使用別名,也就是前面的 alias 參數來指代連接:

s = Search(using="default")

3、Search 查詢

接下來介紹下如何在 Python 中查詢 es 數據。

註意下,當我們安裝 elasticsearch_dsl 依賴的時候,系統會自動為我們安裝 elasticsearch 模塊,我們可以直接引用。

我們預設前面已經設置好了全局的 es 連接,之後的操作都基於這個連接:

from elasticsearch_dsl import connections
connections.configure(
    default={"hosts": "localhost:9200"},
)

我們來執行一下查詢和列印操作:

response = Search(using="default").query("match", name="張三豐").execute()
print(response)

可以看到 response 就列印出了我們在之前往 es 的 exam 這個 index 中寫入的數據:

<Response: [<Hit(exam/16): {'name': '張三豐', 'address': '一個蘋果'}>]>

我們先來介紹下執行查詢的操作。

鏈式操作

這個查詢的 API 是鏈式操作,可以允許你鏈接多個操作,比如我們前面的 Search() 後直接跟了 query() 方法,然後直接 execute()。

我們分開執行也是可以的:

s = Search(using="default")
s = s.query("match", name="張三豐")
response = s.execute()

指定 index

在上面的 Search() 方法里,我們通過 using 指定了連接,但是沒有指定 index,那麼就預設搜索的是該連接的全部 index,我們可以通過 index() 函數指定 index,也可以向 Search() 中添加 index 參數來指定 index。

s = Search(using="default", index="exam").query("match", name="張三豐")
response = s.execute()

s = Search(using="default").index("exam").query("match", name="張三豐")
response = s.execute()

轉換 es 查詢語句

如果我們想要查看執行的語句轉換成的 es 的語句,可以使用 to_dict() 方法:

s = Search(using="default", index="exam").query("match", name="張三豐")
print(s.to_dict())

# {'query': {'match': {'name': '張三豐'}}}

刪除語句

前面介紹了 s = Search().query() 的 execute() 是執行,獲取返回結果,to_dict() 是轉換成 es 語句,如果是需要刪除查詢的數據,可以如下操作:

s = Search(using="default").index("exam").query("match", name="張三豐")
s.delete()

4、Response 返回結果詳解

為了詳細查看 response 中的詳細情況,我們可以在 Python 的 shell 中挨個執行下麵的命令,獲得 response 對象,然後再操作 response,當然,前面記得創建 es 的連接:

>>> s = Search(using="default").index("exam").query("match", name="張三豐")
>>> response = s.execute()

對於 response,本身我們可以使用 Python 中的列表的形式來訪問它,來獲取它的數據,比如執行 print(response[0]) 可以看到這條數據本身的信息:

>>> print(response[1])
# <Hit(exam/24): {'name': '張三豐', 'address': '中國湖北省', 'age': 22}>

如果我們查看 type(response) 可以發現它來源於 <class 'elasticsearch_dsl.response.Response'> 定義了一個 iter() 方法,所以我們可以對這個對象使用迭代方法。

在這個方法內部它迭代的其實是 response.hits 屬性,也就是我們 es 查詢返回的數據。

所以我們執行 response[0] 和 response.hits[0] 是等效操作。

獲取總數

因為我們上面的查詢操作沒有設置 size,所以預設最多返回的是 10 條數據,但如果我們想要獲取符合我們查詢條件的總數,我們可以這樣獲取:

count = response.hits.total.value

單條數據詳情

上面介紹了我們可以通過 response[0] 獲得單條數據,對於單條數據,我們還可以獲取更多的詳情信息。

hit = response.hits[0]

如果我們想一次性獲取返回的數據的各個欄位及相應的值,我們可以使用 to_dict() 方法:

hit.to_dict()

# {'name': '張三豐', 'address': '中國', 'age': 21}

獲取單個值,比如 name,也可以直接:

print(hit.name)

也可以獲取數據的 meta 信息,其中包含了這條數據所在的 index,id,匹配分值 score 等:

hit.meta

# {'index': 'exam', 'id': '23', 'score': 0.4700036, 'doc_type'...}

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # shell 常用命令3 ## 1 sed 用來自動編輯文件,可以用來實現替換配置文件的配置 ```shell 語法: sed [-hnV][-e][-f][文本文件] ``` > **參數說明**: > > - -e\或--expression=\ 以選項中指定的script來處理輸入的文本文件 ...
  • 要使用 `systemctl` 啟動單個服務,其中包含多個進程,你可以使用 Systemd 的 `template` 機制。以下是使用 Systemd 'template' 以創建一個可同時啟動多個進程的服務單元文件的過程: 1. 為你的服務創建一個 template 服務單元文件。服務單元文件通常 ...
  • # 欄位類型 | 數據類型 | 位元組 | 範圍 | | | | | |TINYINT|1 位元組|-2^7 + 1 ~ 2^7 - 1| |SMALLINT|2 位元組|-2^15 + 1 ~ 2^15 - 1| |INT|4 位元組|-2^31 + 1 ~ 2^31 - 1| |BIGINT|8 位元組| ...
  • 摘要:條件表達式函數中出現結果集不一致問題,我們首先要考慮是否入參數據類型不一致導致出參不一致。 本文分享自華為雲社區《GaussDB(DWS)條件表達式函數返回錯誤結果集排查》,作者:yd_211369925 。 (一)案例背景 客戶使用greatest獲取並返回參數列表中值最大的表達式的值,子查 ...
  • 好久沒更新博客了,因為工作越來越忙,沒什麼時間去記錄一些問題,最近閑下來一點,由於某些原因不得不暫時在Windows下做開發,項目用到了node-canvas處理圖片什麼的,在安裝的時候各種報錯,確實讓人很抓狂,這裡簡單記錄下: 首先說明下,node-canvas的 官方git倉庫 https:// ...
  • # Web 前端常用正則校驗規則 作為 Web 前端開發,常用的正則校驗規則有很多。下麵是一些常見的示例: ## 1. 校驗手機號碼 手機號碼的正則表達式可以根據不同國家和地區的手機號碼格式進行調整。以下是中國大陸的手機號碼正則表達式: ```javascript const regex = /^1 ...
  • 如果你有 *n* 個緩存伺服器,一個常見的負載均衡方式是使用以下的哈希方法: *伺服器索引 = 哈希(鍵) % N*,其中 *N* 是伺服器池的大小。 讓我們通過一個例子來說明這是如何工作的。如表5-1所示,我們有4台伺服器和8個字元串鍵及其哈希值。 ![image-2023052022160981 ...
  • 設計一個業務改動信息時的自定義記錄,例如新增、修改、刪除數據等。並且記錄的規則可以通過配置的方式控制。大家需要根據各自業務場景參考,歡迎討論。偽代碼如下: 實體類: @TableName("tbl_user") User{ String id String name Integer age Stri ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...