Python連接es筆記三之es更新操作

来源:https://www.cnblogs.com/hunterxiong/archive/2023/05/30/17444265.html
-Advertisement-
Play Games

> 本文首發於公眾號:Hunter後端 > 原文鏈接:[Python連接es筆記三之es更新操作](https://mp.weixin.qq.com/s/1cTaVfjLFrmbXajNcayhEA) 這一篇筆記介紹如何使用 Python 對數據進行更新操作。 對於 es 的更新的操作,不用到 Se ...


本文首發於公眾號:Hunter後端
原文鏈接:Python連接es筆記三之es更新操作

這一篇筆記介紹如何使用 Python 對數據進行更新操作。

對於 es 的更新的操作,不用到 Search() 方法,而是直接使用 es 的連接加上相應的函數來操作,本篇筆記目錄如下:

  1. 獲取連接
  2. update()
  3. update_by_query()
  4. 批量更新
  5. UpdateByQuery()

1、獲取連接

如果使用的是之前的全局創建連接的方式:

from elasticsearch_dsl import connections
connections.configure(
    default={"hosts": "localhost:9200"},
)

我們可以根據別名獲取相應的連接:

conn = connections.connections.get_connection("default")

或者我們直接使用 elasticsearch.Elasticsearch 模塊來重新建立一個連接:

from elasticsearch import Elasticsearch

conn = Elasticsearch(hosts="localhost:9200")

前面介紹過,我們安裝 elasticsearch_dsl 依賴的時候,會自動為我們安裝上相應的 elasticsearch 模塊,我們這裡直接使用即可。

然後通過 conn 連接可以直接對數據進行更新,可用的方法有 update(),update_by_query() 以及一個批量的 bulk() 方法。

2、update()

update() 函數一般只用於指定 id 的更新操作,如果我們知道一條數據的 id,我們可以直接使用 update()。

比如對於 exam 這個 index 下 id=18 的數據,我們想要更新它的 name 欄位和 address 欄位分別為 王五和湖南省,我們可以如下操作:

conn.update(
    index="exam",
    id=18,
    body={
        "doc": {
            "name": "王五2",
            "address": "湖南省",
        }
    }
)

在上面的操作中,index 為指定的索引,id 參數為我們需要更新的 id,body 內 doc 下的欄位即為我們要更新的數據。

3、update_by_query()

update_by_query() 函數不局限於 id 的查詢更新,我們可以更新任意符合條件的數據,以下是一個簡單的示例:

conn.update_by_query(
    index="exam",
    body={
        "query": {
            "term": {"name":  "張三豐"}
        },
        "script": {
            "source": "ctx._source.address = params.address",
            "params": {
                "address": "新地址",
            }
        }
    }
)

在這裡,index 參數還是指向對應的索引,body 內包含了需要更新查詢的條件,這裡都在 query 參數內,需要更新的數據在 script 下,通過腳本的形式來操作更新。

這裡註意下,我這裡用到的是 7.6.0 版本,所以 script 下使用的 source,更低一點版本用的欄位可能是 inline,這裡使用對應版本的參數即可。

在 script.source 中,內容為 ctx._source.address = params.address,意思是將符合條件數據的 address 欄位內容更新為 params 的 address 的數據。

如果想要更改其他欄位內容,註意前面 ctx._source 為固定寫法,只需要更改後面的欄位名即可。

在 script.params 中,我們則可以定義各種對應的欄位及其內容。

更新多個欄位

如果我們想同時更新多個欄位,比如說符合條件的數據將 address 改為 新地址,將 age 欄位改為 28,我們則需要將多個條件在 script.source 中使用分號 ; 連接起來,示例如下:

conn.update_by_query(
    index="exam",
    body={
        "query": {
            "term": {"name":  "新張三豐2"}
        },
        "script": {
            "source": "ctx._source.address = params.address; ctx._source.age = params.age",
            "params": {
                "address": "新地址3",
                "age": "28"
            }
        }
    }
)

雖然這裡更新多個欄位需要使用分號連接,但是在實際的代碼中我們不用這麼寫死,比如說我們需要更改三個欄位,為 ["address", "name", "age"],我們如下操作:

field_list = ["address", "name", "age"]
source_list = [f"ctx._source.{key}=params.{key}" for key in field_list]

params = {
    "address": "新地址3",
    "age": "28",
    "name": "new name"
}

conn.update_by_query(
    index="exam",
    body={
        "query": {
            "term": {"name":  "新張三豐3"}
        },
        "script": {
            "source": ";".join(source_list),
            "params": params
        }
    }
)

4、批量更新

如果我們想批量更新一批數據,這批數據各個欄位的值都不一致,自定義的程度很大,使用 update_by_query() 函數已經不現實了,怎麼辦?

好解決,我們可以使用 helpers.bulk() 批量更新方法。

首先引入這個模塊:

from elasticsearch import helpers

假設我們系統里現在有 id 為 21,23,24 的幾條數據,還是在 exam 這個索引下,我們來構造幾條需要更新的數據來操作:

action_1 = {
    "_op_type": "update",
    "_index": "exam",
    "_id": 21,
    "doc": {"age": 19, "name": "令狐沖", "address": "華山派"},
}

action_2 = {
    "_op_type": "update",
    "_index": "exam",
    "_id": 23,
    "doc": {"age": 20, "name": "楊過", "address": "終南山"},
}

action_3 = {
    "_op_type": "update",
    "_index": "exam",
    "_id": 24,
    "doc": {"age": 21, "name": "張無忌", "address": "武當"},
}
action_list = [action_1, action_2, action_3]
helpers.bulk(conn, actions=action_list)

對於每一條需要更新的數據,有這幾個參數:

_op_type:如果是更新操作,其值則是 update

_index:表示需要更新的數據所在的索引,這裡是 exam

_id:表示這條需要更新的數據的 id

doc:是一個 dict 數據,其下包含了需要更新的欄位及其對應的值

至此,一條需要更新的數據的結構就構造完畢了。

然後對於 helpers.bulk() 函數,接收的第一個參數為 es 連接,actions 參數是一個列表,其內容就是我們前面構造的數據的集合。

然後執行這個操作就可以發現 es 中對應的值已經更改了。

5、UpdateByQuery()

UpdateByQuery() 函數來源於 elasticsearch_dsl 模塊,它的使用和 Search() 方法差不多,都是通過 using 和 index 參數來獲取 es 連接和索引:

from elasticsearch_dsl import connections
from elasticsearch_dsl import UpdateByQuery
from elasticsearch_dsl import Q as ES_Q

connections.configure(
    default={"hosts": "localhost:9200"},
)


ubq = UpdateByQuery(using="default", index="exam")

使用這個方法更新數據的具體語法和 update_by_query 差不多,都是通過 script 的方式來操作,以下是一個簡單示例:

ubq = UpdateByQuery(using="default", index="exam")

q1 = ES_Q("term", name="郭靖")

ubq = ubq.query(q1)

ubq = ubq.script(
    source="ctx._source.address=params.address",
    params={
        "address": "襄陽城"
    }
)

ubq.execute()

與 Search() 函數一樣,都需要通過 execute() 函數來向 es 提交數據。

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 核心 使用CSS變數, 準備兩套CSS顏色, 一套是在 light模式下的顏色,一套是在dark模式下的顏色 dark模式下的 CSS 權重要比 light 模式下的權重高, 不然當我們給html添加自定義屬性[data-theme='d ...
  • # VuePress v2.0 項目創建 參考:[VuePress v2.0 文檔](https://v2.vuepress.vuejs.org/zh/guide/getting-started.html) ### 1.創建文件夾 我創建了一個文件夾,然後在文件夾中打開了powershell ``` ...
  • 有時候在系統中需要一次性下載多個文件,但逐個下載文件比較麻煩。這時候,最好的解決辦法是將所有文件打包成一個壓縮文件,然後下載這個壓縮文件,這樣就可以一次性獲取所有所需的文件了。 下麵是一個名為CompressUtil的工具類的代碼,它提供了一些方法來處理文件壓縮和下載操作: ```java impo ...
  • 在寫這篇文章的時候,查看了下electron最新穩定版本由幾天前24.4.0升級到了25了,不得不說electron團隊迭代速度之快! 前幾天有分享一篇electron24整合vite4全家桶技術構建桌面端vue3應用示常式序。 https://www.cnblogs.com/xiaoyan2017 ...
  • JavaScript的事件監聽是一種機制,用於在HTML文檔中的元素上註冊事件處理程式,以便在特定事件發生時執行相應的JavaScript代碼。 事件監聽的基本思想是將事件處理程式(也稱為事件回調函數)綁定到特定的事件上。所謂特定的事件是當用戶與頁面進行交互時,比如點擊按鈕、鍵盤輸入、滑鼠移動等,瀏 ...
  • 技術架構師,將整間企業的IT開發流程至維運管理,視為一個大型系統進行規劃。並分為四個面向進行發展: - [開發平臺]:構建高度重用的共用模組和服務,並在多個專案項目和應用系統中使用,以提高開發效率並降低維護成本。 - [DevOps平臺]:建構連續集成、連續交付的工作環境,將開發與維運團隊更緊密地連 ...
  • 在Java中,可以使用以下方法中斷線程: 1. 使用`interrupt()`方法:每個線程對象都有一個`interrupt()`方法,用於中斷該線程。當調用線程的`interrupt()`方法時,它會設置線程的中斷狀態為"中斷",但並不會立即停止線程的執行。線程在執行過程中可以通過檢查中斷狀態來決 ...
  • # java註解與反射 - java註解與反射十分重要,是很多框架的底層 ## 註解(Annotataion) - 註解的作用: 1. 不是程式本身,可以對程式作出解釋 1. 可以被其他程式讀取 - 註解的格式:@註釋名,如@override表示重寫方法,而且有些還可以添加一些參數值,如@Suppr ...
一周排行
    -Advertisement-
    Play Games
  • C#TMS系統代碼-基礎頁面BaseCity學習 本人純新手,剛進公司跟領導報道,我說我是java全棧,他問我會不會C#,我說大學學過,他說這個TMS系統就給你來管了。外包已經把代碼給我了,這幾天先把增刪改查的代碼背一下,說不定後面就要趕鴨子上架了 Service頁面 //using => impo ...
  • 委托與事件 委托 委托的定義 委托是C#中的一種類型,用於存儲對方法的引用。它允許將方法作為參數傳遞給其他方法,實現回調、事件處理和動態調用等功能。通俗來講,就是委托包含方法的記憶體地址,方法匹配與委托相同的簽名,因此通過使用正確的參數類型來調用方法。 委托的特性 引用方法:委托允許存儲對方法的引用, ...
  • 前言 這幾天閑來沒事看看ABP vNext的文檔和源碼,關於關於依賴註入(屬性註入)這塊兒產生了興趣。 我們都知道。Volo.ABP 依賴註入容器使用了第三方組件Autofac實現的。有三種註入方式,構造函數註入和方法註入和屬性註入。 ABP的屬性註入原則參考如下: 這時候我就開始疑惑了,因為我知道 ...
  • C#TMS系統代碼-業務頁面ShippingNotice學習 學一個業務頁面,ok,領導開完會就被裁掉了,很突然啊,他收拾東西的時候我還以為他要旅游提前請假了,還在尋思為什麼回家連自己買的幾箱飲料都要叫跑腿帶走,怕被偷嗎?還好我在他開會之前拿了兩瓶芬達 感覺感覺前面的BaseCity差不太多,這邊的 ...
  • 概述:在C#中,通過`Expression`類、`AndAlso`和`OrElse`方法可組合兩個`Expression<Func<T, bool>>`,實現多條件動態查詢。通過創建表達式樹,可輕鬆構建複雜的查詢條件。 在C#中,可以使用AndAlso和OrElse方法組合兩個Expression< ...
  • 閑來無聊在我的Biwen.QuickApi中實現一下極簡的事件匯流排,其實代碼還是蠻簡單的,對於初學者可能有些幫助 就貼出來,有什麼不足的地方也歡迎板磚交流~ 首先定義一個事件約定的空介面 public interface IEvent{} 然後定義事件訂閱者介面 public interface I ...
  • 1. 案例 成某三甲醫預約系統, 該項目在2024年初進行上線測試,在正常運行了兩天後,業務系統報錯:The connection pool has been exhausted, either raise MaxPoolSize (currently 800) or Timeout (curren ...
  • 背景 我們有些工具在 Web 版中已經有了很好的實踐,而在 WPF 中重新開發也是一種費時費力的操作,那麼直接集成則是最省事省力的方法了。 思路解釋 為什麼要使用 WPF?莫問為什麼,老 C# 開發的堅持,另外因為 Windows 上已經裝了 Webview2/edge 整體打包比 electron ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • .Net8.0 Blazor Hybird 桌面端 (WPF/Winform) 實測可以完整運行在 win7sp1/win10/win11. 如果用其他工具打包,還可以運行在mac/linux下, 傳送門BlazorHybrid 發佈為無依賴包方式 安裝 WebView2Runtime 1.57 M ...