ElasticSearch - 基本操作

来源:https://www.cnblogs.com/konghuanxi/p/18085674
-Advertisement-
Play Games

前言 本文記錄 ES 的一些基本操作,就是對官方文檔的一些整理,按自己的習慣重新排版,湊合著看。官方的更詳細,建議看官方的。 下文以 books 為索引名舉例。 新增 添加單個文檔 (沒有索引會自動創建) POST books/_doc {"name": "Snow Crash", "author" ...


前言

本文記錄 ES 的一些基本操作,就是對官方文檔的一些整理,按自己的習慣重新排版,湊合著看。官方的更詳細,建議看官方的。

下文以 books 為索引名舉例。

新增

添加單個文檔 (沒有索引會自動創建)

POST books/_doc
{"name": "Snow Crash", "author": "Neal Stephenson", "release_date": "1992-06-01", "age": 18}

不指定 id,會隨機生成,如果需要指定 id,使用 POST books/_doc/id

還可以使用 put 的方式新增,例入 POST books/_doc/id,這種方式必須帶 id,否則會報錯

以上兩種方式,如果帶上了 id,就是不存在就插入,存在舊更新

更新

總結 (有三種方式):

  • POST 更新
    • 如果 URL 帶 _update,更新前會對比新舊數據,如果新舊數據完全相同,將不會進行任何操作 noop,不會影響序列號、版本號信息。
    • 如果 URI 不帶 _update,不會檢查原數據,都會顯示 updated
  • PUT 更新
    • 路徑沒法帶 _update,每次都會更新顯示 updated

例如有原數據

{
	"name": "zhangsan",
	"age": 18
}

POST 訪問:(路徑帶_update)

需要在參數外套一層 doc,這種方式不影響其他欄位

POST /books/_update/1
{
    "doc": {
        "name": "lisi"
    }
}

// 執行之後原數據變成
{
	"name": "lisi",
	"age": 18
}

POST 訪問:(路徑不帶_update)

和帶 id 新增的語法是一樣的,不存在就是插入,存在就是更新。這種方式會清空其他欄位

POST /books/_doc/1
{
    "name": "lisi"
}

// 執行之後原數據變成
{
	"name": "lisi"
}

PUT 訪問:(路徑不能帶_update)

效果同第 2 點

PUT /books/_doc/1
{
    "name": "lisi"
}

刪除

DELETE /books/_doc/1

POST /books/_delete_by_query
{查詢條件...}

搜索

官方實例數據:account. json

使用 [Bulk API](Bulk API | Elasticsearch Guide [8.12] | Elastic) 來批量插入,沒有安裝 kibana 也可以用 postman 導入

如果插入記錄搜索不到,可能是索引未來得及刷新,可以手動觸發

POST /article/_refresh

根據 id 獲取文檔

// 獲取帶元數據的
GET /bank/_doc/1
// 獲取不帶元數據的
GET /bank/_source/1
// 判斷文檔是否存在
HEAD /bank/_doc/1

使用 HEAD 只會返回 {} 空對象,可以根據請求是否 404 判斷文檔是否存在

_search 命令搜索

註意:如果你用 es-client 連接的 es,請將 GET 換成 POST,否則查詢無效

原因是 GET 請求沒有帶上 body 參數

預設只會返回最先匹配到的 10 條文檔

GET /bank/_search

返回結果:

took:檢索花費時間,單位毫秒(從節點收到查詢到將數據返回客戶端之前)

timed_out: 布爾類型,檢索是否超時

hits: 命中的記錄

total.value: 總記錄的數量

hits.total: 所有命中的記錄

搜索全部

GET /bank/_search
{
    "query": {
        "match_all": {}
    }
}

排序

Sort search results | Elasticsearch Guide [8.12] | Elastic

GET /bank/_search
{
    "sort": [
        {
            "account_number": "desc"
        },
        {
            "balance": { // 兩種寫法都行
                "order": "asc"
            }
        }
    ]
}

sort :排序條件,先對 account_number 降序,如果 account_number 相同,再對 balance 升序

其他排序參數

GET /bank/_search
{
    "sort": [
        {
            "arr": {
                "order": "desc", // 排序
                "mode": "min", // 排序模式
                "missing": "_last" // 缺失值處理
            }
        }
    ]
}

排序模式

用於對數組或多值欄位排序。比如有數據如下

{
    "age": 25,
    "arr": [
        11000,
        23234
    ]
}

arr 欄位就是多值欄位。

升序排序的預設排序模式是 min 。預設的降序排序模式是 max

mode 說明
min 選擇最低值
max 選擇最高值
sum 總和作為排序值
avg 平均值作為排序值
median 中位數作為排序值

缺失值處理

顧名思義,就是排序時,沒有該欄位的文檔排前面還是排後面。

missing 值可以設置為 _last 、 _first,預設為 _last

分頁

Paginate search results | Elasticsearch Guide [8.12] | Elastic

查詢方式 數據量 實時查詢 排序 跳頁 適用場景
form+size 淺分頁 支持 支持 支持 實時查詢,跳頁查詢
scroll 標準方式 不支持 支持 不支持 深度分頁,有序的批量查詢
scroll_scan 滾動掃描 不支持 不支持 不支持 深度分頁,無需的批量查詢
search_after 分頁 支持 支持 不支持 深度分頁,數據批量導出

from + size

預設返回前 10 個結果。可以使用 from 和 size 參數,from 定義要跳過的命中數,預設 0,size 是返回的最大命中數。類比 mysql 中的 limit 0,10

預設情況下,無法使用 from 和 size 來翻閱超過 10,000 個匹配項。也就是前 10000 條數據可以用這種方式分頁。如果數據太多,請使用search_after

GET /bank/_search
{
    "from": 0,
    "size": 10
}

search_after

註意:搜索必須指定排序欄位,否則獲取不到 search_after 需要的參數。

使用步驟:
一、第一頁不需要使用 search_after

// 查詢
GET /bank/_search
{
    "sort": [ // 必須指定排序欄位
        "account_number",
        "age"
    ]
}

// 響應
{
    ...
    "hits": {
        ...
        "hits": [
            {
                ...
                "sort": [ 0, 29]
            }
        ]
    }
}

第二頁的搜索,就帶上前一頁的 hits.sort 中的參數

GET /bank/_search
{
	"search_after": [0, 29],
    "sort": [ // 必須指定排序欄位
        "account_number",
        "age"
    ]
}

TODO PIT

A 查詢數據,B 同時在插入數據,為瞭解決 A 兩次查詢的數據不一致,可以使用 point int time

檢索選定的欄位

Retrieve selected fields from a search | Elasticsearch Guide [8.12] | Elastic

關鍵詞 fields,可以指定返回欄位和格式

搜索 API

Query DSL | Elasticsearch Guide [8.12] | Elastic

Search API | Elasticsearch Guide [8.12] | Elastic

query 和 filter

query 就是普通的查詢,會計算分數。

filter 不會計算分數,es 還會自動緩存常用的過濾器提高性能

說明:Query and filter context | Elasticsearch Guide [8.12] | Elastic

用法:Boolean query | Elasticsearch Guide [8.12] | Elastic

複合查詢

Compound queries | Elasticsearch Guide [8.12] | Elastic

全文查詢

intervals 文本靈活查詢

Intervals query | Elasticsearch Guide [8.12] | Elastic

允許用戶精確控制查詢詞在文檔中出現的先後關係,實現了對 terms 順序、terms 之間的距離以及它們之間的包含關係的靈活控制

match 模糊查詢

Match query | Elasticsearch Guide [8.12] | Elastic

對基本類型,是精確匹配(比如 long、日期等)。對字元串是模糊查詢,對查詢的值分詞,對分詞的結果一一進入倒排索引去匹配

GET /ft/_search
{
    "query": {
        "match" : {
            "my_text":{
                "query": "my when",
                "operator": "or"
            }
        }
    }
}

解釋:查找 my_text 欄位中包含 my 或者 when 的文檔。

query: 需要查詢的內容

operator:預設是 or,如果改成 and,就需要 my_text 中同時包含 when 和 my

analyzer:分詞器,預設使用欄位的分詞器

prefix 首碼查詢

GET /ft/_search
{
    "query": {
        "prefix": {
            "my_text": {
                "value": "favo"
            }
        }
    }
}

匹配 my_text 中以 favo 開頭的,註意是不能分詞的,也就是 my fa 查不到 cold my favourite food,但是用 favo 可以找到

match_bool_prefix 分詞首碼查詢

prefix 不能分詞,那麼 match_bool_prefix 就來了

GET /ft/_search
{
    "query": {
        "match_bool_prefix": {
            "my_text": {
                "query": "quick brown f"
            }
        }
    }
}

解釋:先分詞,最後一個詞按首碼處理,前面的詞語直接匹配,只要有一個命中就可以

匹配 quick brown foxtwo quick brown ferretsthe fox is quick and brown

match_phrase 短語匹配查詢

顧名思義,match 會分詞,match_phrase 不會分詞

GET /ft/_search
{
    "query": {
        "match_phrase": {
            "my_text": {
                "query": "wo shi"
            }
        }
    }
}

match_phrase_prefix 短語首碼匹配查詢

GET /ft/_search
{
  "query": {
    "match_phrase_prefix": {
      "my_text": {
        "query": "quick brown f"
      }
    }
  }
}

與 match_bool_prefix 的區別就是不分詞,匹配 quick brown foxtwo quick brown ferrets,不匹配 the fox is quick and brown

combined_fields 組合多欄位查詢

Combined fields | Elasticsearch Guide [8.12] | Elastic

這個有點不太理解。

GET /ft/_search
{
    "query": {
        "combined_fields": {
            "query": "ren shui",
            "fields": [
                "title",
                "my_text"
            ],
            "operator": "and"
        }
    }
}

解釋:效果類似於將 title 和 my_text 兩個欄位合併成一個,再執行查詢

註意,我把 operator 改成 and 了,但是只要 title 和 my_text 組合起來,包含了 ren 和 shui 就能命中

multi_match 多欄位查詢

Multi-match query | Elasticsearch Guide [8.12] | Elastic

在 match 查詢的基礎上,允許多欄位查詢

GET /ft/_search
{
    "query": {
        "multi_match": {
            "query": "ren shui",
            "fields": [
                "title",
                "my_text"
            ],
            "operator": "and"
        }
    }
}

解釋:我把 operator 改成了 and,那麼需要 title 同時包含 ren 和 shui 兩個詞,或者 my_text 同時包含兩個詞,才能命中。和 combined_fields 有區別的。

總結

沒啥好總結的,吐槽一句,官方文檔對新手不太友好。新手需要的是快速使用,怎麼調 api

參考

【ElasticSearch(四)】PUT&POST更新數據、DELETE刪除數據、_bulk批量操作 - musecho - 博客園 (cnblogs.com)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Uboot功能 Uboot(Universal bootloader)就是一個裸機程式,用於啟動內核。不過相較於單片機程式更加複雜 相關知識補充 Uboot:Universal bootloader XIP:CPU可以直接發出地址信號讀取Flash/RAM,執行指令(可以看成直接在Flash/RAM ...
  • ASan介紹 ASan全稱AddressSanitizer,是一種記憶體錯誤檢測工具,目的是幫助開發者檢測和調試記憶體相關的問題,如使用未分配的記憶體、使用已釋放的記憶體、堆記憶體溢出等。ASan是由Google開發的,廣泛用於C、C++等語言的代碼中。 ASan的工作原理是在編譯時將額外的代碼插入到目標程式 ...
  • 軟體介紹: winmail收到新郵件不會提示用戶,這樣用戶就容易錯過消息 下載foxmail可以解決這個問題 一:下載foxmail 1.實體機進入官網https://www.foxmail.com/,點擊下載版本隨意 下載好後拖到虛擬機上 二:配置foxmail 1.開始創建賬號 因為這幾種郵箱都 ...
  • 實驗環境: 一臺安裝好的DNS伺服器,ip為192.168.1.201 一臺郵件伺服器,192.168.1.224 一臺客戶端,192.168.1.249,dnsIP為192.168.1.201 都是wmnet1,使其能互相ping通 一:配置DNS 1.打開DNS伺服器,新建主機 把郵件伺服器的主 ...
  • 本文主要學習 FreeRTOS 事件組的相關知識,包括事件組概述、事件組特征、創建事件組、操作事件組、刪除事件組等知識 ...
  • 放眼全球,數據作為一種新興生產要素,在全球經貿活動中扮演著至關重要的角色,驅動著數字經濟的蓬勃興起。據前瞻預測,至2025年,全球數據流動對整體經濟增長的貢獻預估將達到驚人的11萬億美元。 近幾年國家對數據要素關註度不斷上升。2023年12月31日,國家數據局等17部門聯合印發《“數據要素×”三年行 ...
  • varchar的最大值是多少?如果你去搜索過這個答案,我相信你或多或少都看到過65535這個答案。比如我們嘗試詢問一下當下最火的人工智慧,你可能會得到和我類似答案。 ...
  • 在用Apache SeaTunnel研發SM2加密組件過程中,發現社區關於本地調試SeaTunnel文章過於簡單,很多情況沒有說明,於是根據自己遇到問題總結這篇文檔。SeaTunnel本地調試官方文檔,希望對大家有所幫助! 使用的引擎為Flink(不需要下載,SeaTunnel中有載入依賴),輸入輸 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...