ElasticSearch實戰系列二: ElasticSearch的DSL語句使用教程---圖文詳解

来源:https://www.cnblogs.com/xuwujing/archive/2019/09/22/11567053.html
-Advertisement-
Play Games

前言 在上一篇中介紹了 "ElasticSearch集群和kinaba的安裝教程" ，本篇文章就來講解下 ElasticSearch的DSL語句使用。 ElasticSearch DSL 介紹 Elasticsearch提供了基於JSON的完整查詢DSL（特定於域的語言）來定義查詢。將查詢DSL視為 ...


前言

在上一篇中介紹了ElasticSearch集群和kinaba的安裝教程，本篇文章就來講解下 ElasticSearch的DSL語句使用。

ElasticSearch DSL 介紹

Elasticsearch提供了基於JSON的完整查詢DSL（特定於域的語言）來定義查詢。將查詢DSL視為查詢的AST（抽象語法樹），它由兩種子句組成：

  • 葉子查詢子句:
    葉查詢子句中尋找一個特定的值在某一特定領域，如 match，term或 range查詢。這些查詢可以自己使用。
  • 複合查詢子句
    複合查詢子句包裝其他葉查詢或複合查詢，並用於以邏輯方式組合多個查詢（例如 bool或dis_max查詢），或更改其行為（例如 constant_score查詢）。
    查詢子句的行為會有所不同，具體取決於它們是在 查詢上下文中還是在過濾器上下文中使用。

我們在使用ElasticSearch的時候，避免不了使用DSL語句去查詢，就像使用關係型資料庫的時候要學會SQL語法一樣。如果我們學習好了DSL語法的使用，那麼在日後使用和使用Java Client調用時候也會變得非常簡單。

ElasticSearch DSL 語句使用

這裡我們先來介紹下DSL 語句簡單的使用，從最常用的增刪改查開始！

一、新增數據

ElasticSearch可以直接新增數據，只要你指定了index(索引庫名稱)和type(類型)即可。在新增的時候你可以自己指定主鍵ID，也可以不指定，由 ElasticSearch自身生成。

新增數據命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

kinaba示例圖:
在這裡插入圖片描述
**註: POST test1/_doc/1 這是指定主鍵ID為1，如果POST test1/_doc 的話，那麼便是es自身生成ES語句。**

這裡我們還可以通過 GET test1/ 或 GET test1/_settings和GET test1/_mapping查看該index的狀態，也就是 setting(設置選項) 和mapping(數據結構)。
在這裡插入圖片描述

二、創建索引庫

在上述示例中，我們通過直接通過創建數據從而創建了索引庫，但是沒有創建索引庫而通過ES自身生成的這種並不友好，因為它會使用預設的配置，欄位結構都是text(text的數據會分詞，在存儲的時候也會額外的占用空間)，分片和索引副本採用預設值，預設是5和1，ES的分片數在創建之後就不能修改，除非reindex(下麵會講到)，所以這裡我們還是指定數據模板進行創建。

這裡先簡單介紹一下ES的數據結構，以下的數據結構為ES的6.x版本。

  • 核心數據類型
    text 和 keyword
  • 數值數據類型
    long，integer，short，byte，double，float，half_float，scaled_float
  • 日期數據類型
    date
  • 布爾數據類型
    boolean
  • 二進位數據類型
    binary

  • 範圍數據類型
    integer_range，float_range，long_range，double_range，date_range

  • 複雜數據類型編輯
  • 對象數據類型
    object 用於單個JSON對象

  • 嵌套數據類型
    nested 用於JSON對象數組

  • 地理數據類型編輯
  • 地理位置數據類型
    geo_point 緯度/經度積分

  • 地理形狀數據類型
    geo_shape 用於多邊形等複雜形狀

  • 專業數據類型編輯
  • IP數據類型
    ip 用於IPv4和IPv6地址
  • 完成數據類型
    completion 提供自動完成建議
  • 令牌計數數據類型
    token_count 計算字元串中令牌的數量
    mapper-murmur3
    murmur3 在索引時計算值的哈希並將其存儲在索引中
    mapper-annotated-text
    annotated-text 索引包含特殊標記的文本（通常用於標識命名實體）
  • 滲濾器類型
    接受來自query-dsl的查詢
  • join 數據類型
    為同一索引內的文檔定義父/子關係

  • 別名數據類型
    為現有欄位定義別名。

  • 多欄位編輯
    為不同的目的以不同的方式對同一欄位建立索引通常很有用。例如，一個string欄位可以映射為text用於全文搜索的欄位，也可以映射為keyword用於排序或聚合的欄位。或者，您可以使用standard分析儀， english分析儀和 french分析儀索引文本欄位。
    這是多領域的目的。大多數數據類型通過fields參數支持多欄位。

上面介紹的欄位介紹雖然比較複雜，但是我們常用的幾個類型也就是這幾種 text、keyword、byte、short、integer、long、float、double、boolean、date，其中text和keyword都是string類型，選擇區分很簡單，需要進行分詞用text，不需要並且進行排序或聚合的可以用keyword。

關於ES的數據結構就到這裡了，我們來進行索引庫的創建吧！

新增索引庫的命令示例:

PUT test1
{
    "settings" : {
        "number_of_shards" : 10,
        "number_of_replicas" : 1,
         "refresh_interval" : "1s"
    },
    "mappings" : {
        "_doc" : {
            "properties" : {
                "uid" : { "type" : "long" },
                "phone" : { "type" : "long" },
                "message" : { "type" : "keyword" },
                "msgcode" : { "type" : "long" },
                 "sendtime" : {  
                  "type" : "date",
                  "format" : "yyyy-MM-dd HH:mm:ss" 
  }
                
            }
        }
    }
}

示例圖:
在這裡插入圖片描述
在這裡插入圖片描述
註:

  • number_of_shards: 是設置的分片數，設置之後無法更改！
  • refresh_interval: 是設置es緩存的刷新時間，如果寫入較為頻繁，但是查詢對實時性要求不那麼高的話，可以設置高一些來提升性能。可以更改
  • number_of_replicas : 是設置該索引庫的副本數，建議設置為1以上。

其中這裡還有幾個重要參數也順便說一下:

  • store: true/false 表示該欄位是否存儲，預設存儲。
  • doc_values: true/false 表示該欄位是否參與聚合和排序。
  • index: true/false 表示該欄位是否建立索引，預設建立。

關於這幾個欄位的取值可以參考一下的示例圖:
在這裡插入圖片描述

三、修改數據

其實ES的新增和修改可以看做是一樣，存在則修改，不存在則新增，不過這裡還是簡單的介紹下吧。
修改數據的方式主要有兩種，一種是通過主鍵ID進行修改，這種比較簡單，就是和新增一樣即可。
另一種則是通過條件進行修改，相當於SQL更新語句的 where條件。

根據主鍵修改的命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

根據條件修改的命令示例:

POST test1/_update_by_query
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  } ,
  "script": {
    "source": "ctx._source['message'] = 'xuwujing'"
  }
}

原有的數據：
在這裡插入圖片描述

修改後的數據:
在這裡插入圖片描述
註：這裡的根據條件進行修改用到的腳本語言，ES除了使用DSl語句之後，使用一些官方定義的腳本語言和SQL語句也能進行操作，腳本語言和SQL語句的操作留到以後在來講下。

四、刪除數據、欄位和索引庫

ES根據主鍵刪除數據的命令示例是DELETE 索引庫/id，簡單實用，但是一定要要加上ID，不然就是刪除索引庫了！

根據主鍵刪除數據命令示例：

DELETE test1/1

根據條件刪除數據的命令示例：

POST test/_delete_by_query
{
  "query": {
      "term": {
        "phone": "12345678909"
      }
  }
}

當然ES還可以根據條件只刪除某一個欄位的數據，比如刪除欄位msgcode的數據。

刪除欄位數據的命令示例:

POST test/_doc/_update_by_query
{
"script":{
"lang":"painless",
"inline":"ctx._source.remove(\"msgcode\")"
}
}

示例圖:

在這裡插入圖片描述

查詢語句

查詢所有

match_all可以查詢集群所有索引庫的信息，包括一些隱藏索性庫的信息。
命令示例:

GET _search
{   
  "query": {
    "match_all": {}
  }
}

示例圖:
在這裡插入圖片描述

查詢索引庫所有的數據，命令格式為GET 索引庫名稱/索引庫類型/_search，也可以不需要索引庫類型。

命令示例:

GET  test1/_doc/_search

如果根據ID查詢某一條數據的話，也比較簡單，只需要將上述的_search換成主鍵ID即可。
命令示例:

GET  test1/_doc/2

等值（term）查詢

term主要用於精確匹配哪些值，比如數字，日期，布爾值或 not_analyzed 的字元串(未經分析的文本數據類型)

比如根據手機號進行查詢。
命令示例:

GET  test1/_doc/_search
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  }
}

當然，如果想在一個欄位匹配多個值的話，可以使用terms，相當於SQL的in語法。

命令示例:

GET  test1/_doc/_search
{
  "query": {
    "terms": {
       "uid": [ 
        1234, 
        12345, 
        123456
      ] 
    }
  }
}

示例圖:
在這裡插入圖片描述
註：上述中是沒有123456這條數據，這樣只是為了做下簡單的測試而已。

範圍（range ）查詢

range可以理解為SQL中的><符號，其中gt是大於，lt是小於，gte是大於等於，lte是小於等於。

命令示例:

GET  test1/_doc/_search
{
  "query": {
   "range": { 
      "uid": { 
        "gt": 1234,
        "lte": 12345
      } 
    } 
  }
}

在這裡插入圖片描述

存在(exists)查詢

exists可以理解為SQL中的exists函數，就是判斷是否存在該欄位。

這裡我們新增一條沒有msgcode的欄位，然後用exists去查詢。

POST test1/_doc/3
{
    "uid" : "123456",
    "phone" : "12345678909",
    "message" : "qq",
    "sendtime" : "2019-03-14 01:57:04"
}

存在查詢命令示例:

GET  test1/_doc/_search
{
  "query": {
   "exists": { 
       "field":"msgcode" 
    } 
  }
}

示例圖:


在這裡插入圖片描述

組合(bool)查詢

bool 可以用來合併多個過濾條件查詢結果的布爾邏輯，它包含這如下幾個操作符:

  • must : 多個查詢條件的完全匹配,相當於 and。
  • must_not ::多個查詢條件的相反匹配，相當於 not。
  • should : 至少有一個查詢條件匹配, 相當於 or。

查詢的命令示例:

GET /test1/_search
{
  "query": {
    "bool": {
      "must": {
        "term": {
          "phone": "12345678909"
        }
      },
      "must_not": {
        "term": {
          "uid": 12345
        }
      },
      "should": [
        {
          "term": {
            "uid": 1234
          }
        },
        {
          "term": {
            "uid": 123456
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  }
}

示例圖:
在這裡插入圖片描述

模糊(wildcard)查詢

wildcard查詢相當於SQL語句中的like語法，只不過它查詢的數據需要加上*符號。

模糊查詢命令示例:

GET /test1/_search
{
  "query": {
   "wildcard": { 
       "message":"*wu*" 
    } 
  }
}

在這裡插入圖片描述

正則(regexp)查詢

regexp可以支持正則查詢，比如查詢簡訊內容中的驗證碼之類的。

下麵的這個示例就是查詢以xu開頭，後面是0-9數字的內容的數據。

正則查詢命令示例:

GET /test1/_search
{
  "query": {
   "regexp": { 
       "message":"xu[0-9]" 
    } 
  }
}

示例圖:

在這裡插入圖片描述

查詢語句的示例到這裡就差不多就結束了，這裡在推薦一下kinaba查詢的幾個小技巧，如圖所示：
在這裡插入圖片描述

其它

參考：
https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

ElasticSearch個人已經使用一年多了，在學習的過程中也積攢了一些相關資料其，只不過今年特別忙，沒有太多時間將其整理成博客進行分享了。說來慚愧，今年寫博客的數量有些少了，下半年自己從一個周更博主變成了月更博主了，不過後面若是時間充足的話也會多些一些的，再忙每個月至少也會寫一篇 ヾ(◍°∇°◍)ﾉﾞ

ElasticSearch實戰系列:
ElasticSearch實戰系列一: ElasticSearch集群+Kinaba安裝教程

音樂推薦

原創不易，如果感覺不錯，希望給個推薦！您的支持是我寫作的最大動力！
版權聲明:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
個人博客出處：http://www.panchengming.com


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • mysql8.x 新版本jdbc連接方式
    註意：新版mysql驅動的url必須設置時區，即serverTimezone=UTC，否則會報如下錯誤： ...
  • MySQL 排錯-解決MySQL非聚合列未包含在GROUP BY子句報錯問題
    排錯-解決MySQL非聚合列未包含在GROUP BY子句報錯問題 By:授客 QQ：1033553122 測試環境 win10 MySQL 5.7 問題描述： 執行類似以下mysql查詢， SELECT id, name, count(*) AS cnt FROM case_table GROUP ...
  • MongoDB初始化創建管理員賬戶登錄
    1.查看mongodb服務是否開啟： ps -ef | grep mongod 2.管理員角色必須在啟用--auth認證參數之前創建，否則會沒有操作許可權。如果之前已經創建過用戶，請先刪除。 kill掉mongod服務，重新啟動，以noauth模式啟動： mongod --dbpath /var/lo ...
  • MySQL資料庫day20190922
    1.dos命令 set names gbk; 2.MySQL練習#創建school資料庫: create database school;#切換school資料庫: use school; # primary key : 主鍵約束,不可重覆# auto_increment : 自動增長# not n ...
  • Python操作MongoDB查詢時處理ObjectId
    從bson中導入ObjectId對象，將字元串轉換成id對象查詢使用： ...
  • 如何更規範化使用MySQL
    如何更規範化使用MySQL 背景：一個平臺或系統隨著時間的推移和用戶量的增多，資料庫操作往往會變慢；而在Java應用開發中資料庫更是尤為重要，絕大多數情況下資料庫的性能決定了程式的性能，如若前期埋下的坑越多到後期資料庫就會成為整個系統的瓶頸；因此，更規範化的使用MySQL在開發中是不可或缺的。 一、 ...
  • 理解大數據
    一.什麼是大數據 大數據（big data）是指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點 ...
  • RocksDB線程局部緩存
    概述 在開發過程中，我們經常會遇到併發問題，解決併發問題通常的方法是加鎖保護，比如常用的spinlock，mutex或者rwlock，當然也可以採用無鎖編程，對實現要求就比較高了。對於任何一個共用變數，只要有讀寫併發，就需要加鎖保護，而讀寫併發通常就會面臨一個基本問題，寫阻塞讀，或則寫優先順序比較低， ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類