ElasticSearch安裝與使用

来源:https://www.cnblogs.com/kxxz/archive/2023/06/20/17493073.html
-Advertisement-
Play Games

## 1、安裝ES和Kibana ### kibana和ES的關係 ![image](https://img2023.cnblogs.com/blog/3216427/202306/3216427-20230620110520834-246432673.png) ### ES安裝 > 可以自己使用d ...


1、安裝ES和Kibana

kibana和ES的關係

image

ES安裝

可以自己使用docker pull拉取鏡像，但是因為ES比較大，可能比較慢，這裡建議大家用解壓包的方式獲得鏡像

獲取鏡像

image

啟動容器

  • 創建網卡（方便kibana通過es容器名連接）

image

  • 啟動容器
docker run -d \
--name es \
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
-e "discovery.type=single-node" \
-v es-data:/usr/share/elasticsearch/data \
-v es-plugins:/usr/share/elasticsearch/plugins \
--privileged \
--network es-net \
-p 9200:9200 \
-p 9300:9300 \
elasticsearch:7.12.1

命令解釋：

  • -e "cluster.name=es-docker-cluster"：設置集群名稱
  • -e "http.host=0.0.0.0"：監聽的地址，可以外網訪問
  • -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：記憶體大小
  • -e "discovery.type=single-node"：非集群模式
  • -v es-data:/usr/share/elasticsearch/data：掛載邏輯捲，綁定es的數據目錄
  • -v es-logs:/usr/share/elasticsearch/logs：掛載邏輯捲，綁定es的日誌目錄
  • -v es-plugins:/usr/share/elasticsearch/plugins：掛載邏輯捲，綁定es的插件目錄
  • --privileged：授予邏輯捲訪問權
  • --network es-net ：加入一個名為es-net的網路中
  • -p 9200:9200：埠映射配置

image

瀏覽器訪問檢測

啟動會有點慢，需要耐心等待下。另外虛擬機的記憶體最少設置為2G，否則記憶體不夠用

image

Kibana安裝

獲取鏡像

image

啟動容器

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

命令解釋

  • --network es-net ：加入一個名為es-net的網路中，與elasticsearch在同一個網路中
  • -e ELASTICSEARCH_HOSTS=http://es:9200"：設置elasticsearch的地址，因為kibana已經與elasticsearch在一個網路，因此可以用容器名直接訪問elasticsearch
  • -p 5601:5601：埠映射配置

image

瀏覽器訪問檢測

image

ik分詞器安裝

查看es插件掛在的數據捲目錄

image

上傳ik插件到掛在的目錄

將資料中的ik壓縮包解壓後，上傳

image

重啟es容器

image

配置自己的擴展詞&忽略詞

  • 修改配置，增加擴展詞&忽略詞配置

image

  • 配置自己的擴展詞

image

  • 重啟es容器，再次測試觀察結果

5、索引庫操作(DSL)

mapping映射屬性

mapping是對索引庫中文檔的約束，常見的mapping屬性包括：

  • type：欄位數據類型，常見的簡單類型有：
    • 字元串：text（可分詞的文本）、keyword（精確值，例如：品牌、國家、ip地址）
    • 數值：long、integer、short、byte、double、float、
    • 布爾：boolean
    • 日期：date
    • 對象：object
  • index：是否創建索引，預設為true
  • analyzer：使用哪種分詞器
  • properties：該欄位的子欄位

例如下麵的json文檔：

{
    "age": 21,
    "weight": 52.1,
    "isMarried": false,
    "info": "營養師",
    "email": "[email protected]",
    "score": [99.1, 99.5, 98.9],
    "name": {
        "firstName": "雲",
        "lastName": "趙"
    }
}

對應的每個欄位映射（mapping）：

  • age：類型為 integer；參與搜索，因此需要index為true；無需分詞器
  • weight：類型為float；參與搜索，因此需要index為true；無需分詞器
  • isMarried：類型為boolean；參與搜索，因此需要index為true；無需分詞器
  • info：類型為字元串，需要分詞，因此是text；參與搜索，因此需要index為true；分詞器可以用ik_smart
  • email：類型為字元串，但是不需要分詞，因此是keyword；不參與搜索，因此需要index為false；無需分詞器
  • score：雖然是數組，但是我們只看元素的類型，類型為float；參與搜索，因此需要index為true；無需分詞器
  • name：類型為object，需要定義多個子屬性
    • name.firstName；類型為字元串，但是不需要分詞，因此是keyword；參與搜索，因此需要index為true；無需分詞器
    • name.lastName；類型為字元串，但是不需要分詞，因此是keyword；參與搜索，因此需要index為true；無需分詞器

創建索引（PUT）

image

獲取索引（GET）

image

修改索引(PUT)

註意，不能改變原來索引的映射，因為倒排索引構建非常消耗時間，所以不允許修改。

但是可以在原來映射的基礎上，新增欄位。

image

刪除索引(DELETE)

image

6、文檔操作（DSL）

創建文檔(POST)

POST /teacher/_doc/1
{
    "age": 18,
    "info": "營養師幫助人們健康飲食，很好",
    "email": "[email protected]",
    "name": {
        "firstName": "張",
        "lastName": "三"
    }
}
POST /teacher/_doc/2  /*指定id創建*/
{
    "age": 28,
    "info": "營養師幫助人們健康飲食",
    "email": "[email protected]",
    "name": {
        "firstName": "王",
        "lastName": "五"
    }
}
POST /teacher/_doc   /*不指定id創建，會隨機自動生成*/
{
    "age": 38,
    "info": "營養師幫助健康飲食",
    "email": "[email protected]",
    "name": {
        "firstName": "李",
        "lastName": "四"
    }
}

刪除文檔(DELETE)

image

修改文檔(POST)

/*修改--全量修改(當id對應的文檔存在，刪除原文檔，新建現在的文檔)*/
POST /teacher/_doc/2  /*_doc和新增文檔語法一致， 如果該id存在，是更新操作,如果該id不存在，就是新增操作*/
{
    "age": 28,
    "info": "營養師幫助人們健康飲食",
    "email": "[email protected]",
    "name": {
        "firstName": "王",
        "lastName": "五"
    }
}
/*修改--增量（部分）修改*/
POST /teacher/_update/2  /*_update,在原有文檔記錄的基礎上個，新增新的內容*/
{
     "doc":{
	    "email": "[email protected]"
	 }
}

查詢文檔(GET)

簡單查詢

image

全文檢索-單欄位匹配

/*全文檢索 -單欄位檢索 飲食 --> 飲食，飲，食*/
GET /teacher/_search
{
   "query":{
     "match":{
	    "info":"飲食"
	 }
   }
}

全文檢索-多欄位匹配

/*全文檢索 -多欄位檢索
檢索info或者name.lastname中包含的*/
GET /teacher/_search
{
   "query":{
     "multi_match":{
	"query":"飲食",
	"fields":["info","name.lastname"]
	 }
   }
}

精準查詢-term

/*精準查詢 -term查詢
term查詢中關鍵詞是不會分詞的，info中必須包含上述這個詞的信息*/
GET /teacher/_search
{
   "query":{
     "term":{
	"info":{
	"value":"飲食"
	   }
	}
   }
}

精準查詢-range

image

布爾查詢-多條件查詢

must
/*查詢中info包含飲食，且年齡大於20
must必須的，多個條件之間是and關係*/
GET /teacher/_search
{
   "query":{
     "bool":{
	"must":[
	 {
	   "match":{
	     "info":"飲食"
	 }
	},
	{
	   "range":{
	     "age":{
	      "gte":20
		}
	   }
	  }
	 ]
	}
   }
}
shoud
/*查詢中info包含飲食，且年齡大於20
must可選的，多個條件之間是or關係*/
GET /teacher/_search
{
   "query":{
    "bool":{
      "should":[
         {
           "match":{
             "info":"飲食"
          }
         },
         {
           "range":{
             "age":{
              "gte":20
              }
            }
          }
        ]
      }
   }
}
must_not
/*查詢中info包含飲食，但fistname不可以是 李
must_not 不允許，對條件進行取反操作，一般用來過濾*/
GET /teacher/_search
{
   "query":{
     "bool":{
       "must":[
         {
           "match":{
           "info":"飲食"
           }
         }
         ],
           "must_not":[
         {
             "term":{
               "name.firstname":{
                 "value":"李"
              }
            }
          }
         ]
      }
   }
}
filter
/*查詢中info包含飲食，且年齡大於20
filter過濾，在原本數據的基礎上進行一些過濾，過濾條件是不參與算分的，所以在進行條件過濾時，使用filter效率會提高*/
GET /teacher/_search
{
   "query":{
     "bool":{
       "must":[
         {
           "match":{
             "info":"飲食"
           }
         }
        ],
       "filter":[
         {
          "range":{
            "age":{
             "gte":20
             }
            }
           }
        ]
      }
   }
}

聚合查詢

  • 分組聚合

相當於： select avg(age),sum(age),... from teacher group by firstname;

查詢語句

image

查詢結果

image

  • 不分組全文檔聚合

image

  • 不分組帶條件聚合

查詢結果處理

排序

image

分頁

image

高亮

image

7、索引操作（JAVA）

集成es環境

  • 引入依賴

image

  • 編寫配置

image

  • 註入核心對象，執行操作

image

創建索引

image

刪除索引

image

修改索引（沒有）

查詢索引

image

8、文檔操作（JAVA）

創建文檔

/*
新增文檔
*/
@Test
void createDoc() throws IOException {
  	IndexRequest idxReq = new IndexRequest("teacher").id("11");
	Teacher teacher = new Teacher();
	teacher.setAge(48);
	teacher.setInfo("營養師");
	teacher.setEmail("[email protected]");
	Name name = new Name();
	name.setFirstname("陳");
	name.setLastname("飛");
	teacher.setName(name);
	
	idxReq.source(JSON.toJSONString(teacher),XContentType.JSON);
	
	restHighLevelClient.index(idxReq,RequestOptions.DEFAULT);
}

刪除文檔

image

修改文檔

image

查詢文檔

簡單查詢

  • 查詢單個文檔

image
)

  • 查詢所有文檔

image

全文檢索-單欄位匹配

/*
全文檢索 -單欄位檢索
GET /teacher/_search
*/
@Test
void matchSearch() throws IOException {
  	SearchRequest searchRequest = new SearchRequest("teacher");
        searchRequest.source().query(QueryBuilders.matchQuery("info","飲食"));

        SearchResponse searchResponse = restHighLevelClient.search(searchRequest,RequestOptions.DEFAULT);
		
		List<Teacher> teachers = new ArrayList<>();
		
		SearchHits hits = response.getHits();
		for(SearchHit hit : hits){
		String sourceAsString = hit.getSourceAsString();
		Teacher teacher = JSON.parseObject(sourceAsString,Teacher.class);
		teachers.add(teacher);
		}
		teachers.forEach(System.out::println);
}

全文檢索-多欄位匹配

/*
全文檢索 -多欄位匹配
GET /teacher/_search
*/
@Test
void multiMatchSearch() throws IOException {
  	SearchRequest searchRequest = new SearchRequest("teacher");
        searchRequest.source().query(QueryBuilders.multiMatchQuery("飲食","info","name.lastname"));

        SearchResponse searchResponse = restHighLevelClient.search(searchRequest,RequestOptions.DEFAULT);
		
		List<Teacher> teachers = new ArrayList<>();
		
		SearchHits hits = response.getHits();
		for(SearchHit hit : hits){
		String sourceAsString = hit.getSourceAsString();
		Teacher teacher = JSON.parseObject(sourceAsString,Teacher.class);
		teachers.add(teacher);
		}
		teachers.forEach(System.out::println);
}

精準查詢-term

/*
 -精確查詢-term
GET /teacher/_search
*/
@Test
void termSearch() throws IOException {
  	SearchRequest searchRequest = new SearchRequest("teacher");
        searchRequest.source().query(QueryBuilders.termQuery("info","飲食"));

        SearchResponse searchResponse = restHighLevelClient.search(searchRequest,RequestOptions.DEFAULT);
		
		List<Teacher> teachers = new ArrayList<>();
		
		SearchHits hits = response.getHits();
		for(SearchHit hit : hits){
		String sourceAsString = hit.getSourceAsString();
		Teacher teacher = JSON.parseObject(sourceAsString,Teacher.class);
		teachers.add(teacher);
		}
		teachers.forEach(System.out::println);
}

精準查詢-range

/*
 -精確查詢-range
GET /teacher/_search
*/
@Test
void rangeSearch() throws IOException {
  	SearchRequest searchRequest = new SearchRequest("teacher");
        searchRequest.source().query(QueryBuilders.rangeQuery("age".gte(20)));

        SearchResponse searchResponse = restHighLevelClient.search(searchRequest,RequestOptions.DEFAULT);
		
		List<Teacher> teachers = new ArrayList<>();
		
		SearchHits hits = response.getHits();
		for(SearchHit hit : hits){
		String sourceAsString = hit.getSourceAsString();
		Teacher teacher = JSON.parseObject(sourceAsString,Teacher.class);
		teachers.add(teacher);
		}
		teachers.forEach(System.out::println);
}

布爾查詢-多條件查詢

/*
布爾條件查詢
GET /teacher/_search
*/
@Test
void matchSearch() throws IOException {
  	SearchRequest searchRequest = new SearchRequest("teacher");
    BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
	
	List<QueryBuilder> should = boolQuery.should();
	should.add(QueryBuilders.rangeQuery("age".gte(20)));
	should.aad(QueryBuilders.termQuery("name.firstname","李"));

    searchRequest.source().query(boolQuery);
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest,RequestOptions.DEFAULT);
		
		List<Teacher> teachers = new ArrayList<>();
		
		SearchHits hits = response.getHits();
		for(SearchHit hit : hits){
		String sourceAsString = hit.getSourceAsString();
		Teacher teacher = JSON.parseObject(sourceAsString,Teacher.class);
		teachers.add(teacher);
		}
		teachers.forEach(System.out::println);
}

聚合查詢

  • 分組聚合統計

image

  • 全索引聚合統計

image

  • 條件篩選後聚合統計
/*
聚合查詢 條件過濾後聚合統計
GET /teacher/_search
*/
@Test
void aggSearch3() throws IOException {
  	SearchRequest searchReq = new SearchRequest("teacher");
     //設置查詢條件
	 searchReq.source().query(QueryBuilders.matchQuery("info","飲食"));

image

查詢結果處理

排序

image

分頁

image

高亮

image

image

節點類型

Master節點：管理索引：索引創建、索引刪除；DataNode節點中分片管理：分片信息記錄、分片劃分；不負責數據的寫入和檢索。這類節點記憶體可以小一些，但是伺服器要穩定

DataNode節點：負責數據的寫入和檢索，所有DataNode節點沒有主從節點的關係。但是節點上會存在主從分片。這類節點要求記憶體大

客戶端節點：不負責任何數據存儲操作，這類節點主要用來接收客戶端的請求，實現負載均衡

在實際部署es集群時，上述三類節點都需要部署，而且這三類節點要求分開部署

image

集群中寫一條數據的過程

  • 數據節點分片含義

image

  • 寫一條文檔數據

image

es刪除文檔機制

es中文檔是不可以修改不可刪除。當我們在刪除文檔時，文檔數據並不是真的從es中被刪掉。有一個惰性刪除效果。

在每個segment文件中會維護一個.del文件，當我們刪除文檔時，會在.del文件中記錄這個被刪除文檔的id。當我們檢索數據時，這個被記錄的id文檔是不會被檢索出來的。

當segment大小達到一定程度，為了提升讀取數據效率，會對segment進行合併。在合併成新的segment文件時，原本被記錄在.del中的數據是不參與合併。此時這個文檔數據才會被真正刪除。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 5步帶你玩轉SpringBoot自定義自動配置那些知識點
    目前SpringBoot框架真的深受廣大開發者喜愛，畢竟它最大的特點就是：**快速構建基於Spring的應用程式的框架，而且它提供了各種預設的功能和配置，可以讓開發者快速搭建應用程式的基礎結構。 ...
  • 52基於java的心理健康評測管理系統設計與實現
    基於java心理健康評測管理系統設計與實現，大學生心理健康，大學生心理評測管理系統，心理健康平臺系統，校園心理健康評測平臺，校園健康咨詢，校園心理健康咨詢，java心理咨詢室，校園心理咨詢室。 ...
  • Python工具箱系列(三十六)
    Docker提供了基於鏡像的運行環境，可以將操作系統、應用程式以及相關依賴打包，為使用者提供完整的使用體驗，因此一經推出大獲好評，迅速成為主流的軟體開發技術之一。 ...
  • jxls根據模板導出Excel（二）
    基於java的高校就業管理系統設計與實現，可適用於高校就業招聘，大學招聘管理系統，校園招聘系統，就業信息管理系統，畢業招聘系統，畢業就業系統，大學生就業招聘平臺，校園就業信息平臺，校園畢業信息管理平臺，大學生就業招聘，大學生畢業招聘管理平臺等等 ...
  • JPA在事務結束時自動更新查詢數據
    `numpy`作為一個強大的數值計算庫，提供了對多維數組的很多便捷操作。 承接上一篇數組的創建，本篇主要介紹一些數組的基本操作。 # 1. 子數組 首先介紹獲取子數組的方法，提取已有數據的一部分來參與計算是比較常用的功能。 對於一維數組，提取子數組：`arr[start:stop:step]` 1. ...
  • 逍遙自在學C語言 | 指針和數組的關聯
    ## 前言 指針和數組之間存在著緊密的關係。在本文中，我們將探討指針和數組的關係、指針算術和數組遍歷、多維數組與指針以及指針數組和數組指針。 ## 一、人物簡介 - 第一位閃亮登場，有請今後會一直教我們C語言的老師 —— 自在。 ![img](https://img2023.cnblogs.com/ ...
  • 【python基礎】類-初識類
    # 1.面向對象思想 在認識類之前，我們需要理解面向對象思想和麵向過程思想。 面向過程思想：要擁有一間房屋，面向過程像是自己來修蓋房屋，如果需要經過選址、購買材料、砌牆、裝修等步驟，面向過程編程，就相當於自己個人來負責這些事情，需要考慮屋子選在什麼地方修建，要哪些材料，怎麼砌牆，怎麼裝修等。每一步都 ...
  • Inno Setup 結合exe4j打包 Java 程式為 EXE 文件
    # Inno Setup 結合exe4j打包 Java 程式為 EXE 文件 ## 安裝 鏈接：https://pan.baidu.com/s/1l6qYRi6unjLL_4VVYpsShg 提取碼：bzd6 文件內容： ![1687224367776](https://img2023.cnblog ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類