ES入門寶典（詳細截圖版）

来源:https://www.cnblogs.com/tree1123/archive/2019/11/11/11833042.html
-Advertisement-
Play Games

本文使用版本基於elasticsearch 6.4.0 1、什麼是ES？ 官網： "https://www.elastic.co/products/elasticsearch" 中文官網：https://www.elastic.co/cn/products/elasticsearch ES是一個全文 ...


file

本文使用版本基於elasticsearch-6.4.0

1、什麼是ES？

官網： https://www.elastic.co/products/elasticsearch 

中文官網：https://www.elastic.co/cn/products/elasticsearch

file

ES是一個全文檢索引擎，提到全文檢索，就要說一下以下幾個概念：

搜索：尋找想要的信息，根據關鍵字找到想要的信息。

倒排索引：反向索引，提取關鍵字建立索引，不需要全部遍歷，提高效率，減少掃描次數。

lucene，就是一個jar包 裡面有倒排索引和一些演算法 可以基於lucene api進行全文檢索的開發，api複雜。

瞭解全文檢索，可以關註這篇文章什麼是全文檢索

ES也就是Elasticsearch又是什麼呢？

封裝lucene 提供企業級服務;

基於Apache lucene構建得開源搜索引擎;

java編寫 簡單易用得RESTFul API;

橫向擴展 支持PB級的結構化或非結構化數據處理;

ES的功能:

1）分散式的搜索引擎和數據分析引擎。

2）全文檢索，結構化檢索，數據分析。

3）對海量數據進行近實時的處理。

應用場景：

海量數據的分析引擎;站內搜索引擎;數據倉庫。

國外：維基百科，Stack Overflow，GitHub

國內：站內搜索（電商，招聘，門戶，等等），IT系統搜索（OA，CRM，ERP，等等），數據分析（ES熱門的一個使用場景）

2、主要概念

索引index

邏輯存儲 相當於關係型資料庫的表

每個索引有一或多個分片（shard） 每個分片有多個副本（replica）

分片shard

單台機器無法存儲大量數據，es可以將一個索引中的數據切分為多個shard，分佈在多台伺服器上存儲。有了shard就可以橫向擴展，存儲更多數據，讓搜索和分析等操作分佈到多台伺服器上去執行，提升吞吐量和性能。每個shard都是一個lucene index。

副本replica

任何一個伺服器隨時可能故障或宕機，此時shard可能就會丟失，因此可以為每個shard創建多個replica副本。replica可以在shard故障時提供備用服務，保證數據不丟失，多個replica還可以提升搜索操作的吞吐量和性能。

文檔document

es中的最小數據單元，一個document可以是一條客戶數據，一條商品分類數據，一條訂單數據，通常用JSON數據結構表示，每個index下的type中，都可以去存儲多個document。一個document裡面有多個field，每個field就是一個數據欄位。

面向文檔存儲

（1）應用系統的數據結構都是面向對象的，複雜的
（2）對象數據存儲到資料庫中，只能拆解開來，變為扁平的多張表，每次查詢的時候還得還原回對象格式，相當麻煩
（3）ES是面向文檔的，文檔中存儲的數據結構，與面向對象的數據結構是一樣的，基於這種文檔數據結構，es可以提供複雜的索引，全文檢索，分析聚合等功能
（4）es的document用json數據格式來表達

映射mapping

文檔中的每個欄位根據不同類型做相應分析。

ES核心概念 vs. 資料庫核心概念

索引（indices）-------------Table 數據表

文檔（Document）--------Row 行

欄位（Field）-------Columns 列

3、安裝部署

安裝JDK，至少1.8.0_73以上版本

win下部署ES

下載win版本

解壓 放在d盤

同步命令行啟動

C:\Users\JN>d:

D:>cd

D:\elasticsearch-6.4.0>cd bin

D:\elasticsearch-6.4.0\bin>elasticsearch.bat

kibana也是

C:\Users\JN>d:

D:>cd kibana-6.4.0-windows-x86_64

D:\kibana-6.4.0-windows-x86_64>cd bin

D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat

部署成功： 可以通過localhost:9200訪問es

file

localhost:5601訪問kibana

file

linux下部署ES

下載linux版本ES

 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz

新建 切換用戶

useradd es
passwd es
su es

解壓

tar -zxvf elasticsearch-6.4.0.tar.gz

修改配置

cd conf
vim elasticsearch.yml  es配置：集群  日誌位置 數據位置  訪問限制等等
vim jvm.options   jvm配置

啟動

./bin/elasticsearch

9300：集群節點間通訊介面

9200：客戶端訪問介面

訪問9200可以看見數據返回

curl localhost:9200

file

4、簡單Restful Api操作

網頁訪問kibana

localhost:5601 選擇 Dev Tools

file

基本操作

集群健康 GET /_cat/health

1556162587 11:23:07 elasticsearch green 1 1 1 1 0 0 0 0 - 100.0%

查看索引 GET /_cat/indices?v

green open .kibana NHt9dbSkRWaom_Df6cyi6w 1 0 1 0 4kb 4kb

創建索引 PUT /test_index?pretty

刪除索引 DELETE /test_index?pretty

CRUD操作

PUT /index/type/id

{

​ ”json數據“

}

例子：

PUT /blog01/article/1
{
    "id": "1",
    "title": "elasticsearch"
    "desc":"elasticsearch"
}

PUT /blog01/article/2
{
    "id": "2,
    "title": "kibana "
    "desc":"kibana "
}

es會自動建立index和type，不需要提前創建，而且es會預設對document的每個field都建立倒排索引，讓其可以被搜索。

查詢 GET /blog01/article/1

修改

（替換方式） 替換必須帶所有信息
 PUT /blog01/article/1
    {
        "id": "1",
        "title": "elasticsearch"
        "desc":"elasticsearch_new"
    }
（更新方式）
POST /blog01/article/2/_update
{
    "doc": {
     "desc":"elasticsearch_new"
   }        
}

刪除 DELETE /blog01/article/1

簡單搜索

query string search

search參數http附帶

took：整個搜索請求花費了多少毫秒

timed_out：是否超時

_shards：切片

hits.total：本次搜索，返回了幾條結果
hits.max_score：本次搜索的所有結果中，最大的相關度分數是多少，每一條document對於search的相關度，越相關，_score分數越大，排位越靠前

GET /blog01/article/_search?q=desc:kibana
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.2876821,
    "hits": [
      {
        "_index": "blog01",
        "_type": "article",
        "_id": "2",
        "_score": 0.2876821,
        "_source": {
          "id": "2",
          "title": "kibana ",
          "desc": "kibana "
        }
      }
    ]
  }
}

query DSL

Domain Specified Language

帶json請求體查詢

GET /blog01/article/_search
{
  "query": {
    "match_all": {}
  }
}

query filter

bool可以封裝多個條件 “must”必須匹配 “filter”過濾

GET /blog01/article/_search
{
  "query" : {
        "bool" : {
            "must" : {
               "match" :{
                  "desc" : "kibana"
               }
            }   
        }
    }
}

全文檢索 full text search

會根據兩個詞 去倒排索引查找 匹配上任意一個就會返回 匹配度最高的文檔排在前面

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana test"
               }
    }
}

短語搜索 phrase search

兩個詞必須都包含

GET /blog01/article/_search
{
  "query" : {
               "match_phrase" :{
                  "desc" : "kibana test"
               }
    }
}

高亮結果 highlight search

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana"
               }
               
    },
    "highlight":{
                 "fields":{
                   "desc" :{}
                 }
    } 
}

更多ES，Flink，Kafka等實時計算相關博文，歡迎關註實時流式計算：

file

本文由博客一文多發平臺 OpenWrite 發佈！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • [20191108]內核參數tcp_keepalive與sqlnet.ora expire_time的一些總結.txt
    [20191108]內核參數tcp_keepalive與sqlnet.ora expire_time的一些總結.txt--//前幾天在做12c DCD SQLNET.EXPIRE_TIME相關測試時,在11g資料庫遇到1個古怪的問題,就是設置sqlnet.expire_time無效.不知道為--// ...
  • row’s Foot Notation
    http://www2.cs.uregina.ca/~bernatja/crowsfoot.html Crow’s Foot Notation A number of data modeling techniques are being used today. One of the most com ...
  • 表單生成器(Form Builder)之mongodb表單數據查詢——關聯查詢
    這一篇接著記錄一下查詢相關的操作。想象一下，如果想要在一張表格中展示某些車輛的耗損和營收情況，我們該怎麼處理。車輛、耗損、營收各自存儲在一張表中，耗損和營收中冗餘了車輛信息……我們便想到了關聯查詢。mongodb 3.2+中開始支持關聯查詢，下麵介紹一下寫關聯查詢的過程。 測試一、 結合前面筆記的成 ...
  • MySQL解惑——GROUP BY隱式排序
    MySQL中GROUP BY隱式排序是什麼概念呢？ 主要是其它RDBMS沒有這樣的概念，如果沒有認真瞭解過概念，對這個概念會感覺有點困惑，我們先來看看官方文檔的介紹： 官方文檔MySQL 5.7 Reference Manual中的“.2.1.14 ORDER BY Optimization”章節有... ...
  • oracle自定義存儲過程:刪除表(無論表是否存在)和檢測表是否存在
    oracle刪除表，如果表不存在，就報錯，在跑大型腳本（腳本長且耗時的時候）比較麻煩，一般希望的是點開始然後腳本運行到結束，不可能一直盯著屏幕等彈出提示手工點掉，mysql就很好有drop table if not exist功能CREATE OR REPLACE PROCEDURE p_drop_... ...
  • 【原創】CentOS 7 安裝解壓版mysql5.7
    1、將mysql壓縮包解壓至 /usr/local 文件夾下，將其改名為mysql#解壓tar -zxf mysql-5.7.27-el7-x86_64.tar.gz -C /usr/local/#重命名cd /usr/local/mv mysql-5.7.27-el7-x86_64/ mysql2... ...
  • MySQL事務和鎖——《MySQL DBA工作筆記》
    MySQL事務 事務存在的原因 事務存在的目的：保證用戶對數據操作對數據是安全的。（比如說銀行卡餘額） 事務的特性——ACID 原子性：一個事務要麼全部執行，要麼不執行 一致性：事務開始和結束時，數據保持一致 隔離性：事務之間互不影響 持久性：事務操作的結果具有持久性 關於臟讀，不可重覆讀，幻讀 臟 ...
  • mysql-清除binlog日誌命令
    記錄一個清除MySQL里binlog日誌的命令，可用在定時任務腳本里。 只保留1天前的日誌： PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 1 DAY) ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類