ES入門寶典（詳細截圖版）

本文使用版本基於elasticsearch-6.4.0

1、什麼是ES？

官網： https://www.elastic.co/products/elasticsearch 

中文官網：https://www.elastic.co/cn/products/elasticsearch

ES是一個全文檢索引擎，提到全文檢索，就要說一下以下幾個概念：

搜索：尋找想要的信息，根據關鍵字找到想要的信息。

倒排索引：反向索引，提取關鍵字建立索引，不需要全部遍歷，提高效率，減少掃描次數。

lucene，就是一個jar包 裡面有倒排索引和一些演算法 可以基於lucene api進行全文檢索的開發，api複雜。

瞭解全文檢索，可以關註這篇文章什麼是全文檢索

ES也就是Elasticsearch又是什麼呢？

封裝lucene 提供企業級服務;

基於Apache lucene構建得開源搜索引擎;

java編寫 簡單易用得RESTFul API;

橫向擴展 支持PB級的結構化或非結構化數據處理;

ES的功能:

1）分散式的搜索引擎和數據分析引擎。

2）全文檢索，結構化檢索，數據分析。

3）對海量數據進行近實時的處理。

應用場景：

海量數據的分析引擎;站內搜索引擎;數據倉庫。

國外：維基百科，Stack Overflow，GitHub

國內：站內搜索（電商，招聘，門戶，等等），IT系統搜索（OA，CRM，ERP，等等），數據分析（ES熱門的一個使用場景）

2、主要概念

索引index

邏輯存儲 相當於關係型資料庫的表

每個索引有一或多個分片（shard） 每個分片有多個副本（replica）

分片shard

單台機器無法存儲大量數據，es可以將一個索引中的數據切分為多個shard，分佈在多台伺服器上存儲。有了shard就可以橫向擴展，存儲更多數據，讓搜索和分析等操作分佈到多台伺服器上去執行，提升吞吐量和性能。每個shard都是一個lucene index。

副本replica

任何一個伺服器隨時可能故障或宕機，此時shard可能就會丟失，因此可以為每個shard創建多個replica副本。replica可以在shard故障時提供備用服務，保證數據不丟失，多個replica還可以提升搜索操作的吞吐量和性能。

文檔document

es中的最小數據單元，一個document可以是一條客戶數據，一條商品分類數據，一條訂單數據，通常用JSON數據結構表示，每個index下的type中，都可以去存儲多個document。一個document裡面有多個field，每個field就是一個數據欄位。

面向文檔存儲

（1）應用系統的數據結構都是面向對象的，複雜的
（2）對象數據存儲到資料庫中，只能拆解開來，變為扁平的多張表，每次查詢的時候還得還原回對象格式，相當麻煩
（3）ES是面向文檔的，文檔中存儲的數據結構，與面向對象的數據結構是一樣的，基於這種文檔數據結構，es可以提供複雜的索引，全文檢索，分析聚合等功能
（4）es的document用json數據格式來表達

映射mapping

文檔中的每個欄位根據不同類型做相應分析。

ES核心概念 vs. 資料庫核心概念

索引（indices）-------------Table 數據表

文檔（Document）--------Row 行

欄位（Field）-------Columns 列

3、安裝部署

安裝JDK，至少1.8.0_73以上版本

win下部署ES

下載win版本

解壓 放在d盤

同步命令行啟動

C:\Users\JN>d:

D:>cd

D:\elasticsearch-6.4.0>cd bin

D:\elasticsearch-6.4.0\bin>elasticsearch.bat

kibana也是

C:\Users\JN>d:

D:>cd kibana-6.4.0-windows-x86_64

D:\kibana-6.4.0-windows-x86_64>cd bin

D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat

部署成功： 可以通過localhost:9200訪問es

localhost:5601訪問kibana

linux下部署ES

下載linux版本ES

 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz

新建 切換用戶

useradd es
passwd es
su es

解壓

tar -zxvf elasticsearch-6.4.0.tar.gz

修改配置

cd conf
vim elasticsearch.yml  es配置：集群  日誌位置 數據位置  訪問限制等等
vim jvm.options   jvm配置

啟動

./bin/elasticsearch

9300：集群節點間通訊介面

9200：客戶端訪問介面

訪問9200可以看見數據返回

curl localhost:9200

4、簡單Restful Api操作

網頁訪問kibana

localhost:5601 選擇 Dev Tools

基本操作

集群健康 GET /_cat/health

1556162587 11:23:07 elasticsearch green 1 1 1 1 0 0 0 0 - 100.0%

查看索引 GET /_cat/indices?v

green open .kibana NHt9dbSkRWaom_Df6cyi6w 1 0 1 0 4kb 4kb

創建索引 PUT /test_index?pretty

刪除索引 DELETE /test_index?pretty

CRUD操作

PUT /index/type/id

{

​ ”json數據“

}

例子：

PUT /blog01/article/1
{
    "id": "1",
    "title": "elasticsearch"
    "desc":"elasticsearch"
}

PUT /blog01/article/2
{
    "id": "2,
    "title": "kibana "
    "desc":"kibana "
}

es會自動建立index和type，不需要提前創建，而且es會預設對document的每個field都建立倒排索引，讓其可以被搜索。

查詢 GET /blog01/article/1

修改

（替換方式） 替換必須帶所有信息
 PUT /blog01/article/1
    {
        "id": "1",
        "title": "elasticsearch"
        "desc":"elasticsearch_new"
    }
（更新方式）
POST /blog01/article/2/_update
{
    "doc": {
     "desc":"elasticsearch_new"
   }        
}

刪除 DELETE /blog01/article/1

簡單搜索

query string search

search參數http附帶

took：整個搜索請求花費了多少毫秒

timed_out：是否超時

_shards：切片

hits.total：本次搜索，返回了幾條結果
hits.max_score：本次搜索的所有結果中，最大的相關度分數是多少，每一條document對於search的相關度，越相關，_score分數越大，排位越靠前

GET /blog01/article/_search?q=desc:kibana
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.2876821,
    "hits": [
      {
        "_index": "blog01",
        "_type": "article",
        "_id": "2",
        "_score": 0.2876821,
        "_source": {
          "id": "2",
          "title": "kibana ",
          "desc": "kibana "
        }
      }
    ]
  }
}

query DSL

Domain Specified Language

帶json請求體查詢

GET /blog01/article/_search
{
  "query": {
    "match_all": {}
  }
}

query filter

bool可以封裝多個條件 “must”必須匹配 “filter”過濾

GET /blog01/article/_search
{
  "query" : {
        "bool" : {
            "must" : {
               "match" :{
                  "desc" : "kibana"
               }
            }   
        }
    }
}

全文檢索 full text search

會根據兩個詞 去倒排索引查找 匹配上任意一個就會返回 匹配度最高的文檔排在前面

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana test"
               }
    }
}

短語搜索 phrase search

兩個詞必須都包含

GET /blog01/article/_search
{
  "query" : {
               "match_phrase" :{
                  "desc" : "kibana test"
               }
    }
}

高亮結果 highlight search

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana"
               }
               
    },
    "highlight":{
                 "fields":{
                   "desc" :{}
                 }
    } 
}

更多ES，Flink，Kafka等實時計算相關博文，歡迎關註實時流式計算：

本文由博客一文多發平臺 OpenWrite 發佈！