開篇來自於經典的“保全的哲學三問”(你是誰,在哪兒,要幹嘛) 問題一、ElasticSearch是什麼?有什麼用處? 答:截至2018年12月28日,從ElasticSearch官網(https://www.elastic.co/cn/products)上,得知:ElasticSearch是基於 J ...
開篇來自於經典的“保全的哲學三問”(你是誰,在哪兒,要幹嘛)
問題一、ElasticSearch是什麼?有什麼用處?
答:截至2018年12月28日,從ElasticSearch官網(https://www.elastic.co/cn/products)上,得知:ElasticSearch是基於 JSON 的分散式搜索和分析引擎,專為實現水平擴展、高可靠性和管理便捷性而設計。用於搜索、分析和存儲您的數據。
問題二、ElasticSearch的由來?
答:大約在2010年,一個叫Shay Banon的待業工程師跟隨他的新婚妻子來到倫敦,他的妻子想在倫敦學習做一名廚師。而他在倫敦尋找工作的期間,接觸到了Lucene的早期版本,他想為自己的妻子開發一個方便搜索菜譜的應用。直接使用Lucene構建搜索會有很多的坑以及重覆性的工作,所以Shay便在Lucene的基礎上不斷進行抽象來讓Java程式嵌入搜索變得更容易一些,經過一段時間的打磨,就誕生了他的第一個開源作品,他給自己的這個作品起了個名字,叫 “Compass”,中文即“指南針”的意思。之後,Shay找到了一份新工作,新工作是處在一個高性能分散式的開發環境中。他在工作中漸漸發現,越來越需要一個易用的高性能、實時、分散式搜索服務,於是他決定重寫Compass,將它從一個庫打造成了一個獨立的server,並將其改名為Elasticsearch。Elasticsearch發佈的第一個版本是在2010年的二月份,從那之後,Elasticsearch便成了Github上最受人矚目的項目之一,並且很快就有超過300名開發者加入進來貢獻了自己的代碼。後來Shay和另一位合伙人成立了公司專註打造Elasticsearch,他們對Elasticsearch進行了一些商業化的包裝和支持。但是,Elasticsearch承諾,永遠都將是開源並且免費的。不過悲劇的是,Shay承諾為妻子開發的菜譜搜索應用,到現在還沒做出來……(劃重點:ElasticSearch基於Lucene)
問題三、ElasticSearch有什麼功能?有什麼優勢?
答:截至2018年12月28日,從ElasticSearch官網(https://www.elastic.co/cn/products/elasticsearch)上,得知:Elasticsearch 是一個分散式、Restful風格的搜索和數據分析引擎,能夠解決不斷涌現出的各種用例。作為 Elastic Stack 的核心,它集中存儲您的數據,幫助您發現意料之中以及意料之外的情況。具備存儲、查詢和分析功能。具備速度、可擴展性、彈性、靈活性、操作友好、客戶端庫豐富等優勢,是開源的、分散式、基於 Restful API、支持 PB 甚至更高數量級的搜索引擎工具。
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1、ElasticSearch的安裝及結構
ElasticSearch支持Windows安裝,直接到官網的下載頁面(https://www.elastic.co/cn/downloads/elasticsearch)下載即可。
註意,如果使用ELK全家桶,官方建議ElasticSearch、Logstash、Kibana三個產品選擇同一版本號。截至2018年12月28日,ElasticSearch的最新版本是6.5.4。本篇筆記使用的是6.5.0。下載後放在D:\ELK目錄下。
bin:elasticsearch的啟動腳本等
config:配置文件目錄
data:當前節點的分片數據
lib:運行依賴的jar包
logs:日誌文件目錄
modules:模塊庫
plugins:插件目錄
2、ElasticSearch的運行
Windows版本的Elasticsearch運行還是很簡單的,直接在bin目錄下,找到elasticsearch.bat這個批處理文件,雙擊運行就可以了。當然也可以通過命令行視窗進入到該目錄下,輸入elasticsearch回車進行執行。
出現如下信息說明Elasticsearch已經啟動起來了,並且運行在本機的9200埠上。
在瀏覽器的地址欄中輸入:localhost:9200,如果能看到如下信息,說明啟動成功
{ "name" : "HanF71F", "cluster_name" : "elasticsearch", "cluster_uuid" : "kYp2rOofTwWN1-kj7Qjw_A", "version" : { "number" : "6.5.0", "build_flavor" : "default", "build_type" : "zip", "build_hash" : "816e6f6", "build_date" : "2018-11-09T18:58:36.352602Z", "build_snapshot" : false, "lucene_version" : "7.5.0", "minimum_wire_compatibility_version" : "5.6.0", "minimum_index_compatibility_version" : "5.0.0" }, "tagline" : "You Know, for Search" }
cluster_name: ElasticSearch配置的集群名稱,預設是elasticsearch,es服務會通過廣播方式自動連接在同一網段下的es服務,通過多播方式進行通信,同一網段下可以有多個集群,通過集群名稱這個屬性來區分不同的集群。
cluster_uuid:ElasticSearch配置的集群唯一編號
build_flavor:編譯特點
lucene_version:ElasticSearch基於lucene的,lucene的版本號
3、ElasticSearch的工具
① 結合Chrome瀏覽器的ElasticSearchHead插件使用
下載名為chromeFOR.COM_elasticsearch-head_v0.1.3.crx的Chrome插件,安裝後,在Chrome瀏覽器的右上角點擊Elastic Search Head這個圖標即可使用
② 結合Kibana工具使用
個人覺得Kibana是和ElasticSearch結合是很好的,畢竟都是一家的產品。Windows下的Kibana使用也很簡單,直接下載同ElasticSearch一樣版本的Kibana(https://www.elastic.co/downloads/kibana)
直接在bin目錄下,找到kibana.bat這個批處理文件,雙擊運行就可以了。當然也可以通過命令行視窗進入到該目錄下,輸入kibana回車進行執行。
出現如下信息說明Kibana已經啟動起來了,並且運行在本機的5601埠上。
在瀏覽器的地址欄中輸入:localhost:5601,如果能看到如下信息,說明Kibana啟動成功。
4、 ElasticSearch的基本術語
將ElasticSearch和關係型資料庫做一個類比
關係型資料庫 | ⇒ | 資料庫(Database) | ⇒ | 表(Table) | ⇒ | 行(Rows) | ⇒ | 列(Columns) |
ElasticSearch | ⇒ | 索引(Index) | ⇒ | 類型(Type) | ⇒ | 文檔(Docments) | ⇒ | 欄位(Fields) |
一個ElasticSearch集群可以包含多個索引(資料庫),一個索引中可以包含多個類型(表),一個類型中可以包含多個文檔(行),一個文檔中可以包含多個欄位(列)。
Elasticsearch可以理解為是面向文檔型資料庫。數據用JSON作為文檔序列化的格式。
① Near Realtime(NRT):近實時的意思,表示從寫入數據到數據可以被搜索有一個小延遲(大概1秒);基於es執行搜索和分析可以達到秒級。
② Cluster:集群,包含多個節點,每個節點屬於哪個集群是通過配置(集群名稱,預設是elasticsearch)來決定的,對於中小型應用來說,開始階段常常一個集群對應一個節點。
③ Node:節點,集群中的一個節點,節點也有一個名稱(預設是隨機分配的),在執行運維管理操作時節點名稱很重要,預設節點會加入一個名稱為“elasticsearch”的集群,如果直接啟動一堆節點,那麼它們會自動組成一個elasticsearch集群,當然一個節點也可以組成一個elasticsearch集群。
④ Document&field:文檔,es中的最小數據單元,一個document可以是一條客戶數據,一條商品分類數據,一條訂單數據,通常用JSON數據結構表示,每個index下的type中,都可以去存儲多個document。一個document裡面有多個field,每個field就是一個數據欄位。
⑤ Index:索引,包含一堆有相似結構的文檔數據,比如可以有一個客戶索引,商品分類索引,訂單索引,索引有一個名稱。一個index包含很多document,一個index就代表了一類類似的或者相同的document。比如說建立一個product index,商品索引,裡面可能就存放了所有的商品數據,所有的商品document。
⑥ Type:類型,每個索引里都可以有一個或多個type,type是index中的一個邏輯數據分類,一個type下的document,都有相同的field,比如博客系統,有一個索引,可以定義用戶數據type,博客數據type,評論數據type。
⑦ Shard:單台機器無法存儲大量數據,es可以將一個索引中的數據切分為多個shard,分佈在多台伺服器上存儲。有了shard就可以橫向擴展,存儲更多數據,讓搜索和分析等操作分佈到多台伺服器上去執行,提升吞吐量和性能。每個shard都是一個lucene index。
⑧ Replica:任何一個伺服器隨時可能故障或宕機,此時shard可能就會丟失,因此可以為每個shard創建多個replica副本。replica可以在shard故障時提供備用服務,保證數據不丟失,多個replica還可以提升搜索操作的吞吐量和性能。primary shard(建立索引時一次設置,不能修改,預設5個),replica shard(隨時修改數量,預設1個),預設每個索引10個shard,5個primary shard,5個replica shard,最小的高可用配置,是2台伺服器。
5、ElasticSearch的基本使用(CRUD)
首先對Restful風格的動作有一個瞭解:GET(查詢操作),POST(新增/修改操作),PUT(修改操作),DELETE(刪除操作)
下列命令均在Kibana的DevTools中執行,DevTools中輸入關鍵字有相應的提示,很不錯。
① 檢查集群的健康狀況
GET /_cat/health?v
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1546176515 13:28:35 elasticsearch green 1 1 1 1 0 0 0 0 - 100.0%
② 查看集群中所有的索引
GET /_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana_1 qqZcESKyTvCWJjF7ToyUWw 1 0 1 0 5.1kb 5.1kb
③ 創建索引(可以使用ElasticSearchHead插件的圖形化創建方式,也可以手寫命令)
PUT /study_elasticsearch?pretty
#! Deprecation: the default number of shards will change from [5] to [1] in 7.0.0; if you wish to continue using the default of [5] shards,
you must manage this on the create index request or with an index template
{
"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "study_elasticsearch"
}
創建後再次執行查看索引的命令,可以看到這時有兩個索引存在了。
GET /_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana_1 qqZcESKyTvCWJjF7ToyUWw 1 0 1 0 5.1kb 5.1kb
yellow open study_elasticsearch P1yCgFQiS1Si2Nc0IlZflA 5 1 0 0 1.1kb 1.1kb
④ 刪除索引
DELETE /study_elasticsearch?pretty
{
"acknowledged" : true
}
刪除後再次執行查看索引的命令,可以看到這時剩一個索引存在了。
GET /_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana_1 qqZcESKyTvCWJjF7ToyUWw 1 0 1 0 5.1kb 5.1kb
⑤ 新增文檔
PUT /study_elasticsearch/person/1
{
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
{
"error": {
"root_cause": [
{
"type": "cluster_block_exception",
"reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
}
],
"type": "cluster_block_exception",
"reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
},
"status": 403
}
從錯誤信息清晰的看到是索引只讀的提示,所以考慮放開索引的只讀設置。
PUT _settings
{
"index": {
"blocks": {
"read_only_allow_delete": "false"
}
}
}
{
"acknowledged" : true
}
再次嘗試新增文檔
PUT /study_elasticsearch/person/1
{
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
PUT /study_elasticsearch/person/2
{
"name" : "zhang xiong jia",
"age" : 20,
"job" : "employee"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "2",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
PUT /study_elasticsearch/person/3
{
"name" : "wu qing qing",
"age" : 22,
"job" : "manager"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "3",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
註意,此時的文檔版本version為1
⑥ 查詢文檔數量
GET /study_elasticsearch/person/_count
{
"count" : 3,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
}
}
⑦ 查詢文檔(不加任何查詢條件,本篇用的都是Search Lite API的寫法)
GET /study_elasticsearch/person/_search
{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 1.0,
"hits" : [
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "2",
"_score" : 1.0,
"_source" : {
"name" : "zhang xiong jia",
"age" : 20,
"job" : "employee"
}
},
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_score" : 1.0,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
},
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "3",
"_score" : 1.0,
"_source" : {
"name" : "wu qing qing",
"age" : 22,
"job" : "manager"
}
}
]
}
}
註意:對某個索引(Index)下某個類型(Type)沒加任何條件的查詢,結果預設會展示出前20條文檔(Documents)
⑧ 查詢文檔(帶查詢條件,本篇用的都是Search Lite API的寫法)
直接通過id獲取文檔:
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 1,
"found" : true,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
}
通過查詢欄位的值獲取文檔:(按age賦值22查詢,找到了吳局)
GET /study_elasticsearch/person/_search?q=age:22
{
"took" : 10,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 1,
"max_score" : 1.0,
"hits" : [
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "3",
"_score" : 1.0,
"_source" : {
"name" : "wu qing qing",
"age" : 22,
"job" : "manager"
}
}
]
}
}
通過查詢欄位的值獲取文檔:(按name賦值zhang查詢,找到了名字中有zhang的大小張行長)
GET /study_elasticsearch/person/_search?q=name:zhang
{
"took" : 3,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 2,
"max_score" : 0.2876821,
"hits" : [
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "2",
"_score" : 0.2876821,
"_source" : {
"name" : "zhang xiong jia",
"age" : 20,
"job" : "employee"
}
},
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_score" : 0.2876821,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
}
]
}
}
⑨ 更新文檔(替換)
PUT /study_elasticsearch/person/1
{
"name" : "hong zi jun",
"age" : 21,
"job" : "CEO"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 2,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 1,
"_primary_term" : 1
}
註意:此時id為1的這條文檔的版本version變成了2,文檔的內容也變成了洪行長
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 2,
"found" : true,
"_source" : {
"name" : "hong zi jun",
"age" : 21,
"job" : "CEO"
}
}
這種替換的方式做更新,需要替換的內容和原先的內容欄位一致,如果不一致就會用替換內容替換掉原先的內容
PUT /study_elasticsearch/person/1
{
"name" : "ye yu",
"gender" : "female"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 3,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 2,
"_primary_term" : 1
}
再次查詢,發現person的欄位和內容均發生了變化,變成葉阿姨了。顯然,這種替換方式的缺點在於全量替換了,不想替換的也被替換了。
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 3,
"found" : true,
"_source" : {
"name" : "ye yu",
"gender" : "female"
}
}
⑩ 更新文檔(更新)
先把id為1的數據替換回去
PUT /study_elasticsearch/person/1
{
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 4,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 3,
"_primary_term" : 1
}
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 4,
"found" : true,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
}
使用POST結合_update做更新
POST /study_elasticsearch/person/1/_update
{
"doc" : {
"job" : "CTO"
}
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 5,
"result" : "noop",
"_shards" : {
"total" : 0,
"successful" : 0,
"failed" : 0
}
}
再查詢一下,發現id為1的文檔的job欄位發生了改變,其他的欄位及內容沒有變化
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 5,
"found" : true,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "CTO"
}
}
⑪ 刪除文檔
DELETE /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 6,
"result" : "deleted",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 5,
"_primary_term" : 1
}
再查詢一下,找不到該條文檔了
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"found" : false
}
如果是想刪除所有的文檔,可以如下操作
POST /study_elasticsearch/person/_delete_by_query
{
"query": {
"match_all": {}
}
}
{
"took" : 42,
"timed_out" : false,
"total" : 2,
"deleted" : 2,
"batches" : 1,
"version_conflicts" : 0,
"noops" : 0,
"retries" : {
"bulk" : 0,
"search" : 0
},
"throttled_millis" : 0,
"requests_per_second" : -1.0,
"throttled_until_millis" : 0,
"failures" : [ ]
}
再查詢一下,發現沒有數據了
GET /study_elasticsearch/person/_search
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 0,
"max_score" : null,
"hits" : [ ]
}
}
至此,最簡單基本的操作就講完了,是不是特別無腦啊(*^_^*)