《ElasticSearch6.x實戰教程》之準備工作、基本術語

来源:https://www.cnblogs.com/yulinfeng/archive/2019/07/17/11204169.html
-Advertisement-
Play Games

第一章 準備工作 工欲善其事必先利其器 ElasticSearch安裝 ElasticSearch6.3.2下載地址(Linux、mac OS、Windows通用,下載zip包即可): "https://www.elastic.co/cn/downloads/past releases/elasti ...


第一章-準備工作

工欲善其事必先利其器

ElasticSearch安裝

ElasticSearch6.3.2下載地址(Linux、mac OS、Windows通用,下載zip包即可):https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-3-2。ES歷史版本下載頁面:https://www.elastic.co/cn/downloads/past-releases#elasticsearch

在正式安裝前,你需要確保你的系統已配置JDK8環境。

mac OS

在上述下載地址下載完elasticsearch-6.3.2.tar.gz後,首先在當前登錄用戶的home下創建一個Settings目錄,通過tar -zxvf elasticsearch-6.3.2.tar.gz解壓到當前目錄。

進入elasticsearch-6.3.2.tar.gz目錄,執行./bin/elasticsearch命令,等待一小段時間,通過瀏覽器訪問http://localhost:9200/?pretty出現以下響應:

{              
    "name": "x4x7wWJ",              
    "cluster_name": "elasticsearch",              
    "cluster_uuid": "sJ6LTYJ1TDmtR1kzl0M2Ig",              
    "version": {              
        "number": "6.3.2",              
        "build_hash": "8bbedf5",              
        "build_date": "2017-10-31T18:55:38.105Z",              
        "build_snapshot": false,              
        "lucene_version": "6.6.1"              
    },              
    "tagline": "You Know, for Search"              
}

Linux

Linux的安裝過程和Linux相同。

ES需要使用普通用戶安裝、啟動,如果你是root用戶,需要先創建一個用戶,用普通用戶而不是root用戶啟動ES。

第二章-基本術語

白馬非馬

ES是一個搜索引擎,同時它也是一個分散式文檔存儲資料庫(當然是非關係型的)。為了保證後續的實戰教程順利進行,這裡通過對比傳統的關係型資料庫MySQL介紹在ES中的一些術語。

在MySQL中共有資料庫(Database)、表(Table)、記錄(Row)、列(Column)的概念,同樣在ES中也有類似的概念,索引(Index),類型(Type),文檔(Document),欄位(Field)。

可以這麼理解:

資料庫 記錄
MySQL DB Table Row Column
ES Index Document Document Field

索引Index

ES中的索引概念可不是關係型資料庫中的“索引”,ES中的索引指的是存儲數據的地方,類似關係型資料庫中的資料庫概念。

類型Type

有的文章指出ES中的類型Type對應的就是關係型資料庫中的表,在使用ES中我們會遇到另外一個概念映射(Mapping),也有不少的文章指出Mapping對應的就是關係型資料庫中的表。關係型資料庫中表與表是物理獨立的,即使在兩個表中存在相同名稱不同類型的列,這在我們的關係型資料庫也是極為合理的,但這在ES中就不合理,ES中即使是在同一個索引Index下,如果欄位Field存在於不同的類型Type中,即使他們代表不同的含義,但是只要它們的名稱相同也必須要求類型相同,在ES中類型Type對應於關係型資料庫中表的概念已經名存實亡。實際上在ES中Type作為表的概念在後期版本中越來越被弱化,在未被ES正式移除前,ES後期版本已經不允許一個索引Index創建多個Type,相信在後面的版本會徹底移除類型Type。

(註:ES6已經不允許一個Index創建多個Type,https://github.com/elastic/elasticsearch/pull/24317

如果在現階段一定要理解ES中的Type,那麼一定要和Mapping結合起來。可以理解為類型Type就是定義一個表,僅僅是定義而已,而映射Mapping定義了表結構(有哪些列,列的類型是什麼)。

文檔Document

在非關係型資料庫中,有部分被稱之為“文檔資料庫”,對應於關係型資料庫中的一行記錄。

欄位Field

對應關係型資料庫中的列。

節點

一個ES實例稱之為一個節點,單機部署的ES有且只有一個節點,集群部署的ES有多個節點且有一個主節點。

分片

ES可作為分散式集群部署,同樣也可以作為單機單節點部署。ES中的數據被分散存儲在分片中,ES屏蔽了底層的分片實現,我們直接與索引交互而不與分片交互。分片數量的多少與是否是集群部署和單機部署無關,即使是單機部署在創建索引時仍然也可以指定劃分多個分片(預設5個主分片1份備份(包含5個備分片))。分片有主分片和備分片之分,顧名思義,備分片是主分片的備份,當主分片出現故障時,備份片充當主分片。

對於單機部署

單機部署的ES,即表示ES有且只有一個節點,在創建索引時,如果不指定主分片與備分片的數量,預設創建5個主分片和1份備份(5個備分片),實際上對於單機部署的ES服務來講,多個主分片並沒有意義,多個分片存在的意義本身就是將數據分散存儲到多個ES節點中進行同時查詢,此時只有一個節點多個分片也沒有意義。備分片在單機部署中同樣也沒有意義,備份存在的意義本身就是當主分片故障時,仍然能對外提供服務,此時主備都在一個節點上,如果主分片故障,備分片也同樣會導致故障。

對於集群部署

對於集群部署的ES來講,此時存在多個節點,主分片的分配與備分片機制就顯得尤為重要(這涉及查詢性能以及服務高可用),例如現在有3個節點,此時如果在創建索引時只分配1個主分片就顯得有點浪費(註:主分片一旦在創建索引時確定便不能修改)。主分片的劃分並沒有一定放之四海而皆準的規則,更多的是取決於用戶的數據量以及ES節點數量等。通常所理解的是,分片數量越多越好,因為這能將數據分散到不同分片,以便以後在擴容新增節點時,ES能將自動將分片重新進行均勻分佈。但這條理論也不絕對,如果你的節點只有3個,設置了100個分片,每個節點就有33個節點,當搜索請求調度到同一節點的不同分片時,此時會引發硬體資源(CPU)的搶奪,造成性能問題。反過來,如果3個節點只分配了3個分片,隨著業務的發展,數據量越來越大,單個分片已不能承受它最大的數據量,此時就算新增節點,但是分片數量只有3個,分片的數量在創建索引時便確定且不可修改,此時只能通過重新創建索引。

既要對合理的數據增長有一個判斷(規劃較大的分片),又要對期望有一個度的把握(合理的分片數量)。官方給出了一點建議,每個分片的數據量最好是在20G~40G左右,這就意味著如果你有4個節點,數據量預估在200G左右甚至更大,此時分片數量設置為5~10個比較合適,7、8個差不多,每個節點有2個分片。(官方博客的建議,https://www.elastic.co/cn/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster

上面談到的是主分片,副分片的劃分也同等重要。如果不對分片備份,主分片故障則導致數據丟失,部分數據不可查詢。副本分片設置過多造成額外的存儲空間,預設情況下,創建索引時會創建一個分片副本(一個分片副本不代表一個備分片,如果有5個主分片,那麼分片副本就有5個備分片,同理如果指定創建兩個分片副本,此時一共就有10個備分片。)需要註意的是備分片是可以修改的,所以備分片可以直接採用預設一個分片副本。

關註公眾號:CoderBuff,回覆“es”獲取《ElasticSearch6.x實戰教程》完整版PDF。

這是一個能給程式員加buff的公眾號 (CoderBuff)
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、背景 友情鏈接:https://www.cnblogs.com/Agui520/p/11187972.html https://blog.csdn.net/fd2025/article/details/79863390 以支付、電商下單為例子。一個電商系統包含了好幾大類模塊,就比如有用戶模塊、商 ...
  • 我的那些年(13)~主推微服務架構 整個系統走向微服務架構 網關 服務註冊與發現 配置中心 熔斷器 鏈路跟蹤 授權與鑒權 服務間的通訊 同步feign 服務間的通訊 非同步消息 日誌收集 個系統走向微服務架構 公司系統比較多,耦合度比較大,將這些模塊進行拆分,各個負責自己的模塊,減少相互之間的直接依賴 ...
  • 架構雜談《四》 分散式一致性協議 一、引言 在分散式系統中,為了保證數據的高可用,通常會將數據保留多個副本(replica),這些個副本會放在不同的物理機上,為了對用戶提供正確的數據,我們需要保證這些放在不同物理機上的副本是一致的。為瞭解決這種分散式一致性問題,提出了很多經典的協議和演算法,比較著名的 ...
  • 1.怎麼 判斷元素是否存在? 判斷元素是否存在和是否出現不同, 判斷是否存在意味著如果這個元素壓根就不存在, 就會拋出NoSuchElementException 這樣就可以使用try catch,如果catch到NoSuchElementException 就返回false 2.如何判斷元素是否出 ...
  • 此套視頻信息量非常大,我畫了個思維導圖,除了上面的知識點,還有大量的練習和實踐項目。 下載地址 此套視頻信息量非常大,我畫了個思維導圖,除了上面的知識點,還有大量的練習和實踐項目。 下載地址 ...
  • 真正從事開發的第二個月,回顧之前所學的一些知識,從最開始的登錄註冊開始做,沒想到竟然會如此的慘烈。各種問題頻出,也算是增長了一點知識 首先從最開始的創建項目開始:遇到問題一:右鍵點擊新建沒有創建Java類的按鈕,真是第一次遇到,後通過查詢才知道 IDEA開發需要先將文件夾轉換為Sources文件夾才 ...
  •   Kafka 服務端通過 的主函數 方法啟動。 類提供讀取配置文件、啟動/停止服務的方法。而啟動/停止服務最終調用的是 的`startup/shutdown`方法。 啟動流程 1. 啟動 zk 客戶端。 2. 啟動動態配置。 3. 啟動調度線程池。 4. 啟動日誌管理器的後臺線 ...
  • Spring概述 spring是什麼:Spring是分層的JavaSE/EE應用full stack輕量級開源框架以IOC(Inverse Of Control:反轉控制)和AOP(Aspect Oriented Programming:面向切麵編程)為內核,提供了展現SpringMVC和持久層Sp ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...