Druid 0.17 入門(2)—— 安裝與部署

来源:https://www.cnblogs.com/tree1123/archive/2020/02/17/12320287.html

在Druid快速入門其實已經簡單的介紹過最簡化配置的單節點部署,本文我們將詳細描述Druid的多種部署方式,對於測試開發環境可以選用輕量的單機部署方式,而生產環境我們最好選用集群部署的方式,確保系統的高可用性。 一、單機部署 Druid提供了一組可以參考的配置和單機部署的啟動腳本。 尺寸適合筆記本電 ...


file

在Druid快速入門其實已經簡單的介紹過最簡化配置的單節點部署,本文我們將詳細描述Druid的多種部署方式,對於測試開發環境可以選用輕量的單機部署方式,而生產環境我們最好選用集群部署的方式,確保系統的高可用性。

一、單機部署

Druid提供了一組可以參考的配置和單機部署的啟動腳本。

  • nano-quickstart

  • micro-quickstart

  • small

  • medium

  • large

  • xlarge

micro-quickstart尺寸適合筆記本電腦等小型機器,目的是用於快速評估使用情況。

nano-quickstart適合更小的配置,面向具有1個CPU和4GB記憶體的電腦。它旨在在資源受限的環境(例如小型Docker容器)中進行有限的評估。

單伺服器參考配置

Nano-Quickstart:1個CPU,4GB RAM

  • 啟動命令: bin/start-nano-quickstart
  • 配置目錄: conf/druid/single-server/nano-quickstart

微型快速入門:4個CPU,16GB RAM

  • 啟動命令: bin/start-micro-quickstart
  • 配置目錄: conf/druid/single-server/micro-quickstart

小型:8 CPU,64GB RAM(〜i3.2xlarge)

  • 啟動命令: bin/start-small
  • 配置目錄: conf/druid/single-server/small

中:16 CPU,128GB RAM(〜i3.4xlarge)

  • 啟動命令: bin/start-medium
  • 配置目錄: conf/druid/single-server/medium

大型:32 CPU,256GB RAM(〜i3.8xlarge)

  • 啟動命令: bin/start-large
  • 配置目錄: conf/druid/single-server/large

大型X:64 CPU,512GB RAM(〜i3.16xlarge)

  • 啟動命令: bin/start-xlarge
  • 配置目錄: conf/druid/single-server/xlarge

雖然為大型機器也準備了配置,但是官方還是建議大型的系統採用集群模式部署,

以實現容錯和減少資源爭用。

二、集群部署

部署建議

集群部署採用的分配如下:

  • 主節點部署 Coordinator 和 Overlord進程
  • 兩個數據節點運行 Historical 和 MiddleManager進程
  • 一個查詢節點 部署Broker 和 Router進程

未來我們可以添加更多的主節點和查詢節點

主節點建議 8vCPU 32GB記憶體

配置文件位於

conf/druid/cluster/master

數據節點建議

16 vCPU 122GB記憶體 2 * 1.9TB SSD

配置文件位於

conf/druid/cluster/data

查詢伺服器 建議 8vCPU 32GB記憶體

配置文件位於

conf/druid/cluster/query

開始部署

下載最新0.17.0發行版

解壓

tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0

集群模式的主要配置文件都位於:

conf/druid/cluster

配置元數據存儲

conf/druid/cluster/_common/common.runtime.properties

替換

druid.metadata.storage.connector.connectURI
druid.metadata.storage.connector.host

例如配置mysql為元數據存儲

在mysql中配置好訪問許可權:

-- create a druid database, make sure to use utf8mb4 as encoding
CREATE DATABASE druid DEFAULT CHARACTER SET utf8mb4;

-- create a druid user
CREATE USER 'druid'@'localhost' IDENTIFIED BY 'druid';

-- grant the user all the permissions on the database we just created
GRANT ALL PRIVILEGES ON druid.* TO 'druid'@'localhost';

在druid中配置

druid.extensions.loadList=["mysql-metadata-storage"]
druid.metadata.storage.type=mysql
druid.metadata.storage.connector.connectURI=jdbc:mysql://<host>/druid
druid.metadata.storage.connector.user=druid
druid.metadata.storage.connector.password=diurd

配置深度存儲

將數據存儲配置為S3或者HDFS

比如配置HDFS,修改

conf/druid/cluster/_common/common.runtime.properties
druid.extensions.loadList=["druid-hdfs-storage"]

#druid.storage.type=local
#druid.storage.storageDirectory=var/druid/segments

druid.storage.type=hdfs
druid.storage.storageDirectory=/druid/segments

#druid.indexer.logs.type=file
#druid.indexer.logs.directory=var/druid/indexing-logs

druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=/druid/indexing-logs

將Hadoop配置XML(core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml)放在Druid中

conf/druid/cluster/_common/

配置zookeeper連接

還是修改

conf/druid/cluster/_common/

下的

druid.zk.service.host

為zk伺服器地址就可以了

啟動集群

啟動前註意打開埠限制

主節點:

derby 1527

zk 2181

Coordinator 8081

Overlord 8090

數據節點:

Historical 8083

Middle Manager 8091, 8100–8199

查詢節點:

Broker 8082

Router 8088

記得將剛纔配好的druid複製到各個節點

啟動主節點

由於我們使用外部zk 所以使用no-zk啟動

bin/start-cluster-master-no-zk-server

啟動數據伺服器

bin/start-cluster-data-server

啟動查詢伺服器

bin/start-cluster-query-server

這樣的話 集群就啟動成功了!

file

特別註意:多個機器的host不同 註意在common.runtime.properties中改成對應hostname

如果安裝過程中有失敗 可以考慮清空zk中的/druid 目錄 重新安裝

靜下心來,努力的提升自己,永遠都沒有錯。更多實時計算相關博文,歡迎關註實時流式計算

file


您的分享是我們最大的動力!

更多相關文章
  • 外部SRAM註意事項為使外部SRAM器件達到出最佳性能,建議遵循以下原則:使用與連接的主系統控制器的介面數據帶寬相同的SRAM。如果管腳使用或板上空間的限制高於系統性能要求,可以使用較連接的控制器的數據帶寬小一些的SRAM設備,以便減少管腳數量並減少PCB板上可能的存儲器數量。然而這種變化將導致降低 ...
  • [toc] I am a 程式猿兒,新年第一篇,今天推薦一下那些大神平常使用的電腦軟體和工具類網站,讓你秒變大神。 下麵的整理前面部分是基礎的軟體,做不做技術都需要安裝的一些,後面部分是對程式猿推薦的一些開發軟體和插件。 操作系統 1、微軟正版win10系統安裝:bai度搜索 下載Windows10 ...
  • 通過前面文章的學習已經掌握了Linux系統配置管理的知識,本文講解Centos7網路配置知識。 ...
  • 作為一名後端開發,MySQL的使用必不可少,合理的使用索引和索引調優是後端開發者必須掌握的技能之一。 ...
  • 1 環境 樹莓派: mysql: 2 指令 以下是從命令行中連接mysql伺服器的簡單實例: [[email protected]]# mysql -u root -p Enter password:****** 或者: [email protected]:~ $ sudo mysql 查看資料庫: mysql> SHO ...
  • HDFS(Hadoop Distributed File System) 分散式文件系統,HDFS是一個高度容錯性的系統,適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問,非常適合大規模數據集上的應用.由NameNode,若幹DataNode,以及Secondary NameNode組成。 ...
  • Hadoop是一個由Apache基金會所開發的分散式基礎架構,Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算,特點是:高可靠性,高擴展性,高效性,高容錯性。 Hadoop與Google三篇論文 Googl ...
  • 不久前自學完完sql,下了mysql8.0.17,安裝配置好後探索著,想著用root賬戶登上去能不能刪除root賬戶呢,然後就想給自己一巴掌,,, 如何快速恢復root: 1.關閉mysql服務:win+R鍵鍵入services.msc,找到mysql服務,點擊stop; 2.刪除data文件夾及其 ...
一周排行
  • 前幾天發佈了 "抄抄《CSS 故障藝術》的動畫" 這篇文章,在這篇文章里介紹瞭如何使用Win2D繪製文字然後配合BlendEffect製作故障藝術的動畫。本來打算就這樣收手不玩這個動畫了,但後來又發現性能不符合理想。明明只是做做Resize動畫和用BlendEffect混合,為什麼性能會這麼差呢? ...
  • 控制條控制項: progressBar 不能按照你程式的進程自動變化,需認為計算,調整變化量 private void progressBar1_Click(object sender, EventArgs e) { this.progressBar1.Maximum = 100;//設置進度條最大長 ...
  • 首先創建一個asp.net core web應用程式 第二步 目前官方預置了7種模板項目供我們選擇。從中我們可以看出,既有我們熟悉的MVC、WebAPI,又新添加了Razor Page,以及結合比較流行的Angular、React前端框架的模板項目。 空項目模板 Program.cs using S ...
  • 對閉包的理解 1.對於成員變數和局部變數:成員變數就是方法外部,類的內部定義的變數;局部變數就是方法或語句塊內部定義的變數。局部變數必須初始化。 形式參數是局部變數,局部變數的數據存在於棧記憶體中。棧記憶體中的局部變數隨著方法的消失而消失。成員變數存儲在堆中的對象裡面,由垃圾回收器負責回收。 成員變數它 ...
  • Xamarin.Forms讀取並展示Android和iOS通訊錄 TerminalMACS客戶端 本文同步更新地址: https://dotnet9.com/11520.html https://terminalmacs.com/861.html 閱讀導航: 一、功能說明 二、代碼實現 三、源碼獲取 ...
  • 做下對文件複製操作相關的筆記: /// <summary> /// 文件幫助類 /// </summary> public class FileHelper { /// <summary> /// 複製一個目錄下所有文件到一個新目錄下 /// </summary> /// <param name=" ...
  • 前言 有一個東西叫做鴨子類型,所謂鴨子類型就是,只要一個東西表現得像鴨子那麼就能推出這玩意就是鴨子。 C 裡面其實也暗藏了很多類似鴨子類型的東西,但是很多開發者並不知道,因此也就沒法好好利用這些東西,那麼今天我細數一下這些藏在編譯器中的細節。 不是只有 和 才能 在 C 中編寫非同步代碼的時候,我們經 ...
  • [toc] 1.應用背景 底端設備有大量網路報文(位元組數組):心跳報文,數據採集報文,告警報文上報。需要有對應的報文結構去解析這些位元組流數據。 2.結構體解析 由此,我第一點就想到了用結構體去解析。原因有以下兩點: 2.1.結構體存在棧中 類屬於引用類型,存在堆中;結構體屬於值類型,存在棧中,在一個 ...
  • 《深入淺出 C#》 (第3版) [作者] (美) Andrew Stellman (美) Jennifer Greene[譯者] (中) 徐陽 丁小峰 等譯[出版] 中國電力出版社[版次] 2016年08月 第1版[印次] 2018年04月 第4次 印刷[定價] 148.00元 【引子】 要學習編程 ...
  • 記錄使用對象初始值設定項初始化對象。 using System; using System.Collections.Generic; namespace ConsoleApp2 { class Program { static void Main(string[] args) { // 使用構造函數 ...
x