ClickHouse(04)如何搭建ClickHouse集群

来源:https://www.cnblogs.com/the-pig-of-zf/archive/2022/07/12/16471577.html
-Advertisement-
Play Games

ClickHouse集群的搭建和部署和單機的部署是類似的,主要在於配置的不一致,如果需要瞭解ClickHouse單機的安裝設部署,可以看看這篇文章,ClickHouse(03)ClickHouse怎麼安裝和部署。 ClickHouse集群部署流程大概如下: 環境準備 在每台機器上安裝單機版Click ...


ClickHouse集群的搭建和部署和單機的部署是類似的,主要在於配置的不一致,如果需要瞭解ClickHouse單機的安裝設部署,可以看看這篇文章,ClickHouse(03)ClickHouse怎麼安裝和部署

ClickHouse集群部署流程大概如下:

  1. 環境準備
  2. 在每台機器上安裝單機版ClickHouse
  3. config.xml配置
  4. Zookeeper配置
  5. 進入ClickHouse測試

環境準備

  1. 下載安裝包

按照ClickHouse(03)ClickHouse怎麼安裝和部署中的介紹下載即可

  1. 設置FQDN,也就是主機名稱,命令如下
# hostnamectl --static set-hostname ck1.com
  1. 配置hosts文件
# cat /etc/hosts
……
10.37.129.10 ck1
10.37.129.11 ck2

在每台機器上安裝單機版ClickHouse

按照ClickHouse(03)ClickHouse怎麼安裝和部署中的介紹安裝即可

config.xml配置

要配置集群,需要在 /etc/clickhouse-server/config.xml的 <remote_servers> 標簽下添加相關集群信息。或者在/etc/metrika.xml中進行配置,這二者選其中一個就可以。

每一臺機器的congfig.xml或者metrika.xml都要寫入這樣的配置。

如果在config.xml中配置

# 全局配置config.xml文件中引入metrika.xml
<include_from>/etc/clickhouse-server/metrika.xml</include_from>

#引用zookeeper配置的定義
<zookeeper incl="zookeeper-servers" optional="true" />

<remote_servers>
        <test_cluster1>
            <shard>
                <replica>
                    <host>ck1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>ck2</host>
                    <port>9000</port>
                </replica>
            </shard>
        </test_cluster1>
</remote_servers>

如果在metrika.xml中配置

<yandex>
    <clickhouse_remote_servers>
        <!--自定義集群名稱-->
        <test_cluster1>
            <!--定義集群的分片數量,2個shard標簽說明有2個節點-->
            <shard>
                <!--定義分片的副本數量,這裡副本只有1個-->
                <replica>
                    <host>ck1</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <host>ck2</host>
                    <port>9000</port>
                </replica>
            </shard>
        </test_cluster1>
    </clickhouse_remote_servers>

</yandex>

Zookeeper的配置

zookeeper在clickhouse中主要用在副本表數據的同步(ReplicatedMergeTree引擎)以及分散式表(Distributed)的操作上,zookeeper不參與任何實質性的數據傳輸。

在/etc/clickhouse-server目錄下創建一個metrika.xml的配置文件(如果已存在,則直接往裡面寫入即可),新增內容:

# 類似這樣子,host 和 port填上自己的
<zookeeper-servers>
    <node index="1">
        <host>10.10.1.20</host>
        <port>2181</port>
    </node>
    <node index="2">
        <host>10.10.1.21</host>
        <port>2181</port>
    </node>
    <node index="3">
        <host>10.10.1.22</host>
        <port>2181</port>
    </node>
</zookeeper-servers>

進入ClickHouse測試

配置完之後,無需重啟clickhouse服務,clickhouse會熱載入這些配置。我們可以分別登陸所有clickhouse,通過 select * from system.clusters; 查看當前節點所屬集群的相關信息:

進入ClickHouse客戶端

clickhouse-client --host="127.0.0.1" --port="9000" --user="****" --password="****"

當前節點所屬集群的相關信息

select * from system.clusters where cluster = 'test_cluster1';

查詢結果

SELECT *
FROM system.clusters
WHERE cluster = 'test_cluster1'

Query id: eb2064de-92f3-41b0-ac74-6b025d5082a1

┌─cluster──────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─────┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ test_cluster1 │         1 │            1 │           1 │ ck1 │ 10.37.129.10 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ test_cluster1 │         2 │            1 │           1 │ ck2 │ 10.37.129.11 │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
└──────────────┴───────────┴──────────────┴─────────────┴───────────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘

3 rows in set. Elapsed: 0.002 sec. 

到了這裡,就完成clickhouse 2shard1replica集群部署。

註意,clickhouse集群是非主從結構,各個節點是相互獨立的。因此,和hdfs、yarn的集群不同,我們可以根據配置,靈活的配置集群,甚至可以將一個節點同時分配給多個集群。

ClickHouse相關資料分享

ClickHouse經典中文文檔分享

文章參考:ClickHouse(04)如何搭建ClickHouse集群

本文來自博客園,作者:張飛的豬,轉載請註明原文鏈接:https://www.cnblogs.com/the-pig-of-zf/p/16471577.html

作者公眾號:張飛的豬大數據分享,不定期分享大數據學習的總結和相關資料,歡迎關註。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 一、通過apt-get安裝指定版本的軟體 $ sudo apt-get install package=version version是軟體版本號,package是要安裝的軟體 二、查詢指定軟體有多少個版本 1、通過網站搜索 https://pa ...
  • C++實現ETW進行進程變動監控 文章地址:https://www.cnblogs.com/Icys/p/EtwProcess.html 何為Etw ETW(Event Tracing for Windows)提供了一種對用戶層應用程式和內核層驅動創建的事件對象的跟蹤記錄機制。為開發者提供了一套快速 ...
  • 為大家帶來一款適用於MacOS的應用加密軟體Cisdem AppCrypt Mac,只需設置密碼並將應用程式和網站添加到鎖定列表中,沒有人能夠在沒有正確密碼的情況下訪問受保護的應用程式和網站,在假期孩子們需要使用電腦上網課的時候,也可以使用它防止孩子自製力不好瀏覽其他應用或網站的情況。 詳情:Cis ...
  • Screenflow mac是一款優秀的屏幕錄像軟體,使用它不僅可以完成Mac電腦桌面操作的視頻錄製,還可以根據自己的需求進行後期剪輯處理,可以進行視頻分割、添加背景音樂、文字,改變視頻播放速率等操作,功能強大,使用非常方便。 詳情:ScreenFlow for mac(屏幕錄像軟體) 新增特性 1 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 問題:搭建私庫認證不通過x509: certificate signed by unknown authority 首先確保配置harbor私庫地址 [root@master harbor]# grep hostname harbor.cfg # ...
  • 一 Linux操作系統和Shell 簡介 操作系統(Operating Systems, OS)實際上是一種用於電腦的軟、硬體資源管理調度的系統級軟體,它的主體是內核(Kernel),其主要負責進程管理、記憶體管理、文件管理和外設管理等功能,而它也向外界提供了內核的介面即系統調用(System Ca ...
  • 讀了 @SnailMann大佬【MySQL筆記】正確的理解MySQL的MVCC及實現原理 收益頗豐,非常感謝! 但對其中如何判斷事務是否可見性還是不太理解,於是作了本文,在原博客基礎上,舉例畫圖論證、理解了**Read View**的可見性判斷。 引用 @SnailMann大佬【MySQL筆記】正確 ...
  • redis 憑藉著強大的功能和可靠的穩定性,應用場景越來越廣。逐漸成為軟體開發工程師必備的技能之一。 本篇文章,暫不做基本功能的介紹。直接教大家如何部署redis集群。 集群演進主要分為2部分。 ##一、主從備份機制 一個redis 主服務可以擁有多個從服務;一個從伺服器,只可擁有一個主服務。從服務 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...