clickhouse節點重做(節點替換)

来源:https://www.cnblogs.com/zyp87/archive/2023/11/08/17813416.html
-Advertisement-
Play Games

在構建數據倉庫或做數據分析時,需要對原始數據的結構進行一定的處理,有時涉及到“行轉列”,有時涉及到“列轉行”,那麼這兩個轉換的方式具體是什麼,有什麼差異,怎麼實現。 ...


測試驗證環境:

docker容器化部署的4節點2分片和2副本(centos7+clickhouse22.1.3)

172.17.0.6 clickhouse01
172.17.0.7 clickhouse02
172.17.0.8 clickhouse03

172.17.0.9 clickhouse04(故障節點)
172.17.0.10 clickhouse04 (替換節點)

節點重做

一般情況,節點操作系統重裝或者硬碟故障節點重做處理情況

一般都是兩副本以上的集群,所以可以直接同步另一個副本節點的配置,拷貝過來,節點正常安裝服務進程

需要的拷貝的東西有一下幾點:

1、配置文件(config.xml、users.xml),需要調整config.xml的配置文件,修改macros中的replica改成當前節點

2、鑒權目錄access

3、數據的映射目錄data(裡面的軟連接目錄可以忽略不用管)

4、元數據目錄metadata

5、實際的建表目錄,這個需要查到metadata下麵的資料庫對應的軟連接目錄給打包到新節點

 將上面的三個目錄打成壓縮包,拷貝到重做節點,註意要是打包,不然軟連接會不存在,變成一個目錄了,這個沒有給連接到數據目錄等等的問題

比較複雜的是第五步的操作,一般情況下這個是作為一個數倉的存儲,創建的資料庫也不會很多,我們這邊的生產環境一般是7個資料庫,所以也就是拷貝store目錄下的7個目錄既即可,將他拷貝到重做節點的store目錄下就可以了,啟動之後,節點會檢測當前幾點與副本之前的區別,是空的節點會直接同步副本中的數據,但是這一步會很耗資源,需要挑一個合適的時間點來做

做好這些,啟動重做節點的clickhouse服務,查看啟動服務是否有報錯,沒有報錯的話就可以登錄節點查一下數據情況了,並且可以查看用戶和授權情況有沒有正常,然後測試數據寫入和讀取情況

節點故障替換

幾點替換操作可跟上面的操作一樣,但是集群需要使用的功能變數名稱映射的方式部署的,也就是不能通過ip來做的,如果是節點ip做的話,zookeeper元數據上的replicas下沒法對應 上,可能會有其他的問題,應該也可以通過命令來修複zookeeper的元數據

system restore replica default.st_order_mt_local on cluster two_shard_two_replica

這個是我的這個表元數據不在zookeeper上的,執行完成後查看zookeeper上就能查到這個元數據了

 

個人的見解說明,如有不足請指正

一般clickhouse節點的目錄都如下

 access這個是跟許可權相關,資料庫的和用戶的授權關係,用戶的創建語句都在這個下麵,如果只是數據盤故障重做的,這個可以去相同分片節點去拷貝過來,這樣節點重啟的時候,就可以得到原來集群的授權關係和用戶信息

 data這個目錄是實際數據存儲目錄,各個表的軟連接,全部都是連接到store目錄下,實際的數據存儲目錄是store下,可以用備用節點去查看備用節點的軟連接關係,這裡可以只創建軟連接地址,實際的數據不需要管,啟動之後會從副本中去同步數據

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 實踐環境 Python 3.6.2 confluent-kafka 2.2.0 confluent-kafka簡介 Confluent在GitHub上開發和維護的confluent-kafka-python,Apache Kafka®的一個python客戶端,提供了一個與所有brokers>=v0. ...
  • 一:背景 1. 講故事 這段時間分析了幾個和網路故障有關的.NET程式之後,真的越來越體會到電腦基礎課的重要,比如 電腦網路 課,如果沒有對 tcpip協議 的深刻理解,解決這些問題真的很難,因為你只能在高層做黑盒測試,你無法看到 tcp 層面的握手和psh通訊。 這篇我們通過兩個小例子來理解一 ...
  • Span 提供任意記憶體的連續區域的類型安全和記憶體安全表示形式。它是在堆棧而不是托管堆上分配的ref結構,是對任意記憶體塊的抽象 。 1.關於Span 在NET Core 2.1中首次引入 提供對任意記憶體上的連續區域的讀寫視圖 利用索引/迭代來修改範圍內的記憶體 幾乎無開銷 2.和記憶體的關係 Span 表 ...
  • Nexus 是支持 Nuget、Docker、Npm 等多種包的倉庫管理器,可用做私有包的存儲分發,緩存官方包。本篇將手把手教學使用 Nexus 搭建自己的 NuGe t& Docker 私有倉庫。 ...
  • 有的時候我們會對程式進行單元測試, 為了測試的效果以及後期的維護, 我一般會將各個測試拆開, 根據需要測試的類分到各個類型中, 不過在實際操作的時候就出現了一些意想不到的問題, 各個測試的執行是亂序的, 按照我自己寫測試的習慣, 假如我需要測試新寫的增刪改查的功能, 我會將增刪改查分開測試, 會按照 ...
  • 接上篇 docker-bind 的使用搭建了一個 dns 服務,本篇將介紹另外一款 DnsServer 的部署和使用,更專註,更輕量。 ...
  • MongoDB+SignalR+Hangfire+Vue2+百度地圖實現GPS實時定位 一、實現效果 二、安裝MongoDB 可以自行參考菜鳥鏈接:MongoDB 教程 | 菜鳥教程 (runoob.com) 1.下載mongodb資料庫安裝包: 網盤鏈接:https://pan.baidu.com ...
  • 目錄String簡單介紹常見命令應用場景Hash簡單介紹常見命令應用場景List簡單介紹常見命令應用場景Set簡單介紹常見命令應用場景Sorted Set(Zset)簡單介紹常見命令應用場景Bitmap簡單介紹常見命令應用場景附錄 Redis支持多種數據類型,比如String、hash、list、S ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...