Zookeeper概論(對zookeeper的概論、原理、架構等的理解)

来源:http://www.cnblogs.com/IceandsnowLove/archive/2016/10/26/6001802.html
-Advertisement-
Play Games

Zookeeper概論(對zookeeper的概論、原理、架構等的理解) 一、概論 Zookeeper是一個分散式的、開放源碼的分散式應用程式協調服務,是Google的Chubby一個開源的實現,是hadoop和hbase 的重要組件。它是一個為分散式應用提供一致性服務的軟體。提供的功能包括:配置維 ...


Zookeeper概論(對zookeeper的概論、原理、架構等的理解)

一、概論

  Zookeeper是一個分散式的、開放源碼的分散式應用程式協調服務,是Google的Chubby一個開源的實現,是hadoop和hbase

的重要組件。它是一個為分散式應用提供一致性服務的軟體。提供的功能包括:配置維護、名字服務、分散式服務、組服務等。

  Zookeeper的目標就是封裝好複雜易出錯的關鍵服務,將簡單易用的介面和性能高效、功能穩定的系統提供給用戶。

  Zookeeper包含一個簡單的原語集,提供Java和C的介面。

  Zookeeper代碼版本中,提供了分散式獨享鎖、選舉、隊列的介面,代碼在Zookeeper-3.4.3\src\recipes。其中分佈鎖和隊列

有Java和C兩個版本,選舉只有Java版本。

二、原理

  Zookeeper是以Fast Paxos演算法為基礎的,paxos演算法存活在活鎖的問題,即當有多個proposer交錯提交時,有可能互相排

斥導致沒有一個proposer能提交成功,而Fast Paxos 做了一些優化,通過選舉產生一個leader,只有leader才能提交proposer,

具體演算法可見Fast Paxos。因此,要想弄懂Zookeeper首先要對Fast Paxos有所瞭解。

  Zookeeper的基本運轉流程:

  1、選舉Leader。

  2、同步數據。

  3、選舉Leader過程中演算法有很多,但要達到的選舉標準是一致的。

  4、Leader要具有最高的zxid。

  5、集群中大多數的機器得到響應並follow選出的Leader。

三、架構:

    

 

四、功能

  Zookeeper分散式服務框架是Apache Hadoop的一個子項目,它主要是用來解決分散式應用中經常遇到的一些數據管理問

題,如:統一命名服務、狀態同步服務、集群管理、分散式應用配置項的管理等。

五、數據結構

  Zookeeper這種數據結構有如下特點:

  1、每個子項目如NameService都被稱作為znode,這個znode是它所在的路徑唯一標識,如Server1這個znode的標識

為/NameService/Server1。

  2、znode可以有子節點目錄,並且每個znode可以存儲數據,註意EPHEMERAL類型的目錄節點不能有子節點目錄。

  3、znode是有版本的,每個znode中存儲的數據可以有多個版本,也就是一個訪問路徑中可以存儲多份數據。

  4、znode可以是臨時節點,一旦這個znode的客戶端和伺服器失去聯繫,這個znode也將自動刪除,Zookeeper的客戶端和

伺服器通信採用長連接方式,每個客戶端和伺服器通過心跳來保持連接,這個連接狀態稱為session,如果znode是臨時節點,這個

session失效,znode也就刪除了。

  5、znode的目錄名可以自動編號,如App1已經存在,再創建的話,將會自動命名為App2。

  6、znode可以被監控,包括這個目錄節點中存儲的數據的修改,子節點目錄的變化等,一旦變化可以通知設置監控的客戶端,

這個是Zookeeper的核心特性,Zookeeper的很多功能都是基於這個特性實現的。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Navicat for MySQL 10.1.7註冊碼 用戶名、組織、註冊碼均為:NAVN-LNXG-XHHX-5NOO。 ...
  • 一、前言 生命不息,折騰不止。近期公司有數據遷移的計劃,從Sqlserver遷移到mysql,雖說網上有很多數據遷移方案,但閑著也是閑著,就自己整一個,權當做是練練手了 二、解決思路 整個遷移過程類似於ETL,將數據從來源端經過抽取(extract)、轉換(transform)、載入(load)至目 ...
  • 1、查詢當前用戶的所有表(自己的表) 2、查詢Oracle中所有的系統許可權,一般是DBA 3、查詢Oracle所有的角色,一般是DBA; 4、查詢Oracle中所有對象許可權 5、查詢資料庫的表空間 6、查詢當前用戶具有什麼樣的系統許可權 7、查詢當前用戶在其他用戶的表上具有什麼樣的對象許可權 8、查看某 ...
  • 好久不用mysql,今天突然想用的時候, mysql -uroot -p 直接報了下麵的錯誤 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) mac可以在設置裡面 ...
  • TensorBoard簡介 Tensorflow發佈包中提供了TensorBoard,用於展示Tensorflow任務在計算過程中的Graph、定量指標圖以及附加數據。大致的效果如下所示, TensorBoard工作機制 TensorBoard 通過讀取 TensorFlow 的事件文件來運行。Te ...
  • 廣義完整性:語義完整性,併發控制,安全控制,故障恢復 狹義完整性:專指語義完整性 完整性涉及實體完整性,參照完整性,用戶自定義完整性 DBMS保證完整性 由資料庫管理員來定義完整性規則,當用戶進行資料庫操作時。先由完整性控製程序根據完整性規則來檢查請求是否合法,如果合法則交給DBMS執行更新操作。 ... ...
  • 資料庫版本:11GR2 一、介紹 在oracle中沒有其他資料庫系統中的資料庫的概念,對象都是創建在用戶下。當前用戶具有當前用戶下所有對象的所有許可權無論該對象是否是當前用戶所創建。舉個簡單例子創建一個用戶授予該用戶連接許可權,然後用管理員用戶在該用戶下創建一張表,該用戶可以刪除管理員在該用戶下創建的表 ...
  • 1. 確保Java已經正確安裝。 查看Java版本:java -version 2. 下載hadoop源程式並解壓到apache的官網下載某一版本的hadoop,不同版本可能會存在較大差異。本教程中使用版本為2.7.1 https://dist.apache.org/repos/dist/relea ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...