Kafka與.net core（二）zookeeper

来源:https://www.cnblogs.com/chenyishi/archive/2019/01/10/10249731.html
-Advertisement-
Play Games

1.zookeeper簡單介紹 1.1作用 zookeeper的作用是存儲kafka的伺服器信息，topic信息，和cunsumer信息。如下圖： 而zookeeper是個什麼東西呢？簡單來說就是一個具有通知機制的文件系統，引用網路上的一張圖 可以看出來zookeeper是一個樹形的文件結構，我們可 ...


1.zookeeper簡單介紹

1.1作用

zookeeper的作用是存儲kafka的伺服器信息，topic信息，和cunsumer信息。如下圖：

而zookeeper是個什麼東西呢？簡單來說就是一個具有通知機制的文件系統，引用網路上的一張圖

可以看出來zookeeper是一個樹形的文件結構，我們可以自定義node與node的值，並對node進行監視，當node的結構或者值變化時，我們可以收到通知。

1.2node類型

1）PERSISTENT-持久化目錄節點 客戶端與zookeeper斷開連接後，該節點依舊存在 2）PERSISTENT_SEQUENTIAL-持久化順序編號目錄節點 客戶端與zookeeper斷開連接後，該節點依舊存在，只是Zookeeper給該節點名稱進行順序編號 3）EPHEMERAL-臨時目錄節點 客戶端與zookeeper斷開連接後，該節點被刪除 4）EPHEMERAL_SEQUENTIAL-臨時順序編號目錄節點 客戶端與zookeeper斷開連接後，該節點被刪除，只是Zookeeper給該節點名稱進行順序編號

2.zookeeper命令操作

連接zookeeper

[root@iz2zei2y693gtrgwlibzlwz ~]# zkCli.sh -server ip:2181

查看zookeeper的所有節點

ls /

查看某個節點的子節點

ls /brokers

創建節點

 create /testaa dataaaa

獲取節點的值

get /testaa

設置節點值

 set /testaa aaabbb

刪除節點

 delete /testaa

這麼看來實際上zookeeper跟資料庫類似也是CURD操作，我們再來看看zookeeper的安全控制ACL

3.zookeeper的ACL

3.1ZK的節點有5種操作許可權：

CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、刪、改、查、管理許可權，這5種許可權簡寫為crwda(即：每個單詞的首字元縮寫)

3.2身份的認證有4種方式：

world：預設方式，相當於全世界都能訪問 auth：代表已經認證通過的用戶(cli中可以通過addauth digest user:pwd 來添加當前上下文中的授權用戶) digest：即用戶名:密碼這種方式認證，這也是業務系統中最常用的 ip：使用Ip地址認證

3.3ACL實例

預設創建的時world方式，任何人都能訪問，我們新建一個測試node節點 
[zk: 3:2181(CONNECTED) 11] create /cys cys

訪問一一下

[zk: 3:2181(CONNECTED) 13] get /cys

查看一下Acl

[zk: 3:2181(CONNECTED) 15] getAcl /cys

下麵我們設置一下他的用戶

 命令為：

1）增加一個認證用戶 addauth digest 用戶名:密碼明文 eg. addauth digest user1:password1 2）設置許可權 setAcl /path auth:用戶名:密碼明文:許可權 eg. setAcl /test auth:user1:password1:cdrwa 3）查看Acl設置 getAcl /path

 具體操作如下：

addauth digest cys:123456
setAcl /cys auth:cys:123456:crwda

我們ctrl+c退出zkCli，重新連接一下，然後查詢

get /cys

結果如下：

提示我們認證失敗，我們登陸一下

addauth digest cys:123456

結果如下：

我們在查看一下/cys節點的Acl

 

可以看出來用戶cys對應的密碼（加密後的）和許可權cdrwa

4..net core 操作

4.1新建server項目，引入ZookeeperNetEx這個nuget包

Server端代碼

using org.apache.zookeeper;
using org.apache.zookeeper.data;

using System;
using System.Collections.Generic;
using System.Text;
using System.Threading.Tasks;

namespace ConsoleApp3
{
    class Program
    {
        static void Main(string[] args)
        {
            while (true)
            {
                Console.WriteLine("輸入path");
                var path = Console.ReadLine();
                string address = "39.**.**.**:2181";
                ZooKeeper _zooKeeper = new ZooKeeper(address, 1000 * 1000, null);
                ZooKeeper.States states = _zooKeeper.getState();
                //是否存在
                Task<org.apache.zookeeper.data.Stat> stat = _zooKeeper.existsAsync(path);
                stat.Wait();
                if (stat.Result != null && stat.Status.ToString().ToLower() == "RanToCompletion".ToLower())
                {
                    //已存在
                    Console.WriteLine($"{path}已存在");
                }
                else
                {
                    Console.WriteLine("輸入data");
                    var data = Console.ReadLine();
                    //創建
                    Task<string> task = _zooKeeper.createAsync(path, System.Text.Encoding.UTF8.GetBytes(data), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
                    task.Wait();
                    if (!string.IsNullOrEmpty(task.Result) && task.Status.ToString().ToLower() == "RanToCompletion".ToLower())
                    {
                        Console.WriteLine($"{path}創建成功");
                    }
                }
                Console.WriteLine("輸入set data");
                var dataA = Console.ReadLine();
                //set值
                Task<org.apache.zookeeper.data.Stat> statA = _zooKeeper.setDataAsync(path, System.Text.Encoding.UTF8.GetBytes(dataA));
                statA.Wait();
                if (statA.Result != null && statA.Status.ToString().ToLower() == "RanToCompletion".ToLower())
                {
                    Console.WriteLine("set 成功");
                }

                Console.WriteLine("輸入子path");
                var childpath = Console.ReadLine();
     
                Console.WriteLine("輸入子data");
                var childdata = Console.ReadLine();
                Task<string> childtask = _zooKeeper.createAsync(childpath, System.Text.Encoding.UTF8.GetBytes(childdata), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
                childtask.Wait();
                if (!string.IsNullOrEmpty(childtask.Result) && childtask.Status.ToString().ToLower() == "RanToCompletion".ToLower())
                {
                    Console.WriteLine($"{childpath}創建成功");
                }

                Console.ReadLine();
                _zooKeeper.closeAsync().Wait();
            }
            ////刪除
            //Console.WriteLine("輸入delete path");
            //var pathB = Console.ReadLine();
            //Task taskA = _zooKeeper.deleteAsync(pathB);
            //taskA.Wait();
            //if (taskA.Status.ToString().ToLower() == "RanToCompletion".ToLower())
            //{
            //    Console.WriteLine("delete 成功");
            //}

            ////獲取數據
            //Task<DataResult> dataResult = _zooKeeper.getDataAsync(path, new NodeWatcher());
            //dataResult.Wait();
            //if (dataResult.Result != null && dataResult.Status.ToString().ToLower() == "RanToCompletion".ToLower())
            //{
            //    Console.WriteLine(Encoding.UTF8.GetString(dataResult.Result.Data));
            //}
        }
    }

}

4.2新建client項目，引入ZookeeperNetEx這個nuget包

客戶端代碼

using org.apache.zookeeper;
using org.apache.zookeeper.data;
using System;
using System.Collections.Generic;
using System.Threading;
using System.Threading.Tasks;

namespace Client
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("輸入path");
            var path = Console.ReadLine();
            string address = "39.**.**.**:2181";
            ZooKeeper _zooKeeper = new ZooKeeper(address, 10 * 1000, new DefaultWatcher());
　　　　　　　//用戶登陸
            _zooKeeper.addAuthInfo("digest", System.Text.Encoding.Default.GetBytes("cys:123456"));
            //獲取child
            var getresult = _zooKeeper.getChildrenAsync(path, true);
            getresult.Wait();

            //獲取數據
            Task<DataResult> dataResult = _zooKeeper.getDataAsync(path,true);
            dataResult.Wait();
            Thread.Sleep(100000);
        }
    }

    public class DefaultWatcher : Watcher
    {
        internal static readonly Task CompletedTask = Task.FromResult(1);

        /// <summary>
        /// 接收通知
        /// </summary>
        /// <param name="event"></param>
        /// <returns></returns>
        public override Task process(WatchedEvent @event)
        {
            Console.WriteLine(string.Format("接收到ZooKeeper服務端的通知，State是：{0}，EventType是：{1}，Path是：{2}", @event.getState(), @event.get_Type(), @event.getPath() ?? string.Empty));
            return CompletedTask;
        }
    }
}

這樣當server端操作的時候，client端會通過watcher收到通知


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • [WPF]何如在Win7使用Aero2主題
    1. 問題 假設我在Windows10的環境新建一個4.6的WPF項目，添加一個ComboBox，並用Blend在這個ComboBox上右鍵“編輯模板” “編輯副本”，Blend不僅幫我創建了模板，還會自動引用PresentationFramework.Aero2這個DLL，即使用Aero2這個主題 ...
  • Kafka與.net core（三）kafka操作
    1.Kafka相關知識 Broker：即Kafka的伺服器，用戶存儲消息，Kafa集群中的一臺或多台伺服器統稱為broker。 Message消息：是通信的基本單位，每個 producer 可以向一個 topic（主題）發佈一些消息。 Kafka中的Message是以topic為基本單位組織的，不同 ...
  • C#遞歸複習
    static void Main(string[] args) { Console.WriteLine("請輸入你要的數字:"); long flag = Convert.ToInt64(Console.ReadLine()); long result = MakeRusult(flag); Con ...
  • 解除SVN的控制
    win10操作就是把文件夾隱藏的對勾勾上 然後就可以看見一個.SVN的文件夾 把他直接刪除即可 然後刷新 自己親測的 win10 家庭版 ...
  • SVN檢出忽略文件夾文件
    具體實現:1.在解決方案目錄上點右鍵2.在烏龜SVN菜單中找到"屬性"點開 3.在彈出窗中點 新建--其他 4.在彈出窗中的"屬性"中選擇"svn:ignore"5.然後取值中填上bin和obj各一行 6.確認並提交目錄更新然後每次提交解決方案目錄的時候就會忽略掉bin和obj目錄 求知若飢，虛心若 ...
  • 面向對象七大原則
    1. 單一職責原則（Single Responsibility Principle） 每一個類應該專註於做一件事情。降低類的複雜度,一個類只負責一項職責.提高類的可讀性,提高系統的可維護性, 2. 里氏替換原則（Liskov Substitution Principle）超類存在的地方，子類是可以替 ...
  • c#(wpf)中WebBrowser拖動來移動視窗，改變視窗位置
    wpf中的WebBrowser相比之前的winform閹割了不少東西，也增加了不少東西，但是msdn對wpf也沒有較好的文檔 WebBrowser可以說是一個.NET控制項，相對於WPF中的控制項，不在同一線程，它們不可重疊，相當於兩個獨立的視窗`(window ...
  • 探索基於.NET下實現一句話木馬之ashx篇
    0x01 前言 在滲透測試的時候各種PHP版的一句話木馬已經琳琅滿目，而.NET平臺下的一句話木馬則百年不變，最常見的當屬下麵這句 筆者感覺有必要挖坑一下.NET平臺里的一句話木馬，經過一番摸索填坑終於可以總結出了.NET下的三駕馬車，於是乎有了這個系列的文章。今天是第一篇著重介紹一般處理程式 （A ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類