《分散式技術原理與演算法解析》學習筆記Day08

来源:https://www.cnblogs.com/wing011203/archive/2023/02/11/17112479.html
-Advertisement-
Play Games

這篇文章主要介紹分散式系統中的集中式結構,以及我們經常使用的三種基於集中式結構的解決方案:Google Borg、Kubernetes和Mesos。 ...


集中式結構

什麼是集中式結構?

集中式結構就是由一臺或多台伺服器組成的中央伺服器,系統內的所有數據都存儲在中央伺服器中,系統內所有的業務都先由中央伺服器處理。多個節點伺服器與中央伺服器連接,並將自己的信息彙報給中央伺服器,由中央伺服器統一進行資源和任務調度:中央伺服器根據這些信息,將任務下達給節點伺服器;節點伺服器並行任務,並將結果反饋給中央伺服器。

集中式結構最大的特點,就是部署結構簡單。

本文會描述下麵3種經典的集中式結構:

  • Google Borg
  • Kubernetes
  • Mesos

Google Borg

Borg是Google內部使用的集群管理系統,採用了典型的集中式結構。在Borg中一個集群被稱為一個Cell,每個Cell裡面有一個Leader,稱為BorgMaster,還有一系列的節點,稱為Borglet。

BorgMaster包含兩個進程:

  • 主進程:處理客戶端的RPC請求,同時管理系統中所有實體的狀態,並負責和Borglet通信。
  • scheduler:負責任務調度,通過任務對資源的需求以及當前Borglet所在伺服器的資源情況進行匹配,為任務尋找一個合適的節點伺服器執行。

Borglet是運行在每個節點機器上的agent,負責任務的拉起、停止、重啟等,並管理和收集本伺服器資源,將任務的狀態、伺服器狀態等信息上報給BorgMaster,而BorgMaster會周期性的輪詢每個Borglet,以獲取節點伺服器的狀態和資源信息等。

Borg可以運行各種各樣的任務,這些任務分為兩類:

  1. 長服務:長時間運行不停止的服務,並且要求能夠處理短暫的、延遲敏感的請求。
  2. 批處理任務:通常需要幾秒到幾天的時間來完成的批處理Job。

Borg的三個優點:

  1. 開發者只需要關註應用,不需要關註底層資源管理。
  2. 高可靠性和可用性,支持多種應用。
  3. 支持上千伺服器的管理和運行。

Kubernetes

Kubernetes也是典型的集中式結構,它主要由Master節點和Slave節點組成,以及客戶端命令行工具kubectl和其他附加項。

Master節點運行在中心伺服器上,它由API Server、Scheduler、Cluster State Store和Control Manager Server組成:
Worker節點是真正的工作節點,運行在從節點伺服器,包括kubelet和kube-proxy核心組件,負責運行業務應用的容器。

Kubernetes在容器管理方面的優勢:

  • 自動化容易得部署和複製
  • 將容器組織為組,彈性伸縮
  • 榮期間負載均衡
  • 基於版本控制與滾動更新。

Mesos

在Mesos中,一個集群包括Mesos Master和多個Mesos Agent。

Mesos Master負責收集和管理所有Agent所在伺服器的資源和狀態,並且對接Spark、Hadoop等框架,將集群中伺服器的資源告知給這些框架,以便這些框架進行任務資源匹配和調度。

Mesos Agent複雜任務的拉起、停止、重啟等,負責收集所在伺服器的資源信息和狀態,並上報給Mesos Master。

Mesos的優勢在於:

  • 效率
  • 可擴展性
  • 模塊化
    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PY32F002A, PY32F003, PY32F030 三個系列硬體相同, 下麵以 PY32F030的時鐘樹結構為例說明 內部時鐘有32KHz和24MHz(從代碼上看其實是8MHz),外部時鐘是直接接入, PLL只有2倍. 使用外置晶振時如果要達到標稱的48MHz, 晶振頻率就必須用24MHz,... ...
  • 為什麼會選擇Pop!_os 剛決定使用Linux系統的時候想的肯定是用Arch Linux(不得不說ArchWiki太NB了),但是遇到兩個麻煩沒有解決:1.連上wifi後發現沒有分配IPv4地址,google了一圈都沒找到解決方法。於是放棄了。2.第二次嘗試安裝Arch(主要是第一次安裝失敗後,心 ...
  • 使用JS的DOM(文檔對象模型)獲取前端迴圈的參數 使用Go語言渲染html,但是想讓網頁動起來,顯示一些彈窗還是比較麻煩的,於是乎,想到使用js獲取頁面的數據進行顯示,但是js無法載入go的一些變數。想了很久,突然在網頁調試的時候使用了js的DOM進行元素查找獲得了些許靈感最後實現了這個功能。 1 ...
  • 其他章節請看: react 高效高質量搭建後臺系統 系列 表格 有一種頁面在後臺系統中比較常見:頁面分上下兩部分,上部分是 input、select、時間等查詢項,下部分是查詢項對應的表格數據。包含增刪改查,例如點擊新建進行新增操作。就像這樣: 本篇將對 ant 的表格進行封裝。效果如下: spug ...
  • 問題:對於超大的 string V8不能支持 問題背景 在 Nodejs 計算服務中,對端上上報的記憶體信息二進位數據進行預處理+緩存時,遇到了一個奇怪的報錯:RangeError: Invalid string length 。根據該報錯信息,查找得知是字元串長度超過了 node.js 的限制,即 ...
  • 1基礎知識 機器語言是機器指令的集合,由0和1組成,但是很長很複雜,彙編語言因此產生。 彙編語言的主體是彙編指令。彙編指令是機器指令的便於記憶的書寫格式。 程式員寫完彙編指令通過編譯器轉換為機器碼,機器碼再傳到電腦執行。 彙編語言有以下三類: 1彙編指令:助記符,有對應機器碼 2.偽指令:沒有對應 ...
  • Java線程里:“中斷”就是指“終止”,與操作系統里的"中斷"、“異常”是完全不同的概念; 由於stop()方法過於暴力,可能導致資源回收無法風險、開銷過大等問題,此方法已過期,故Java中沒有強制中斷線程的手段;但可以調用interupt()、interupted()方法來向進程提出中斷請求,待進 ...
  • 聲明:文章來源於網路,如有侵權,請聯繫刪除 網頁即將載入 --網頁即將載入 if(網頁鏈接:find"url/.")then 停止載入() 進入子頁面("游覽",{鏈接=網頁鏈接}) end 載入本地網頁 載入本地網頁("file:///android_asset/drawable/index.ht ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...