《分散式技術原理與演算法解析》學習筆記Day12

来源:https://www.cnblogs.com/wing011203/archive/2023/02/15/17124920.html
-Advertisement-
Play Games

這篇文章主要講述一種新的分散式調度策略:共用狀態調度,它包含多個調度器,每個調度器都擁有整個集群的全局資源狀態信息。另外還比較了三種調度策略:單體策略、兩層策略和共用狀態策略。 ...


調度框架:共用狀態調度

什麼是共用狀態調度?

共用狀態調度是為瞭解決單體調度和兩層調度遇到的問題而創建出來的新的調度框架。它通過將單體調度器分解為多個調度器,每個調度器都有全局的資源狀態信息,從而實現最優的任務調度,提供了更好的可擴展性。

共用裝填調度將集群狀態之外的功能抽象出來,形成獨立的服務,包括:

  • State Storage模塊:負責存儲和維護資源及任務狀態,一遍Scheduler查詢資源狀態和調度任務。
  • Resource Pool模塊:多個節點集群,接收並執行Scheduler調度的任務。
  • Scheduler模塊:只包含任務調度操作。

共用狀態調度框架如下圖所示。

共用狀態調度和兩層調度相比的不同點:

  1. 存在多個調度器,每個調度器都可以擁有集群全局的資源狀態信息,可以根據該信息進行任務調度。
  2. 樂觀併發調度,執行了任務匹配演算法後,調度器將其調度結果提交給State Storage,由其決定是否進行本次調度,從而解決競爭同一種資源而引起的衝突問題,實現全局最優調度。兩層調度是悲觀併發調度。

樂觀併發調度和悲觀併發調度的區別:

  • 樂觀併發調度:強調事後檢測,在事務提交時檢查是否避免了衝突,若避免,則提交,否則回滾並自動重新執行。
  • 悲觀併發調度:強調事前預防,在事務執行時檢查是否會存在衝突,不存在,則繼續執行,否則等待或者回滾。

有哪些系統採用了共用狀態調度機制?

常用的有以下幾種:

  • Google Omega
  • Apollo
  • Nomad

Omega調度

Omega使用事務管理狀態的設計思想,將集群中資源的使用和任務的調度類似基於資料庫的一條條事務去管理。

Omega的調度流程如下圖所示。

調度器對Job的調度是具有原子性的,一個Job中所有的Task都是一起調度的,即使部分Task調度失敗了,調度器再次調度時必須調整整個Job。

Omega調度器將兩層調度器中的集中式資源調度模塊簡化成一些持久化的共用數據和針對這些數據的驗證代碼。

三種調度機制有什麼區別?

單體調度是由一個中央調度器去管理整個集群的資源信息和任務調度,它的優點是可以實現全局最優調度,缺點是調度沒有併發性,且中央伺服器有單點瓶頸問題。它適用於小規模集群。

兩層調度是將資源管理和任務調度分為兩層來調度,第一層調度器負責集群資源管理,並將可用資源發送給第二層調度,第二層調度收到第一層調度發送的資源,進行任務調度。它的優點是避免了單體調度的單點瓶頸問題,可以支持更大的服務規模和更多的服務類型。它適用於中等規模集群。

共用狀態調度包含多個調度器,每個調度器都可以看到集群的全局資源信息。它的優點是每個調度器都可以獲取集群中的全局資源信息,因此任務匹配演算法也可以實現全局最優解。

下麵是關於單體調度、兩層調度和共用狀態調度的詳細比較。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文內容主要彙總如何在 Three.js 創建的 3D 世界中添加物理效果,使其更加真實。所謂物理效果指的是對象會有重力,它們可以相互碰撞,施加力之後可以移動,而且通過鉸鏈和滑塊還可以在移動過程中在對象上施加約束。 通過本文的閱讀,你將學習到如何使用 Cannon.js 在 Three.js 中創建... ...
  • <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>canves</title> <style> #canvas { cursor:url(../images/pen.png),crosshair; } #canvasdiv{ bo ...
  • 公司去年對 CDN 資源伺服器進行了遷移,由原來的通過 FTP 方式的文件存儲改為了使用 S3 協議上傳的對象存儲,部門內 @柴俊堃 同學開發了一個命令行腳本工具 RapidTrans(睿傳),使用睿傳可以很方便將本地目錄下的資源上傳到 S3 中。 睿傳運行時接收兩個主要參數,一個為待上傳的本地路... ...
  • 有時,我們經常會在資料庫伺服器上做一些定時備份的工作,最常用的方法就是寫個sh腳本,然後配置/etc/crontab定時策略即可,但它有缺點,我總結如下: 腳本基本相同,代碼需要在每個數據伺服器上部署 由於代碼是分佈的,並且是個代碼,所以管理不清晰,不直觀 控制不統一,你需要在每個伺服器的/etc/ ...
  • 所謂線程就是操作系統(OS)能夠進行運算調度的最小單位,是一個基本的CPU執行單元,也是執行程式流的最小單元。能夠提高OS的併發性能,減小程式在併發執行時所付出的時空開銷。線程是進程的一個實體,是被系統獨立調度和分派的基本單位。 ...
  • 最終季來了,快來追更!這篇文章屬於系列文章《Python 內置界面開發框架 Tkinter入門篇》的第四篇,也是最後一篇了。 ...
  • 第一章 初識SpringMVC 1.1 SpringMVC概述 SpringMVC是Spring子框架 SpringMVC是Spring 為**【展現層|表示層|表述層|控制層】**提供的基於 MVC 設計理念的優秀的 Web 框架,是目前最主流的MVC 框架。 SpringMVC是非侵入式:可以使 ...
  • 中文亂碼處理 1.問題拋出 當表單提交的數據為中文時,會出現亂碼: (1)Monster.java: package com.li.web.datavalid.entity; import org.hibernate.validator.constraints.Email; import org.h ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...