五分鐘學後端技術:分散式系統理論 - 從放棄到入門

来源:https://www.cnblogs.com/xll1025/archive/2020/03/23/12555442.html
-Advertisement-
Play Games

轉載聲明 本系列文章轉自某技術大佬的博客https://www.cnblogs.com/bangerlee/ 該系列文章是我在網上能夠找到的最全面的分散式理論介紹文章了,一直沒看到有人整理這個系列文章,所以這次我就來做技術好文的搬運工,給整合了一把,覺得寫得好的朋友不妨去這位大佬的博客上打賞一把。 ...


轉載聲明

本系列文章轉自某技術大佬的博客https://www.cnblogs.com/bangerlee/

該系列文章是我在網上能夠找到的最全面的分散式理論介紹文章了,一直沒看到有人整理這個系列文章,所以這次我就來做技術好文的搬運工,給整合了一把,覺得寫得好的朋友不妨去這位大佬的博客上打賞一把。

分散式系統理論 - 從放棄到入門

隨承載用戶數量的增加和容災的需要,越來越多互聯網後臺系統從單機模式切換到分散式集群。回顧自己畢業五年來的工作內容,同樣有這樣的轉變。

畢業頭兩年負責維護運行在刀片機上的業務,在機房裡拔插單板的日子是我逝去的青春。設備之間通過VCS組成冷備,但即使有雙機軟體保護,宕機、網路丟包等問題發生時業務仍會受影響。這樣的系統架構下為保證SLA,有時候需要深入Linux系統內核或硬體層面分析機器重啟的原因。

接下來負責維護承載在分散式集群上的業務,相比前面的工作,這個階段主要關註點不是單節點的異常,更多是系統整體的穩定和健壯。面對紛繁複雜的系統,剛開始的時候有這樣的感覺:

龐大複雜的分散式系統前,應該從哪方面入手提升對其的認識和理解、提升專業性?網上可以找到很多分散式系統相關的論文和資料,但歸納起來要表達的主要意思是什麼?

結合自己這幾年的工作經驗,總結分散式系統的核心就是解決一個問題:不同節點間如何達成共識。

看似簡單的問題因網路丟包、節點宕機恢復等場景變得複雜,由此才衍生出很多概念、協議和理論。為探究共識問題最大能解決的程度,於是有FLP、CAP邊界理論;為在特定條件和範圍內解決該問題,於是有一致性協議Paxos、Raft、Zab和Viewstamped Replication;為構建這些協議,於是有多數派、Leader選舉、租約、邏輯時鐘等概念和方法。

2016年我閱讀了分散式系統領域一些代表性的論文和博文,圍繞“不同節點如何達成共識”這個問題,加入自己的認識和理解後有下麵7篇小結:

一致性、2PC和3PC
選舉、多數派和租約
時間、時鐘和事件順序
CAP
Paxos
Raft、Zab
Paxos變種和優化
構思和寫作技術類文章是一個辛苦的過程,一方面要閱讀很多資料並轉化成自己的理解、找到儘量不拾人牙慧的立意和角度,一方面要絞盡腦汁組織語言讓預期的讀者能夠容易理解。

但它也是一個有趣的過程,把知識捋一遍後原本一些模糊的概念變得清晰,寫作過程中想到的一些有意思的內容我也會將它穿插到文章里,有時候會被自己想到的一些小機靈逗樂

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 通過VueRouter實例的push()操作,可以進行路由跳轉,對於<router-link/>組件來說,它綁定的是click事件,最後也是通過執行push()方法來進行路由跳轉的。 對於push()方法來說,一共可以傳入三種形式的參數: 字元串形式,值為路勁 含有name的對象形式,可以搭配par ...
  • 說到數據上報,很多人第一印象是直接點對點的上報數據,優點是簡單直接省事,但是缺點很明顯,侵入性太強,業務中會摻雜很多非業務的事情。當然這裡的簡單省事是短暫的,如果業務以及開發完了,後面追加數據上報功能,再按照這個模式,將帶來空前的壓力,代碼基本上要重新寫、測試。這個任務量也許會很大,因為一時的省事為 ...
  • 前言 在上一篇文章中,我們知道了JVM的記憶體劃分,其中在說到方法區的時候說到方法區中存放的信息包括[已被JVM載入的類信息,常量,靜態變數,即時編譯的代碼等],整個方法區其實就和類載入有關. 類載入過程 類從被載入到虛擬機記憶體中開始,到卸載出記憶體為止,它的整個生命周期包括:載入、驗證、準備、解析、初 ...
  • 1)Java是一門面向對象的程式設計語言; 2)1995年由sun公司發佈,2010年由Oracle收購。 JVM: 1)Java Virtual Machine,Java虛擬機; 2)JVM是Java平臺無關性的關鍵,一次編譯,到處運行。 Java程式執行過程: .java源文件 編譯器(comp ...
  • 1.定義函數 函數代碼塊以 def 關鍵詞開頭,後接函數標識符名稱和圓括弧 ()。 任何傳入參數和自變數必須放在圓括弧中間,圓括弧之間可以用於定義參數。 函數的第一行語句可以選擇性地使用文檔字元串—用於存放函數說明。 函數內容以冒號起始,並且縮進。 return [表達式] 結束函數,選擇性地返回一 ...
  • 漢諾塔簡介 最近在看數據結構和演算法,遇到了一個非常有意思的問題——漢諾塔問題。 先看下百度百科是怎麼定義漢諾塔的規則的: 漢諾塔(又稱河內塔)問題是源於印度一個古老傳說的益智玩具。大梵天創造世界的時候做了三根金剛石柱子,在一根柱子上從下往上按照大小順序摞著64片黃金圓盤。大梵天命令婆羅門把圓盤從下麵 ...
  • SpringBoot AOP處理請求日誌處理列印 "趙小胖個人博客" ...
  • import導入的是包中的類(不包含包) 建議:不要寫通配符*,需要什麼導入什麼。 導入的類重名,必須加包名。 url完成包名定義。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...