【Java面試】談談常用的分散式ID設計方案

来源:https://www.cnblogs.com/mic112/archive/2022/08/22/16613629.html
-Advertisement-
Play Games

“談談常用的分散式ID設計方案”! 一個工作了7年的同學,被問到了這樣一個問題。 問題並不難,但是在實際面試的時候,如果只是回答1,2,3 很難通過面試,因為作為一個高級程式員,還需要有自己的理解和思考。 大家好,我是Mic,一個工作了14年的Java程式員。 這個問題的高手回答,我整理到了15W字 ...


“談談常用的分散式ID設計方案”!

一個工作了7年的同學,被問到了這樣一個問題。

問題並不難,但是在實際面試的時候,如果只是回答1,2,3

很難通過面試,因為作為一個高級程式員,還需要有自己的理解和思考。

大家好,我是Mic,一個工作了14年的Java程式員。

這個問題的高手回答,我整理到了15W字的面試文檔裡面,大家可以私信我領取。

下麵看看高手的回答

高手:

首先,分散式全局ID的的解決方案有很多,比如:

  • 使用Mysql的全局表
  • 使用Zookeeper的有序節點
  • 使用MongoDB的objectid
  • redis的自增id
  • UUID等等
  • ......

這些方案只是解決基礎的id唯一性問題,在實際生產環境中,需要構建一個全局唯一id

還需要考慮更多的因素:

  • 有序性, 有序的ID能夠更好的確認數據的位置,以及B+數的存儲結構中,範圍查詢的效率更高,並且可以提升B+樹數據維護的效率。

  • 安全性,避免惡意爬去數據造成數據泄露

  • 可用性,ID生成系統的可用性要求非常高,一旦出現故障就會造成業務不可用的問題

  • 性能,全局id生成系統需要滿足整個公司的業務需求,涉及到億級別的調用,對性能要求較高

因此,在如果我們選擇資料庫的全局表,你沒獲取一次id就需要更新資料庫,性能上限比較明顯,

而且基於資料庫構建高擴展和高性能的解決方案難度很大。

所以,目前市面上主流的解決方案是基於Twitter早期開源的Snowflake雪花演算法。

它是由64位長度組成的全局id生成演算法,通過對64位進行區間劃分來表述不同含義實現唯一性。

img

它的好處是:

  • 演算法實現簡單
  • 不存在太多外部依賴
  • 可以生成有意義的有序編號
  • 基於位運算,性能也很好,Twitter測試的峰值是10萬個每秒。

另外,美團公司開源了一個全局唯一id生成系統leaf,它裡面也用到了雪花演算法去構建全局唯一id

並且在高性能和高可用方面,做了很多的優化,為美團內部業務提供了每天上億次的調用。

總結

很明顯這是一個熱點問題,並且在實際應用中也比較廣泛。

建議各位粉絲在這個領域做一些更深層次的思考和研究,從而去應對面試官更進一步的追問

記住,全局ID本身的設計方案和實現細節是很重要的。

大家記得點贊收藏加關註

file

版權聲明:本博客所有文章除特別聲明外,均採用 CC BY-NC-SA 4.0 許可協議。轉載請註明來自 Mic帶你學架構
如果本篇文章對您有幫助,還請幫忙點個關註和贊,您的堅持是我不斷創作的動力。歡迎關註「跟著Mic學架構」公眾號公眾號獲取更多技術乾貨!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 我們從應用的視角出發整理抽象了我們在訪問、使用資料庫時場景的一些穩定性治理、性能優化、提效等方面的實戰經驗,對於每一個後端應用來說,資料庫無疑是重中之重,我們希望通過我們的資料庫治理能力,可以幫助到大家更好地使用資料庫服務。 本文將詳細介紹 MSE 資料庫治理的熱點功能,動態讀寫分離的設計與實現。 ...
  • 設計原則為提高可維護性和可復用性而生,每一種設計模式都符合一個或多個設計原則,因此設計原則也是評價一個設計模式使用效果的重要指標之一。 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 關於安裝 進入pom.xml文件目錄下,使用命令mvn install 當然也可以使用類似idea這類本身已經集成好maven插件按鈕的編輯器進行安裝 安裝過程會輸出安裝jar包的目錄信息,同樣的,跟class編譯後的目標文件一起,放在target目錄下 註意:開發編譯過程中,如果只 編譯 mvn ...
  • 編碼問題,誰不想避其鋒芒; 一、業務背景 在搜索引擎的功能上,曾經遇到過這樣一個問題,資料庫中某個公司名稱中存在特殊編碼,儘管數據已經正常同步到索引中,但是系統中關鍵詞始終也無法匹配到該公司; 然後在庫中模糊匹配,將公司名稱複製到搜索框中,這樣就可以正常命中索引,那麼問題也就很清楚了,這種數據"隱身 ...
  • Python小游戲——外星人入侵(保姆級教程) 第一章:武裝飛船 06:讓飛船移動 下麵來讓玩家能夠左右移動飛船。我們將編寫代碼,在用戶按左或右箭頭鍵時做出響應。我們將首先專註於向右移動,再使用同樣的原理來控制向左移動。通過這樣做,你將學會如何控制屏幕圖像的移動。 ...
  • 哈嘍,大家好,今天咱們試試只用20行代碼來實現批量獲取網抑雲文件保存本地,炒雞簡單! 悄悄的告訴你,其實不到20行代碼~ 你需要準備 本次使用的環境是Python3.8,編輯器是pycharm 模塊使用的是requests、re、os 三個,其中requests是第三方模塊,需要手動安裝一下,re、 ...
  • 鋼鐵知識庫,一個學習python爬蟲、數據分析的知識庫。人生苦短,快用python。 上一章我們講解針對結構化的html、xml數據,使用Xpath實現網頁內容爬取。本章我們再來聊另一個高效的神器:Beautiful Soup4。相比於傳統正則表達方式去解析網頁源代碼,這個就簡單得多,實踐是檢驗真理 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...