京東一面:分散式 ID 生成方案怎麼選?寫得太好了!

来源:https://www.cnblogs.com/javastack/archive/2023/09/15/17704049.html
-Advertisement-
Play Games

背景 在分散式系統中,經常需要用到全局唯一ID發生器,標識需要存儲的數據。我們需要什麼樣的ID生成器? ID生成器除了是數據的唯一標識以外,一般需要在系統中承擔更多的責任,概括起來有以下幾點: 唯一性:“全局唯一” vs “業務唯一”? 分散式系統使用唯一的ID生成器,會有非常嚴重的申請互斥問題。互 ...


背景

在分散式系統中,經常需要用到全局唯一ID發生器,標識需要存儲的數據。我們需要什麼樣的ID生成器?

ID生成器除了是數據的唯一標識以外,一般需要在系統中承擔更多的責任,概括起來有以下幾點:

唯一性:“全局唯一” vs “業務唯一”?

分散式系統使用唯一的ID生成器,會有非常嚴重的申請互斥問題。互斥加鎖意味著成本和性能的下降,不容易去實現一個高性能高可靠的架構。在業務系統中,往往也不需要全局唯一的ID。

比如在通訊系統里,聊天消息不需要全局唯一,標識一條用戶發出的消息的ID,只要保證用戶唯一性即可。因為消息本身歸屬於某一用戶,因此用戶唯一已經隱含了“全局唯一ID ( = 用戶ID + 消息ID )”。

時間相關:“秒級” vs “毫秒”?

時間是天然唯一的,因此也是很多設計的選擇。但對於一個8Byte的 ID 而言,時間並沒有那麼多。你如果精確到秒級別,三十年都要使用30bit,到毫秒級則要再增加10bit,你也只剩下20bit 可以做其他事情了。每秒一個或者每毫秒一個ID明顯是不夠的,剛纔說到還有20bit 可以做其他事情,就包括一個SequenceID。

那時間用秒還是毫秒呢?其實不用毫秒的時候就可以把空出來的10bit 送給 Sequence,但整個ID 的精度就下降了。峰值速度是更現實的考慮。Sequence 的空間決定了峰值的速度,而峰值也就意味著持續的時間不會太久。這方面,每秒100萬比每毫秒1000限制更小。

有序:“粗略有序” vs “精確有序”?

首先,如果要達到精確的有序,就要對 Sequence 進行併發控制,性能上肯定會打折。其次,同一時間只能生成一個ID,意味著同一時間只有一個ID生成服務實例可以提供服務,精確有序還會面臨容災問題。

另外一個選擇就是,在這個秒的級別上不再保證順序,而整個 ID 則只保證時間上的有序。後一秒的 ID肯定比前一秒的大,但同一秒內可能後取的ID比前面的號小。粗略有序在使用時非常關鍵,業務上可接受才能成為候選方案。

設計細節

看下業界如何設計ID發生器

SnowFlake

41bit留給毫秒時間,10bit給機器 (MachineID) ,剩下12bit留給Sequence。

Weibo

微博 30bit的秒級時間,4bit來區分IDC,2bit 區分業務,15bit 給 Sequence。理論上限3.2w/s的速度。由於當前發號服務是機房中心式的,1bit 來區分熱備。最終,沒有用滿64bit。

Flicker

Flicker 在解決全局ID生成方案里就採用了MySQL自增長ID的機制(auto_increment + replace into + MyISAM)。
在我們的應用端需要做下麵這兩個操作,在一個事務會話里提交:

REPLACE INTO Tickets64 (stub) VALUES ('a');
SELECT LAST_INSERT_ID();

Flicker啟用了兩台資料庫伺服器生成ID來容災,通過區分auto_increment的起始值和步長來生成奇偶數的ID。

TicketServer1:
auto-increment-increment = 2
auto-increment-offset = 1

TicketServer2:
auto-increment-increment = 2
auto-increment-offset = 2

微信

微信使用MySQL持久化未分配的最大ID,每次從DB取一段放到記憶體分配給調用方。微信的ID生成是嚴格遞增的,意味著同一時間只能有一臺機器提供服務,因此使用仲裁服務+租約機制+路由表,進行容災。

Shopee Feeds 如何生成ID ?

考慮到Feeds業務的特性,並不需要精確有序,因此我們使用snowflake演算法進行ID生成。使用39 (毫秒)+ 5(機器) + 9(seq),來保證ID作為Redis的score不會溢出。

Redis 有序集合的分數使用雙精度64位浮點數, 表示為一個IEEE 754 floating point number,它能包括的整數範圍是-(2^53) 到 +(2^53)

這樣的ID生成器可以使用大約17年,對於一款產品的生命周期來說已經足夠使用。

針對時間回撥產生的問題,因為發生的頻率極小,所以只需要簡單判斷,如果不滿足 currentMillis <= lastTime,則返回錯誤即可。

作者:cyningsun
來源:www.cyningsun.com/12-26-2018/id-generator.html

近期熱文推薦:

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆!Java 協程要來了。。。

3.Spring Boot 2.x 教程,太全了!

4.別再寫滿屏的爆爆爆炸類了,試試裝飾器模式,這才是優雅的方式!!

5.《Java開發手冊(嵩山版)》最新發佈,速速下載!

覺得不錯,別忘了隨手點贊+轉發哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在日常開發中我們難免會遇到各種各樣的異常問題的發生,但是任何異常如果都在異常可能會出現的地方直接去處理會讓業務邏輯顯得很臃腫,代碼看上去很冗餘。在開發Web應用程式時,異常處理是一項非常重要的任務。異常處理可以提高程式的健壯性和穩定性。Java後端開發人員可以設計一個統一的全局異常處理方案來解決異常 ...
  • 什麼是minio 引用官網: MinIO是根據GNU Affero通用公共許可證v3.0發佈的高性能對象存儲。它與Amazon S3雲存儲服務相容。使用MinIO構建用於機器學習,分析和應用程式數據工作負載的高性能基礎架構。 官網地址: https://min.io/ 文檔地址: https://d ...
  • 本文通過多個SpringBoot實際項目進行歸納整理,從統一介面返回結果和配置全局異常處理兩個方面出發,介紹如何優雅的封裝規範後端介面輸出,詳細刨析@RestControllerAdvice和@ExceptionHandler註解及使用方式,增加後端服務健壯性和與前端對接規範性 ...
  • 本篇藉助JProfiler工具,從線程的觀察結果去印證官方資料,做到理論結合實踐,讓您領先一步,掌握和瞭解神秘的虛擬線程內幕 ...
  • Notion相信大家都不陌生了,一款非常好用的筆記軟體,TJ君也一直在用來記筆記和寫文章。關於Notion的替代品,之前有給大家推薦AFFiNE ,但這個還是一個比較成型的軟體。 那麼如果想開發一個類Notion的工具,又或者在自己的應用中增加一個類Notion的內容編輯功能,是否有好用的開源工具呢 ...
  • 1.什麼是迴圈依賴? 迴圈依賴是指一個或多個對象之間存在直接或間接的依賴關係,這種依賴關係構成一個環形調用 , 舉個例子 : A 依賴B , B依賴C , C依賴A , 這樣就形成了迴圈依賴; 2.spring對迴圈依賴的處理有三種情況: ①構造器的迴圈依賴:這種依賴spring是處理不了的,直接拋 ...
  • JavaSe 變數和運算符: 基本數據類型介紹 java中浮點數精度怎麼解決,有瞭解過實現嗎,為什麼有精度問題 BigDecimal,如何判斷BigDecimal是否相等。如何進行計算、怎麼四捨五入 基本類型幾種,分別占用空間 int和Integer區別--包裝類,int有幾個位元組。 包裝類常量池 ...
  • 今天在看開源項目的時候發現了這樣一句代碼 import static com.abin.mallchat.common.common.service.frequencycontrol.FrequencyControlStrategyFactory.TOTAL_COUNT_WITH_IN_FIX_TI ...
一周排行
    -Advertisement-
    Play Games
  • 一、openKylin簡介 openKylin(開放麒麟) 社區是在開源、自願、平等和協作的基礎上,由基礎軟硬體企業、非營利性組織、社團組織、高等院校、科研機構和個人開發者共同創立的一個開源社區,致力於通過開源、開放的社區合作,構建桌面操作系統開源社區,推動Linux開源技術及其軟硬體生態繁榮發展。 ...
  • 簡介 Flurl是一個用於構建基於HTTP請求的C#代碼的庫。它的主要目的是簡化和優雅地處理網路請求(只用很少的代碼完成請求)。Flurl提供了一種簡單的方法來構建GET、POST、PUT等類型的請求,以及處理響應和異常。它還提供了一些高級功能,如鏈式調用、緩存請求結果、自動重定向等。本文將介紹Fl ...
  • 一:背景 1. 講故事 最近也挺奇怪,看到了兩起 CPU 爆高的案例,且誘因也是一致的,覺得有一些代表性,合併分享出來幫助大家來避坑吧,閑話不多說,直接上 windbg 分析。 二:WinDbg 分析 1. CPU 真的爆高嗎 這裡要提醒一下,別人說爆高不一定真的就是爆高,我們一定要拿數據說話,可以 ...
  • 剛開始寫文章,封裝Base基類的時候,添加了trycatch異常塊,不過當時沒有去記錄日誌,直接return了。有小伙伴勸我不要吃了Exception 其實沒有啦,項目剛開始,我覺得先做好整體結構比較好。像是蓋樓一樣。先把樓體建造出來,然後再一步一步的美化完善。 基礎的倉儲模式已經ok,Autofa ...
  • 框架目標 什麼是框架,框架能做到什麼? 把一個方向的技術研發做封裝,具備通用性,讓使用框架的開發者用起來很輕鬆。 屬性: 通用性 健壯性 穩定性 擴展性 高性能 組件化 跨平臺 從零開始-搭建框架 建立項目 主鍵查詢功能開發 綁定實體 一步一步的給大家推導: 一邊寫一邊測試 從零開始--搭建框架 1 ...
  • 大家好,我是沙漠盡頭的狼。 本方首發於Dotnet9,介紹使用dnSpy調試第三方.NET庫源碼,行文目錄: 安裝dnSpy 編寫示常式序 調試示常式序 調試.NET庫原生方法 總結 1. 安裝dnSpy dnSpy是一款功能強大的.NET程式反編譯工具,可以對.NET程式進行反編譯,代替庫文檔的功 ...
  • 在`Windows`操作系統中,每個進程的虛擬地址空間都被劃分為若幹記憶體塊,每個記憶體塊都具有一些屬性,如記憶體大小、保護模式、類型等。這些屬性可以通過`VirtualQueryEx`函數查詢得到。該函數可用於查詢進程虛擬地址空間中的記憶體信息的函數。它的作用類似於`Windows`操作系統中的`Task... ...
  • 背景介紹 1,最近有一個大數據量插入的操作入庫的業務場景,需要先做一些其他修改操作,然後在執行插入操作,由於插入數據可能會很多,用到多線程去拆分數據並行處理來提高響應時間,如果有一個線程執行失敗,則全部回滾。 2,在spring中可以使用@Transactional註解去控制事務,使出現異常時會進行 ...
  • 線程(thread)是操作系統能夠進行運算調度的最小單位。它被包含在進程之中,是進程中的實際 運作單位。一條線程指的是進程中一個單一順序的控制流,一個進程中可以併發多個線程,每條線 程並行執行不同的任務。 ...
  • 發現Java 21的StringBuilder和StringBuffer中多了repeat方法: /** * @throws IllegalArgumentException {@inheritDoc} * * @since 21 */ @Override public StringBuilder ...