簡單實用演算法—分散式自增ID演算法snowflake(雪花演算法)

来源:https://www.cnblogs.com/timefiles/archive/2020/07/21/Snowflake.html
-Advertisement-
Play Games

分散式系統中,有一些需要使用全局唯一ID的場景,這種時候為了防止ID衝突可以使用36位的UUID,但是UUID有一些缺點,首先他相對比較長,另外UUID一般是無序的。有些時候我們希望能使用一種簡單一些的ID,並且希望ID能夠按照時間有序生成。而twitter的snowflake解決了這種需求,最初T... ...


演算法概述

分散式系統中,有一些需要使用全局唯一ID的場景,這種時候為了防止ID衝突可以使用36位的UUID,但是UUID有一些缺點,首先他相對比較長,另外UUID一般是無序的。有些時候我們希望能使用一種簡單一些的ID,並且希望ID能夠按照時間有序生成。而twitter的snowflake解決了這種需求,最初Twitter把存儲系統從MySQL遷移到Cassandra,因為Cassandra沒有順序ID生成機制,所以開發了這樣一套全局唯一ID生成服務。

該項目地址(Scala實現):https://github.com/twitter/snowflake
python版項目地址:https://github.com/erans/pysnowflake

ID結構

Snowflake生成的是Long類型的ID,一個Long類型占8個位元組,每個位元組占8比特,也就是說一個Long類型占64個比特。

snowflake的結構如下(每部分用-分開):

註:上圖的工作機器id(10比特)=數據中心(占左5比特)+ 機器ID(占右5比特)

Snowflake ID組成結構:正數位(占1比特)+ 時間戳(占41比特)+ 數據中心(占5比特)+ 機器ID(占5比特)+ 自增值(占12比特)

第一位為未使用,接下來的41位為毫秒級時間(41位的長度可以使用69年),然後是5位datacenterId和5位workerId(10位的長度最多支持部署1024個節點) ,最後12位是毫秒內的計數(12位的計數順序號支持每個節點每毫秒產生4096個ID序號)一共加起來剛好64位,為一個Long型(轉換成字元串長度為18)。

1bit:不使用。

  • 因為二進位中最高位是符號位,1表示負數,0表示正數。生成的id一般都是用整數,所以最高位固定為0。

41bit-時間戳:用來記錄時間戳,毫秒級

  • 41位可以表示個毫秒的值。
  • 轉化成單位年則是年。

10bit-工作機器id:用來記錄工作機器id。

  • 可以部署在個節點,包含5位datacenterId和5位workerId
  • 5位(bit)可以表示的最大正整數是,即可以用0、1、2、3、....31這32個數字,來表示不同的datecenterId或workerId

12bit-序列號:序列號,用來記錄同毫秒內產生的不同id。

  • 12位(bit)可以表示的最大正整數是,即可以用0、1、2、3、....4094這4095個數字,來表示同一機器同一時間截(毫秒)內產生的4095個ID序號。

演算法特性

SnowFlake可以保證:

  • 所有生成的id按時間趨勢遞增
  • 整個分散式系統內不會產生重覆id(因為有datacenterId和workerId來做區分)

據說:snowflake每秒能夠產生26萬個ID。

演算法代碼(C#)

網上雪花演算法的C#實現代碼一大把,但大多是複製的同一份代碼。而且,網上的C#版實現有很多錯誤
這裡要提一下雪花演算法(Snowflake)C#版本 壓測Id重覆嚴重,為這位博主默哀一下...
這裡的演算法實現代碼是我參考原版(Scala實現)、Java版的代碼用C#實現的,經測試未發現問題,可放心使用

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Runtime.Remoting.Contexts;
using System.Runtime.CompilerServices;

namespace SnowflakeDemo
{
    public sealed class IdWorker
    {        
        /// <summary>
        /// 起始的時間戳:唯一時間,這是一個避免重覆的隨機量,自行設定不要大於當前時間戳。
        /// 一個計時周期表示一百納秒,即一千萬分之一秒。 1 毫秒內有 10,000 個計時周期,即 1 秒內有 1,000 萬個計時周期。
        /// </summary>
        private static long StartTimeStamp = new DateTime(2020,7,1).Ticks/10000;

        /*
         * 每一部分占用的位數
         * 對於移位運算符 << 和 >>,右側操作數的類型必須為 int,或具有預定義隱式數值轉換 為 int 的類型。
         */
        private const int SequenceBit = 12;   //序列號占用的位數
        private const int MachingBit = 5;     //機器標識占用的位數
        private const int DataCenterBit = 5; //數據中心占用的位數

        /*
         * 每一部分的最大值
         */
        private static long MaxSequence = -1L ^ (-1L << SequenceBit);
        private static long MaxMachingNum = -1L ^ (-1L << MachingBit);
        private static long MaxDataCenterNum = -1L ^ (-1L << DataCenterBit);

        /*
         * 每一部分向左的位移
         */
        private const int MachingLeft = SequenceBit;
        private const int DataCenterLeft = SequenceBit + MachingBit;
        private const int TimeStampLeft = DataCenterLeft + DataCenterBit;

        private long dataCenterId;  //數據中心
        private long machineId;     //機器標識
        private long sequence; //序列號
        private long lastTimeStamp = -1;  //上一次時間戳

        private long GetNextMill()
        {
            long mill = getNewTimeStamp();
            while (mill <= lastTimeStamp)
            {
                mill = getNewTimeStamp();
            }
            return mill;
        }

        private long getNewTimeStamp()
        {
            return DateTime.Now.Ticks/10000;            
        }

        /// <summary>
        /// 根據指定的數據中心ID和機器標誌ID生成指定的序列號
        /// </summary>
        /// <param name="dataCenterId">數據中心ID</param>
        /// <param name="machineId">機器標誌ID</param>
        public IdWorker(long dataCenterId, long machineId)
        {
            if (dataCenterId > MaxDataCenterNum || dataCenterId < 0)
            {                
                throw new ArgumentException("DtaCenterId can't be greater than MAX_DATA_CENTER_NUM or less than 0!");
            }
            if (machineId > MaxMachingNum || machineId < 0)
            {
                throw new ArgumentException("MachineId can't be greater than MAX_MACHINE_NUM or less than 0!");
            }
            this.dataCenterId = dataCenterId;
            this.machineId = machineId;
        }

        /// <summary>
        /// 產生下一個ID
        /// </summary>
        /// <returns></returns>
        [MethodImplAttribute(MethodImplOptions.Synchronized)]
        public long NextId()
        {
            long currTimeStamp = getNewTimeStamp();
            if (currTimeStamp < lastTimeStamp)
            {
                //如果當前時間戳比上一次生成ID時時間戳還小,拋出異常,因為不能保證現在生成的ID之前沒有生成過
                throw new Exception("Clock moved backwards.  Refusing to generate id");
            }

            if (currTimeStamp == lastTimeStamp)
            {
                //相同毫秒內,序列號自增
                sequence = (sequence + 1) & MaxSequence;
                //同一毫秒的序列數已經達到最大
                if (sequence == 0L)
                {
                    currTimeStamp = GetNextMill();
                }
            }
            else
            {
                //不同毫秒內,序列號置為0
                sequence = 0L;
            }

            lastTimeStamp = currTimeStamp;

            return (currTimeStamp - StartTimeStamp) << TimeStampLeft //時間戳部分
                    | dataCenterId << DataCenterLeft       //數據中心部分
                    | machineId << MachingLeft             //機器標識部分
                    | sequence;                             //序列號部分
        }

    }
}

演算法測試

測試代碼:

using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Linq;
using System.Threading;

namespace SnowflakeDemo
{
    class Program
    {
        static void Main(string[] args)
        {            
            IdWorker idworker = new IdWorker(1, 1);

            Console.WriteLine("開始單線程測試:");
            Stopwatch sw1 = new Stopwatch();
            sw1.Start();
            for (int i = 0; i < 260000; i++)
            {                
                idworker.NextId();                
            }
            sw1.Stop();
            TimeSpan ts = sw1.Elapsed;
            Console.WriteLine("產生26萬個ID需要{0}毫秒",ts.TotalMilliseconds);

            Console.WriteLine();
            Console.WriteLine("開始多線程測試:");
            int threadNum = 10;//測試線程數
            int idNum = 100000;//每個線程產生的id數
            long[,] idAllAry = new long[threadNum,idNum];
            bool[] completeAry = new bool[threadNum];
            double[] workTimeAry = new double[threadNum];
            Thread[] thAry = new Thread[threadNum];
            for (int i = 0; i < thAry.Length; i++)
            {
                thAry[i] = new Thread(new ParameterizedThreadStart(obj =>
                {
                    int index = (int)obj;
                    Stopwatch sw2 = new Stopwatch();
                    sw2.Start();

                    for (int j = 0; j < idNum; j++)
                    {
                        idAllAry[index,j]=idworker.NextId();
                    }
                    completeAry[index] = true;
                    sw2.Stop();                    
                    workTimeAry[index] = sw2.Elapsed.TotalMilliseconds;

                }));               
            }
            for (int i = 0; i < thAry.Length; i++)
            {
                thAry[i].Start(i);
            }            
            Console.WriteLine(string.Format("運行{0}個線程,每個線程產生{1}個ID",threadNum,idNum));

            while (completeAry.Where(c => !c).ToList().Count != 0)
            {
                Console.WriteLine("等待執行結果...");
                Thread.Sleep(1000);
            }

            Console.WriteLine(string.Format("單個線程產生ID耗時的最小為{0}毫秒,最大為{1}毫秒", workTimeAry.Min(), workTimeAry.Max()));

            List<long> idList = new List<long>();
            for (int i = 0; i < threadNum; i++)
            {
                for (int j = 0; j < idNum; j++)
                {
                    idList.Add(idAllAry[i, j]);
                }
            }
            var qrepeatId = idList.GroupBy(x => x).Where(x => x.Count() > 1).ToList();
            Console.WriteLine(string.Format("ID總數為{0},ID重覆個數{1}", idList.Count, qrepeatId.Count));

            foreach (var item in qrepeatId)
            {
                Console.WriteLine(item.Key);
            }
            Console.ReadLine();
        }               
    }
}

測試結果:

開始單線程測試:
產生26萬個ID需要972.9153毫秒

開始多線程測試:
運行10個線程,每個線程產生100000個ID等待執行結果…
待執行結果...
待執行結果...
待執行結果...
待執行結果...
單個線程產生ID耗時的最小為1895.3256毫秒,最大為3828.659毫秒
ID總數為1000000,ID重覆個數0

參考文章:
Twitter的分散式自增ID演算法snowflake(雪花演算法) - C#版——博客園
一口氣說出9種分散式ID生成方式,阿裡面試官都懵了——知乎
雪花演算法(SnowFlake)Java實現——簡書
理解分散式id生成演算法SnowFlake——segmentfault——講解的較為細緻


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近,網上流傳一組《人工智慧實驗教材》的圖片,照片火起來的原因是教材是為幼兒園的小朋友們設計的! Python被列入小學、初高中教材已不是新鮮事,現在又成功“入侵”了幼兒園,對此有網友調侃稱:看來Python將會從幼兒園一直陪你到考大學! 由此可見,如果不學Python就很有可能會成為新時代的“文盲 ...
  • ##L1-047 裝睡 (10分) 你永遠叫不醒一個裝睡的人 ———— 但是通過分析一個人的呼吸頻率和脈搏,你可以發現誰在裝睡!醫生告訴我們,正常人睡眠時的呼吸頻率是每分鐘 $15 \sim 20$ 次,脈搏是每分鐘 $50 \sim 70$ 次。下麵給定一系列人的呼吸頻率與脈搏,請你找出他們中間有 ...
  • .NET 5 Preview 7現在可以用了,可以進行評估了。這是此版本中的新增功能: Blazor WebAssembly應用程式現在針對.NET 5 更新了Blazor WebAssembly的調試要求 Blazor的可訪問性改進 Blazor的性能改進 證書認證性能改進 發送HTTP/2 PI ...
  • 今天,發佈了.NET 5.0 Preview7。這是倒數第二個預覽版本(在轉移到RC之前)。此時,大多數功能應該已經非常接近完成了。Single file和ARM64 intrinsics是兩個花費了最長時間來完成的功能,當然Preview 8中已經在正軌上了。請參閱 .NET 5.0 Previe ...
  • 公司項目已經開發好幾年了,用的WPF開發的,期間遇到好多問題,都是些小細節。很久沒有寫博客了,以後有時間還是需要寫寫博客啊!作為分享也好、記錄也好,利人利己嘛。 今天主要說一下顯示線條的問題,因為我們做的是設計軟體,會用到對齊線啥的,關鍵是頁面有放大縮小。(可參考ps或AI這些專業設計軟體的參考線) ...
  • #1 linq介紹 ##1.1 linq產生背景 一個應用服務後臺程式,肯定會需要格式各樣的數據檢索跟操作,而這些數據在過去的這些年裡一般都會包含在關係型資料庫或者xml文件中。 .Net3.5版本發行之前,傳統的數據源訪問方式就是直接對資料庫或者xml文件進行檢索操作。在.Net3.5 Visua ...
  • 最近一個同事遇到進度條載入不出來問題,即使偶爾載入出來了卻不顯示進度, 看到這個問題想到的肯定是把UI線程給占住了, 由於使用了幾個框架,簡單查看框架後,在框架中改為線程調用 問題解決了, 但是在思考一個問題,框架中的代碼我是能夠看到也可以修改,如果是不能更改的框架怎麼辦? 研究了一下,在需要用的地 ...
  • 效果圖預覽 新建UserControl <Border Background="#F3F6F9" Height="50" Width="400" CornerRadius="10" HorizontalAlignment="Stretch"> <Grid Height="Auto"> <Grid.C ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...