點陣圖法

来源:https://www.cnblogs.com/ChallengeEverything/archive/2018/05/21/9069970.html
-Advertisement-
Play Games

點陣圖法是大數據處理中經常用到的技巧,覺得挺有趣,就來講幾句,希望能把點陣圖的思想解釋清楚。 個人理解,如有錯誤,歡迎各路大神指正! 點陣圖法:電腦中表示數據的最小單位為Bit,存儲0或者1。而c#中int的大小為4個位元組,即32個bit。 如果用int類型表示一個數值,那麼一個數值就需要用到32位的存 ...


點陣圖法是大數據處理中經常用到的技巧,覺得挺有趣,就來講幾句,希望能把點陣圖的思想解釋清楚。

個人理解,如有錯誤,歡迎各路大神指正!

 

點陣圖法:電腦中表示數據的最小單位為Bit,存儲0或者1。而c#中int的大小為4個位元組,即32個bit。

如果用int類型表示一個數值,那麼一個數值就需要用到32位的存儲空間,如果使用0或者1來表示當前索引對應值是否存在,那麼原本一個int所占用的空間,可以表示32個整數。

[0] [1] [1] [0] [0] [0] [0] [1] ,如果當一個元素的值為1時,我們就可以判斷出其對應的索引值存在,這個例子中表示1,2,7存在。

可以簡單的說,數據記憶體占用率降低到了1/32.

當我們要處理的數據量不僅巨大,並且數據值也極大的時候,用一般的整數值類型(int,int64,long)會造成大量的記憶體消耗。

這時候使用點陣圖法,就能體現出其優勢。

 

實現(c#):

這裡是用點陣圖法實現的排序方法。

public static Array BitSort(int[] arr, int largestNumber) //傳入數組,以及數組的最大值
        {
            BitArray bitAry = new BitArray(largestNumber+1);//根據數據的最大值,創建相應的點陣列

            foreach (var item in arr) 
            {
                bitAry[item] = true;//把數組元素值作為索引,將該索引對應的值置為1,表示該值存在
            }
//一次遍歷之後,要排序的數組包含的所有值,在點陣列中被置為1
int[] result = new int[arr.Length]; var j = 0; for (var i = 0; i < bitAry.Length; i++) { if (bitAry[i] == true) //遍歷點陣列,如果對應的值為1,則將其索引值放置到新集合內,一次遍歷,就可以完成排序 { result[j] = i; j++; } } return result; }

 

用點陣圖法,也可以來快速判斷,一個大數據集合中,是否包含了某個特定的值。

思路:創建點陣圖來反應數據集,用特定值作為索引,判斷值是否為1,若為1,則表示該值存在於數據集合中。

也可以用來去重,有興趣的,可以自己實現以下。

 

劣勢:

1. 需要知道數據集的範圍,方可快速確定知道需要創建多大的點陣圖。

2. 如果數據離散程度大,那麼空間使用率低。如[1,2,3,4,5,900000,900001]

3. 可能較難理解。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 觀察者模式-Observer 當一個對象變化時,其它依賴該對象的對象都會收到通知, 並且會隨著變化!對象之間是一種一對多的關係。 換一種表達方式: 有很多觀察者們依賴於(觀察)同一個對象(主題), 當這個被依賴的對象(主題)變化時, 觀察者們也會隨之變化. 本文中的例子如下: 有一個進度生成器, 用 ...
  • from:從0開始,構建前後端分離應用 1. 一些基本概念 1.1 為什麼要進行單元測試?我自己的理解是 1、能夠快速發現問題。避免衍生BUG的出現 在對一些現有代碼進行修改時,或者修改現有BUG的時候。都有可能對已有的代碼產生影響,產生新的問題。那麼怎麼能避免新問題的產生呢?那就是執行回歸測試,但 ...
  • 回到 DirectX11 使用Windows SDK來進行開發: "http://www.cnblogs.com/X Jun/p/9028764.html" 由於個人覺得龍書裡面第4章提供的Direct3D 初始化項目封裝得比較好,而且DirectX SDK Samples裡面的初始化程式過於精簡, ...
  • 怎樣才能開始一個互動式解釋器的會話? 在Windows下可以通過點擊開始按鈕,選擇“程式”,點擊“Python”,然後選擇“Python(command line)”菜單選項來開始一個交互會話。 你應該在哪裡輸入系統命令行來啟動一個腳本文件? 在輸入系統命令行的地方,也就是你所在的平臺提供給作為系統 ...
  • 猜猜看,下麵這一組調查對象是什麼? 為什麼會這樣呢? 因為我在佈置作業的時候,很貼心地給了一個樣例,是我之前寫的一篇教程《 如何用R和API免費獲取Web數據? 》。 於是,多組作業,都雷同。 講到這裡,他們一副不好意思的表情。 我卻發覺,這裡蘊藏著一個問題。 幾乎所有國內雲市場的 API 產品,都 ...
  • 備忘錄模式-Memento Pattern Memento備忘錄設計模式是一個保存另外一個對象內部狀態拷貝的對象,這樣以後就可以將該對象恢復到以前保存的狀態。 本文中的場景: 有一款游戲可以隨時存檔, 存檔完成後就可以讀取檔案里的數據, 然後下次開機就可以從那個時間點繼續玩游戲了. 有一個小孩通過存 ...
  • ACM 2003 求實數的絕對值 import java.util.Scanner; public class Lengxc { public static void main(String[] args) { Scanner scanner = new Scanner(System.in); wh ...
  • 如: Enum ShowPosition { 首頁 = 0,一級分類頁 = 1,二級分類頁 = 2 } 想獲得漢字對應的數字,可用GetHashCode() html展示如下:迴圈枚舉 @foreach (B2B.Enum.ShowPosition pd in Enum.GetValues(type ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...