文件數據緩存(key-Value)

来源:http://www.cnblogs.com/jinyuttt/archive/2017/08/16/7376709.html
-Advertisement-
Play Games

為瞭解決大量數據緩存,消耗記憶體過多的問題,特別實現了文件緩存;該緩存主要是應用於多存少讀的情況,一般我們做緩存是實現將數據放在記憶體中或者資料庫中;放在記憶體中就會消耗很大記憶體,尤其在高併發大數據緩存時,更容易造成記憶體溢出,資料庫在很大程度能夠滿足我們需求,但是在極端情況,每秒產生很大數據時,資料庫速度 ...


為瞭解決大量數據緩存,消耗記憶體過多的問題,特別實現了文件緩存;該緩存主要是應用於多存少讀的情況,一般我們做緩存是實現將數據放在記憶體中或者資料庫中;放在記憶體中就會消耗很大記憶體,尤其在高併發大數據緩存時,更容易造成記憶體溢出,資料庫在很大程度能夠滿足我們需求,但是在極端情況,每秒產生很大數據時,資料庫速度就是問題;

  基於記憶體和資料庫原因,測試將數據直接放在文件中,是很快的,一般的機械硬碟30-45M/s,一次寫入速度很快;

  整個緩存過程:提高介面,數據緩存50M左右,將數據寫入特定的DB文件中,每次10M寫入,這樣做只是為了平衡硬碟寫入,防止影響其它寫入;

 緩存將數據byte位元組(value值寫入DB文件),同時形成數據索引將位置放在在索引文件中(csv文件),保存key對應的數據文件名稱,對應文件中的位置;每20000個key形成一個文件,再次把該索引文件名稱及生產時間寫入一個全局索引文件中;

  在緩存中需要設置key的緩存個數和緩存時間,預設大小是long的最大值,時間是30分鐘(因為我的需要設置);後臺現場會在一定環境下啟動線程,刪除索引文件和DB文件,主要是按照時間,key個數,文件大小來決定啟動;

  重新讀取值時,先檢索全局索引,從後往前讀取,或者最新生成的數據索引文件,索引文件都分割的很小,所以一次讀入到記憶體,查找key,找到對應的數據位置,在讀取具體的值;

  整個控制並不是100%精確,這是我的需要,如果做精確控制,則要添加很多同步控制,這樣會降低性能和速度,但是也不會影響一般需求使用,肯定比其它方式快;

 測試工作已經完成了,是我沒有想到是,剛剛開始做的時候覺得應該簡單,但是在完成時還是花了很多時間;

 一開始的緩存,也是使用了資料庫,或者存儲用文件索引用文件,最後改成了全部用文件。程式就在在於摸索吧。

程式同步到git和csdn,歡迎大家一起寫“廢代碼”;

數據大小都是按照硬碟30M/s,一般cpu配置寫的,如果沒有把握不要亂改


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 首先,整個頁麵包括:列表數據、數據總數、當前頁數、每頁顯示數據個數、列表總頁數、當前索引數 新建Page類,包含以上6個屬性。其中 總頁數 和 當前索引值 可以通過計算得出,所以可以註釋掉 計算總頁數: 計算當前索引值: 在後臺代碼中設置當前頁面pageNo、每頁多少數據pageSize 在serv ...
  • Java類中對象的序列化工作是通過ObjectOutputStream和ObjectInputStream來完成的。 寫入: 讀取: 註意: 對於任何需要被序列化的對象,都必須要實現介面Serializable,它只是一個標識介面,本身沒有任何成員,只是用來標識說明當前的實現類的對象可以被序列化。 ...
  • 隨著業務變遷/需求變更,JavaEE 應用中會被迫連接多個數據源進行業務處理。 怎樣在不影響原有項目結構的情況下,已最優雅/最簡潔的方式動態切換數據源呢? 本文已一次添加數據源後動態切換實踐為例,描述整個思考和實踐過程,文中如有紕漏,還望指正。 1. 依賴 Spring 動態數據源實現 Spring ...
  • 同一個表單中的內容多次提交到伺服器中。 第一種情況: 提交完表單以後,不做其他操作,直接刷新頁面,表單會提交多次。 - 這種情況產生的根本原因是,Servlet處理完請求以後,直接轉發到目標頁面。 - 這樣整一個業務,只發送了一次請求,那麼當你在瀏覽器中點擊刷新按鈕或者狂按f5會一直都會刷新之前的請 ...
  • python的應用範圍和優勢、變數、數據類型、if、while ...
  • 寫文件與讀文件類似,可以是以位元組為單位寫入,可以是以字元為單位寫入。 對應讀操作FileOutputStream是以位元組為單位進行寫入的: 這裡只是簡單替換,如果想實現追加的話只需要這樣寫FileOutputStream(aFile,true);把第二個參數寫為true就可以了。 FileWrite ...
  • 1.Caesar Shift Cipher(密碼) 說明:密碼學是編程中最有趣的分支之一。研究它的演算法通常以一種簡單的方法開始,這個方法是以著名的羅馬皇帝凱撒大帝命名的,他用這個方法來傳達他的軍事秘密。 我們將在這個問題中練習解密加密消息。這個演算法的想法很簡單。原文的每一個字母都被另一個字母替換。 ...
  • 學了面向對象三大特性繼承,多態,封裝。今天我們看看面向對象的一些進階內容,反射和一些類的內置函數。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...