資料庫損壞的可能原因

来源:http://www.cnblogs.com/huahuahu/archive/2016/10/12/shu-ju-ku-sun-huai-de-ke-neng-yuan-yin.html
-Advertisement-
Play Games

1. 資料庫文件被其他線程覆蓋或刪除在文件描述符關掉以後,繼續使用這個文件描述符訪問打開文件,獲取文件描述符fd(其實是一個整形)關閉文件打開sqlite文件,獲取文件描述符(碰巧也是)fd另一個線程繼續使用fd,寫文件sqlite文件被損壞在事務進行過程中,進行資料庫備份或恢覆在資料庫事務過程中,... ...


1. 資料庫文件被其他線程覆蓋或刪除

  1. 在文件描述符關掉以後,繼續使用這個文件描述符訪問
    1. 打開文件,獲取文件描述符fd(其實是一個整形)
    2. 關閉文件
    3. 打開sqlite文件,獲取文件描述符(碰巧也是)fd
    4. 另一個線程繼續使用fd,寫文件
    5. sqlite文件被損壞
  2. 在事務進行過程中,進行資料庫備份或恢復
    在資料庫事務過程中,資料庫文件既包括老的內容,也包括新的內容。如果此時拷貝這個文件,資料庫可能會被損壞。 備份資料庫最好使用sqlite的api
  3. 刪除日誌文件
    日誌文件中包括rollback需要的信息。刪除以後,無法正確回滾,有可能會導致資料庫損壞。

2. 文件鎖相關

sqlite使用文件鎖來在保證多線程訪問。如果文件鎖機制不正常,會導致同時讀寫文件等信息,導致資料庫損壞

  1. 文件系統沒有正確的實現文件鎖的機制
    在網路操作系統中,比較常見
  2. 不正確使用close()函數
    在Unix中,close()函數會解除所有線程的文件鎖。
    例如A、B線程打開了資料庫文件,使用sqlite的api。此時,線程C依次調用了open(),read()以及close()。此時,這個文件的所有鎖已經沒了。因此A、B有可能會同時寫數據到文件中。
  3. 兩個進程使用不同的鎖協議(locking protocols)
    預設使用POSIX advisory locking,可以用sqlite3_open_v2()函數修改。如果不一致,可能發生同時讀寫,資料庫損壞。
  4. 在資料庫文件使用時rename或unlink
    兩個進程A、B,同時對一個資料庫文件建立資料庫連接。A關閉連接,unlink文件,用同樣的名字創建一個新的資料庫文件,在打開這個資料庫。這樣子A、B兩個進程在使用不同的資料庫,名字卻是一樣的。 然而,日誌文件是根據資料庫名字來區分資料庫文件的。因此這兩個進程的資料庫文件會是同一個。導致資料庫文件損壞。
  5. 一個文件有多個連接
    也就是說一個資料庫文件有多個名字。假如A、B使用不同的名字打開同一個資料庫鏈接,會有兩個日誌文件。 如果線程A crash了,B檢測到需要進行rollback。找不到日誌文件,無法回滾。

3. sync失敗

為了保證資料庫文件的一致性(consistent),會調用fsync()系統調用,把記憶體中的數據刷到磁碟中。如果這個sync操作失敗,會導致資料庫文件損壞

  1. sync系統調用和文檔描述不一致
    USB快閃記憶體經常這樣子。例如寫大數據時,在函數返回已寫入成功時,USB的指示燈還在亮著。
  2. 使用PRAGMAs禁用sync
    synchronous=OFF可以提高速度,卻會導致文件不一致。

4. 硬碟、快閃記憶體損壞

5. 記憶體損壞

當野指針、記憶體溢出等原因,可能導致記憶體中的資料庫結構損壞,從而有可能導致資料庫文件損壞。
當進行memory-mapped I/O時,由於記憶體直接映射到磁碟,如果發生數組越界等,記憶體中的數據損壞,磁碟文件也會損壞

6. 其他操作系統問題

  1. 文件系統崩潰 ##7.sqlite的bug

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 由於項目需要MongoDB做為存儲資料庫,在學習過程碰上疑難雜症,心痛如海,故此終於開始書寫博客之路。 操作MongoDB類庫版本: 連接字元串的相關變化: 沒有安全認證的URL:mongodb://127.0.0.1:27017 加上安全認證的URL:mongodb://[userName]:[u ...
  • 現在MyBatis越來越受大家的喜愛了,它的優勢大家都知道,我就不多說了,直接說重點。 MyBatis中提供動態SQL功能,我們可以使用<if><when><where><otherwise><foreach>等等,這樣我們就可以寫出根據條件生成的動態SQL了,但是,在這中間,我們經常用到的<if> ...
  • 才參加工作不久,很多代碼習慣還沒養成,昨天按要求寫的資料庫基本增刪改查操作,在使用這些方法的時候,雖然能實現功能,但是效率低下,還可能產生記憶體問題,今天被項目經理一頓教育,在此記錄學到的教訓。 mybatis中重覆的代碼使用sql和include標簽進行封裝和調用 資料庫操作使用的是mybatis框 ...
  • 在進行ETL開發時,數據類型(Data Type)是最基礎的,但也容易被忽略,樓主使用的SQL Server 版本是2012,用此博文記錄,常用的SSIS數據類型和TSQL數據類型的映射關係。SSIS的數據類型,主要是指數據流(Data Flow)數據類型和變數(Variable)數據類型。 當數據 ...
  • 無意睹到一篇舊文檔 SR0008:考慮使用 SCOPE_IDENTITY 代替 @@IDENTITY :https://msdn.microsoft.com/zh-cn/library/dd172121(v=vs.100).aspx 日常開發,我們如果在插入記錄的同時需要返回插入的IdentityI ...
  • 如果你初識MySql的話,那麼這些語法糖你有必要知道。 1.Sql創建資料庫 2.Sql創建數據表 3.創建存儲過程 4.關於批量更新和插入數據到mysql ...
  • 最近筆試面試特別多的都問到了資料庫索引,由於之前並沒有單獨做系統的複習,導致許多關於索引的知識點記憶的很模糊,今天整理下相關筆記(並沒有深挖,對於初學者還是可以看看的),僅供參考。 什麼是索引 資料庫索引好比是一本書前面的目錄,能加快資料庫的查詢速度。 例如這樣一個查詢:select * from ...
  • 簡介 對於資料庫運維人員來說創建session或者查詢時產生問題是常規情況,下麵介紹一種很有效且不藉助第三方工具的方式來解決類似問題。 最近開始接觸運維工作,所以自己總結一些方案便於不懂資料庫的同事解決一些不太緊要的資料庫問題。類似方法很多理論也很多,我就不做深究,就是簡單寫一個方案,便於菜鳥使用的 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...