sqlite鎖的機制

来源:http://www.cnblogs.com/huahuahu/archive/2016/09/17/shu-ju-ku-xie-ru-guo-cheng.html
-Advertisement-
Play Games

reserved state進入reserved state以後,sqlite可以修改資料庫中的內容,不過把修改以後的內容寫到pager的緩存里,大小由page cache指定。進入這個狀態以後,pager開始初始化日誌文件,用戶回滾和異常恢復。(其實就是把日誌中的文件內容拷貝到資料庫文件中去)這... ...


  1. reserved state
    進入reserved state以後,sqlite可以修改資料庫中的內容,不過把修改以後的內容寫到pager的緩存里,大小由page cache指定。 進入這個狀態以後,pager開始初始化日誌文件,用戶回滾和異常恢復。(其實就是把日誌中的文件內容拷貝到資料庫文件中去) 這種機制使得資料庫在進行寫操作時可以同時進行讀操作。 不過由於只有一個reservedexclusive鎖,所以只能有一個寫操作
  2. pending state
    從reserved到exclusive要經歷一個pending state,即獲取pending鎖。 pending是一個gateway lock。
    • 不會有事務從unlock狀態到shared狀態,保證了不會有新的讀操作和寫操作
    • 已經擁有shared鎖的事務可以正常運行。寫事務等待著這些事務的完成,釋放鎖。
  3. Exclusive state
    當其他所有的資料庫鏈接都釋放了鎖之後,整個資料庫就只有一個寫操作的事務了。進入Exclusive狀態。
    1. pager檢查日誌文件已經被寫到了磁碟中,調用fsync()系統調用(如果這個系統調用掛了,SQlite也沒辦法)
      • 如果SYNCHRONOUS PRAGMA是預設的設置,會調用一次sync操作。
      • 如果SYNCHRONOUS PRAGMA是FULL,會調用兩次sync操作
      • 如果SYNCHRONOUS PRAGMA是NONE,不會調用sync操作
    2. pager把已經修改完的內容寫入資料庫文件
    3. 清理日誌文件,釋放鎖

鎖實現的原理

SQLite鎖的實現是基於標準的文件鎖。SQlite在資料庫文件上有三個鎖,1個reserved byte,一個pending byte以及一個shared region。

  1. unlocked->shared
    獲取pending byte的讀鎖。獲取成功以後,在shared region隨機獲得一個byte的讀鎖,並釋放pending byte的讀鎖。
  2. shared->reserved
    獲取reserved byte的寫鎖即可。
  3. reserved->exclusive
    首先獲取pending byte的寫鎖。
    一旦成功,那麼由於pending byte已經被鎖定,因此不會有unlocked->shared。 接下來,會嘗試獲取整個shared region的寫鎖。 由於shared region有一些被active的事務持有讀鎖,因此資料庫會等待這些事務完成並釋放鎖。

恢復機制

使用reserved byte來決定是否需要恢復。
一般來說,日誌文件和reserved lock是同步的,即同時出現和消失。
如果SQLite發現了日誌文件,卻沒有發現reserved lock,那麼可以認為發生了crash或系統掉電。
當pager首次打開資料庫或從資料庫文件讀取到記憶體時,會做一個完整性檢查。如果發現不一致(有日誌文件卻沒有reserved lock),那麼資料庫進入恢復模式。此時的資料庫日誌文件叫做hot journal。
進入恢復模式以後,會直接從shared狀態進入pending狀態,如第一個圖的灰線所示。這樣子可以保證
1. 不會有新的資料庫連接
2. shared狀態的資料庫連接不會進入恢復模式(實際上不會發生,因為第一個資料庫連接會進入恢復模式,從而阻塞其他的資料庫連接進入shared狀態)

簡單的說,一個hot journal就是一個implicit exclusive鎖。如果寫操作crash了,那麼在其他資料庫連接成功恢複數據庫以前,資料庫不會有其他操作。crash以後第一個操作資料庫的pager會看到hot journal,併進行資料庫恢復。

關於文件鎖

File locks really are just flags within the operating system kernel, usually. (The details depend on the specific OS layer interface.) Hence, the lock will instantly vanish if the operating system crashes or if there is a power loss. It is usually also the case that the lock will vanish if the process that created the lock exits.


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1,縱表轉橫表 縱表結構 Table_A: 轉換後的結構: 縱表轉橫表的SQL示例: SELECT Name , SUM(CASE WHEN Course = N'語文' THEN Grade ELSE 0 END) AS Chinese , SUM(CASE WHEN Course = N'數學' ...
  • 前期: 準備: 1、centos6.5 /7 x86_64(後期會更改主機名稱) 2、jdk 1.6 3、hadoop 4、zookeerper-3.4.5 5、zeromq-2.1.7 6、jzmq 2.1.0 7、mdrill 0.20.9 開始:(root用戶) (-註:這裡的主機名和host ...
  • 鏈接概述在3.7.0以後,WAL(Write-Ahead Log)模式可以使用,是另一種實現事務原子性的方法。WAL的優點在大多數情況下更快並行性更高。因為讀操作和寫操作可以並行。文件IO更加有序化,串列化(more sequential)使用fsync()的次數更少,在fsync()調用時好時壞的... ...
  • 演算法很簡單,取訓練樣本每種類別的平均值當做聚類中心點,待分類的樣本離哪個中心點近就歸屬於哪個聚類 。 在《白話大數據與機器學習》里使用了sklearn里的NearestCentroid來處理數據: 訓練模型 clf = NearestCentroid().fit(x, y) 預測數據 clf.pre ...
  • knn
    演算法很簡單,對待分類樣本實施近鄰投票。其中的k個最相鄰的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別。 在《白話大數據與機器學習》里使用了sklearn里的KNeighborsClassifier來處理數據: 訓練模型 clf = KNeighborsClassifier().fit(x, ...
  • 在MongoDB(版本 3.2.9)中,分片集群(sharded cluster)是一種水平擴展資料庫系統性能的方法,能夠將數據集分散式存儲在不同的分片(shard)上,每個分片只保存數據集的一部分,MongoDB保證各個分片之間不會有重覆的數據,所有分片保存的數據之和就是完整的數據集。分片集群將數 ...
  • 英文地址文章參考簡介支持事務的資料庫系統如sqlite的一個重要特性是原子提交(atomic commit)。也就是在一個事務中進行的對資料庫的寫操作要麼全部執行,要麼全部不執行。看起來像是對資料庫不同部分的寫操作時瞬時發生的。實際上,對磁碟內容的改變需要一段時間,寫操作不可能是瞬時發生的。為此,s... ...
  • 作者環境是win8.1 64位置 PowerDesigner 15, Mariadb 10+,在逆向的過程中發生錯誤,導致只能逆向出表對象,但是表對象中的欄位信息確實沒有的。 錯誤信息中的一部分是: Invalid string or buffer length, 想當然的覺得是逆向過程中,查閱對象 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...