sqlite鎖的機制

来源:http://www.cnblogs.com/huahuahu/archive/2016/09/17/shu-ju-ku-xie-ru-guo-cheng.html
-Advertisement-
Play Games

reserved state進入reserved state以後,sqlite可以修改資料庫中的內容,不過把修改以後的內容寫到pager的緩存里,大小由page cache指定。進入這個狀態以後,pager開始初始化日誌文件,用戶回滾和異常恢復。(其實就是把日誌中的文件內容拷貝到資料庫文件中去)這... ...


  1. reserved state
    進入reserved state以後,sqlite可以修改資料庫中的內容,不過把修改以後的內容寫到pager的緩存里,大小由page cache指定。 進入這個狀態以後,pager開始初始化日誌文件,用戶回滾和異常恢復。(其實就是把日誌中的文件內容拷貝到資料庫文件中去) 這種機制使得資料庫在進行寫操作時可以同時進行讀操作。 不過由於只有一個reservedexclusive鎖,所以只能有一個寫操作
  2. pending state
    從reserved到exclusive要經歷一個pending state,即獲取pending鎖。 pending是一個gateway lock。
    • 不會有事務從unlock狀態到shared狀態,保證了不會有新的讀操作和寫操作
    • 已經擁有shared鎖的事務可以正常運行。寫事務等待著這些事務的完成,釋放鎖。
  3. Exclusive state
    當其他所有的資料庫鏈接都釋放了鎖之後,整個資料庫就只有一個寫操作的事務了。進入Exclusive狀態。
    1. pager檢查日誌文件已經被寫到了磁碟中,調用fsync()系統調用(如果這個系統調用掛了,SQlite也沒辦法)
      • 如果SYNCHRONOUS PRAGMA是預設的設置,會調用一次sync操作。
      • 如果SYNCHRONOUS PRAGMA是FULL,會調用兩次sync操作
      • 如果SYNCHRONOUS PRAGMA是NONE,不會調用sync操作
    2. pager把已經修改完的內容寫入資料庫文件
    3. 清理日誌文件,釋放鎖

鎖實現的原理

SQLite鎖的實現是基於標準的文件鎖。SQlite在資料庫文件上有三個鎖,1個reserved byte,一個pending byte以及一個shared region。

  1. unlocked->shared
    獲取pending byte的讀鎖。獲取成功以後,在shared region隨機獲得一個byte的讀鎖,並釋放pending byte的讀鎖。
  2. shared->reserved
    獲取reserved byte的寫鎖即可。
  3. reserved->exclusive
    首先獲取pending byte的寫鎖。
    一旦成功,那麼由於pending byte已經被鎖定,因此不會有unlocked->shared。 接下來,會嘗試獲取整個shared region的寫鎖。 由於shared region有一些被active的事務持有讀鎖,因此資料庫會等待這些事務完成並釋放鎖。

恢復機制

使用reserved byte來決定是否需要恢復。
一般來說,日誌文件和reserved lock是同步的,即同時出現和消失。
如果SQLite發現了日誌文件,卻沒有發現reserved lock,那麼可以認為發生了crash或系統掉電。
當pager首次打開資料庫或從資料庫文件讀取到記憶體時,會做一個完整性檢查。如果發現不一致(有日誌文件卻沒有reserved lock),那麼資料庫進入恢復模式。此時的資料庫日誌文件叫做hot journal。
進入恢復模式以後,會直接從shared狀態進入pending狀態,如第一個圖的灰線所示。這樣子可以保證
1. 不會有新的資料庫連接
2. shared狀態的資料庫連接不會進入恢復模式(實際上不會發生,因為第一個資料庫連接會進入恢復模式,從而阻塞其他的資料庫連接進入shared狀態)

簡單的說,一個hot journal就是一個implicit exclusive鎖。如果寫操作crash了,那麼在其他資料庫連接成功恢複數據庫以前,資料庫不會有其他操作。crash以後第一個操作資料庫的pager會看到hot journal,併進行資料庫恢復。

關於文件鎖

File locks really are just flags within the operating system kernel, usually. (The details depend on the specific OS layer interface.) Hence, the lock will instantly vanish if the operating system crashes or if there is a power loss. It is usually also the case that the lock will vanish if the process that created the lock exits.


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1,縱表轉橫表 縱表結構 Table_A: 轉換後的結構: 縱表轉橫表的SQL示例: SELECT Name , SUM(CASE WHEN Course = N'語文' THEN Grade ELSE 0 END) AS Chinese , SUM(CASE WHEN Course = N'數學' ...
  • 前期: 準備: 1、centos6.5 /7 x86_64(後期會更改主機名稱) 2、jdk 1.6 3、hadoop 4、zookeerper-3.4.5 5、zeromq-2.1.7 6、jzmq 2.1.0 7、mdrill 0.20.9 開始:(root用戶) (-註:這裡的主機名和host ...
  • 鏈接概述在3.7.0以後,WAL(Write-Ahead Log)模式可以使用,是另一種實現事務原子性的方法。WAL的優點在大多數情況下更快並行性更高。因為讀操作和寫操作可以並行。文件IO更加有序化,串列化(more sequential)使用fsync()的次數更少,在fsync()調用時好時壞的... ...
  • 演算法很簡單,取訓練樣本每種類別的平均值當做聚類中心點,待分類的樣本離哪個中心點近就歸屬於哪個聚類 。 在《白話大數據與機器學習》里使用了sklearn里的NearestCentroid來處理數據: 訓練模型 clf = NearestCentroid().fit(x, y) 預測數據 clf.pre ...
  • knn
    演算法很簡單,對待分類樣本實施近鄰投票。其中的k個最相鄰的樣本中的大多數屬於某一個類別,則該樣本也屬於這個類別。 在《白話大數據與機器學習》里使用了sklearn里的KNeighborsClassifier來處理數據: 訓練模型 clf = KNeighborsClassifier().fit(x, ...
  • 在MongoDB(版本 3.2.9)中,分片集群(sharded cluster)是一種水平擴展資料庫系統性能的方法,能夠將數據集分散式存儲在不同的分片(shard)上,每個分片只保存數據集的一部分,MongoDB保證各個分片之間不會有重覆的數據,所有分片保存的數據之和就是完整的數據集。分片集群將數 ...
  • 英文地址文章參考簡介支持事務的資料庫系統如sqlite的一個重要特性是原子提交(atomic commit)。也就是在一個事務中進行的對資料庫的寫操作要麼全部執行,要麼全部不執行。看起來像是對資料庫不同部分的寫操作時瞬時發生的。實際上,對磁碟內容的改變需要一段時間,寫操作不可能是瞬時發生的。為此,s... ...
  • 作者環境是win8.1 64位置 PowerDesigner 15, Mariadb 10+,在逆向的過程中發生錯誤,導致只能逆向出表對象,但是表對象中的欄位信息確實沒有的。 錯誤信息中的一部分是: Invalid string or buffer length, 想當然的覺得是逆向過程中,查閱對象 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...