嵌入式資料庫簡介

什麼是嵌入式資料庫？

嵌入式資料庫主要有兩種定義：

• 用於嵌入式系統（如移動設備或消費電子產品）的資料庫。嵌入式資料庫需要占用空間小，併在記憶體和CPU能力有限的環境中提供足夠的性能。
• 嵌入到應用程式中的資料庫--這意味著應用程式不與資料庫伺服器通信，而是內置資料庫組件。這種類型的資料庫通常用於邊緣計算應用。

在這兩種定義中，嵌入式資料庫系統是一組與應用或固件代碼相關聯的庫，為應用或設備提供內置資料庫功能。這不同於客戶端/伺服器資料庫系統，在客戶端/伺服器資料庫系統中，另一個進程（資料庫伺服器）為一個或多個客戶端應用程式提供資料庫服務。

特點：

• 具有不同應用編程介面（SQL以及專有、本地API）的資料庫系統
• 資料庫架構（客戶端-伺服器和進程內）
• 存儲模式（磁碟存儲、記憶體存儲和組合存儲）
• 資料庫模型（關係型、面向對象型、實體-屬性-值模型、網路/CODASYL）
• 特定市場

嵌入式系統的特點

嵌入式系統是電腦硬體和軟體的組合，旨在執行特定功能。例如智能手機、數位相機和聯網汽車。嵌入式系統具有以下特點：

• 由硬體、固件和軟體組成
• 為特定系統任務而設計，因此通常集成到更大的系統中
• 計算能力由集成電路（微處理器或微控制器）提供
• 通常需要在時間限制下執行任務，以支持更大系統中的其他組件

嵌入式資料庫的要求

要瞭解一個資料庫是否適合用作嵌入式資料庫，請考慮以下要求：

• 是否支持CRUD（創建、讀取、更新、刪除）？
• 是否支持ACID（原子性、一致性、隔離性、持久性）？
• 能否使用不同的編程語言和操作平臺？
• 是否可以方便地將數據轉移到中央資料庫？
• 是否無需資料庫管理員進行維護？

在幾乎所有的嵌入式資料庫應用中，嵌入式應用都需要存儲多個複雜的數據流，以便進行分析和操作。它們必須能夠接收來自多個來源的數據，並同時執行讀寫操作。資料庫不僅需要存儲數據，還必須保持完整性，並能夠在系統發生故障時進行恢復。

您可以使用基本的CRUD功能來修改數據，但它不能保證數據完整性。ACID提供了更好的完整性級別，並且能夠支持事務場景。在嵌入式場景中，數據記錄通過多條語句寫入資料庫。下麵介紹ACID如何幫助支持這種需求：

• 原子性要求資料庫允許或拒絕構成記錄的所有語句。
• 一致性有助於防止可能破壞數據的部分更改。
• 隔離性允許您同時寫入多個數據記錄，而不會相互影響。
• 持久性意味著，如果記錄已提交，即使系統發生故障，該記錄也會保持提交狀態。

不符合ACID要求會增加資料庫損壞的風險。在擁有成百上千台設備的環境中，更有可能發生錯誤，因此ACID合規性變得更加重要。

嵌入式資料庫的類型

嵌入式場景中使用的資料庫主要有三種類型。

• 傳統SQL資料庫可用於嵌入式系統，但通常必須犧牲存儲空間或功能。有些資料庫僅實現部分SQL語法，或提供弱類型SQL語法，無法保證完整性。

• 時間序列資料庫測量、跟蹤、調查和自動處理時間敏感型數據流。時間序列資料庫為了速度犧牲了一些ACID功能。例如，如果您的系統正試圖優化寫入次數，記錄鎖定的時間可能會縮短，這可能會降低一致性。

• 數據歷史系統收集並存儲大量帶有時間戳的數據。數據歷史器通常內置於設備中，主要用於收集和傳輸信息，分析能力有限。它可以提供SQL查詢界面，但不一定遵循標準SQL語法。

參考資料

• 軟體測試精品書籍文檔下載持續更新 https://github.com/china-testing/python-testing-examples 請點贊，謝謝！
• 本文涉及的python測試開發庫 謝謝點贊！ https://github.com/china-testing/python_cn_resouce
• python精品書籍下載 https://github.com/china-testing/python_cn_resouce/blob/main/python_good_books.md

嵌入式資料庫： SQL與API

在許多嵌入式系統中，需要在SQL訪問資料庫（通常使用JDBC/ODBC）與專有API訪問之間做出選擇。讓我們來看看每種方法的優缺點。

使用SQL訪問嵌入式資料庫

• SQL眾所周知，對開發人員和管理員非常有用。
• 提供靈活的查詢功能。
• 能夠同時對多條記錄應用UPDATE或DELETE語句，而非SQL API則單獨處理每條記錄。
• 能夠同時對多條記錄應用UPDATE或DELETE語句，而非SQL API則單獨處理每條記錄。
• 解析、優化和執行查詢所需的開銷很高。這些步驟會占用CPU周期、記憶體和其他稀缺資源。
• SQL通常與其他系統不完全相容，例如與面向對象編程不相容。這被稱為 "阻抗失配"。為瞭解決這個問題，引入了對象關係映射（ORM object-relational mapping），但它增加了更多的開銷。

使用專有API訪問嵌入式資料庫

• 避免了阻抗失配，因為嵌入式資料庫及其API是由同一家公司設計的。
• 消除了處理SQL查詢的開銷，允許直接訪問數據。
• 使用專有API是一項專業技能，團隊成員必須學習。
• 鎖定在特定的資料庫系統中，如果該系統不符合要求，則很難遷移。

變更數據捕獲（CDC）和嵌入式資料庫

在許多嵌入式系統中，CDC（Change Data Capture ）用於識別哪些數據發生了變化，併為將來的目的保存數據變化。這可以實現資料庫恢復、複製和處理流事件。

在嵌入式資料庫中，變化數據捕獲提供了三種主要功能：

• 事務記錄-在資料庫崩潰後，使用UNDO和REDO操作檢索資料庫事務。
• 觸發器-當資料庫檢測到INSERT、UPDATE或DELETE操作時調用的動作。
• 複製-CDC可以支持多種複製模式：
  • 複製已提交的事務（鏡像或事務複製）
  • 複製已提交和未提交的事務（日誌傳輸）

常見實現

• Advantage Database Server from Sybase Inc.

Sybase的Advantage Database Server（ADS）是一個嵌入式資料庫管理系統。它提供ISAM和關係型數據訪問，相容多種平臺，包括Windows、Linux和Netware。它既可以是免版稅的本地文件伺服器資料庫，也可以是完整的客戶伺服器版本。ADS具有高度可擴展性，無需管理，支持多種集成開發環境。

• Berkeley DB from Oracle Corporation

Oracle的嵌入式資料庫實際上是Berkeley DB，是Oracle從Sleepycat軟體公司收購的。Berkeley DB是一個快速、開源的嵌入式資料庫，被用於多個著名的開源產品，包括Linux和BSD Unix操作系統、Apache Web伺服器、OpenOffice生產力套件。然而，近年來許多知名項目轉而使用LMDB，因為LMDB在 "少即是多 "的設計基礎上，在關鍵場景中的性能優於Berkeley DB，而且許可證也發生了變化。

• Apache Derby
  Derby是一個完全用Java編寫的可嵌入的SQL引擎。Derby是一個成熟的引擎，在Apache許可下免費提供，並得到積極的維護。Derby項目頁面。它也作為Oracle的Java SE開發包（JDK）的一部分以Java DB的名義發佈。

• DuckDB from DuckDB Labs

• CSQL from csqlcache.com

• Extensible Storage Engine from Microsoft

• eXtremeDB from McObject

McObject LLC推出的eXtremeDB是第一個為實時嵌入式系統從零開始設計的記憶體嵌入式資料庫。最初的產品很快被用於容錯應用的eXtremeDB高可用性（HA）加入。現在，該產品系列包括64位版本和事務日誌版本，以及混合型eXtremeDB Fusion，它結合了記憶體和磁碟數據存儲。2008年，McObject推出了eXtremeDB Kernel Mode，這是第一個設計用於在操作系統內核中運行的嵌入式DBMS。

• Firebird Embedded
• HSQLDB from HSQLDB.ORG,
• Informix Dynamic Server (IDS) from IBM

Informix Dynamic Server (IDS)的特點是作為企業級可嵌入式資料庫伺服器，結合了可嵌入式特性（如低占用空間、可編程和自主能力）和企業級資料庫特性（如高可用性和靈活的複製特性）。 IDS被用於深度嵌入式場景，如IP電話呼叫處理系統、銷售點應用和金融交易處理系統。

• InfinityDB from Boiler Bay Inc.

nfinityDB嵌入式Java DBMS是一個排序的分層鍵/值存儲。它現在有一個加密版和一個客戶端/伺服器版。多核速度已申請專利。InfinityDB是安全的、事務性的、可壓縮的和健壯的，只需一個文件就可以立即安裝和零管理。API包括簡單快速的 "ItemSpace"、ConcurrentNavigableMap視圖和JSON。RemoteItemSpace可以將嵌入式API透明地重定向到其他資料庫實例。客戶端/伺服器包括一個輕量級的Servlet伺服器、web管理和資料庫瀏覽，以及用於python的REST。

• InnoDB from Oracle Corporation
• InterBase (Both server and mobile friendly deeply embedded version) from Embarcadero Technologies

InterBase是一個屢獲IoT大獎的跨平臺、支持Unicode的SQL資料庫平臺，可嵌入到交鑰匙應用中。支持開箱即用的SMP和磁碟AES強度256位加密，符合SQL 92和ACID標準，支持Windows、LevelDBMacintosh、Linux、Solaris、iOS和Android平臺。是中小型企業和大型企業支持數百個用戶和移動應用開發的理想選擇。InterBase Light是一個免費版本，可在任何移動設備上使用，是移動應用的理想選擇。隨著對變更管理和安全性要求的提高，企業可以切換到付費版本。InterBase在國防、空域、石油和天然氣以及製造行業的應用率很高

• KùzuDB
• LanceDB
• LevelDB

LevelDB是Google創建的有序鍵/值存儲，是Bigtable存儲設計的輕量級實現。作為一個庫（這是使用LevelDB的唯一方法），它的本地API是C++。它還為大多數功能提供了官方的C語言封裝。第三方API封裝包適用於Python、PHP、Go（純Go LevelDB實現已經存在，但仍在開發中）、Node.js和Objective C。

• Lightning Memory-Mapped Database (LMDB) from Symas Corp.

閃電記憶體映射資料庫（LMDB）是OpenLDAP項目的記憶體映射鍵值資料庫。它是用C語言編寫的，其API仿照Berkeley DB API，但已大大簡化。該庫非常緊湊，編譯後的x86目標代碼不到40KB，通常比Berkeley DB、LevelDB等類似庫更快。該庫實現了具有多版本併發控制（MVCC）、單級存儲、寫入時複製功能的B+樹，並提供了無死鎖的完全ACID事務。該庫針對高讀取併發性進行了優化；讀者完全不需要鎖。讀取器不會阻塞寫入器，寫入器也不會阻塞讀取器，因此讀取性能在任意多線程和CPU上完全線性擴展。第三方封裝程式適用於C++、Erlang和Python。LMDB由OpenLDAP項目根據OpenLDAP公共許可證發佈。自2013年起，OpenLDAP項目不再使用Berkeley DB，轉而使用LMDB。

• Mimer SQL

專有的Mimer SQL關係資料庫伺服器有一個嵌入式零維護版本。它採用模塊化設計，占用空間小，完全支持SQL標準，並可移植到Windows、Linux、Automotive Grade Linux、Android、QNX、INTEGRITY等平臺。

• MonetDB/e

MonetDB/e是開源MonetDB SQL列存儲引擎的嵌入式版本。可用於C、C++、Java (JDBC)和Python。MonetDB許可證，基於MPL 2.0。前身MonetDBLite（用於R、Python和Java）已不再維護。取而代之的是MonetDB/e。

• MySQL Server Embedded

嵌入式MySQL伺服器庫提供了常規MySQL的大部分功能，它是一個可鏈接的庫，可以在客戶端進程的上下文中運行。在初始化之後，客戶端可以使用與單獨的MySQL伺服器相同的C API調用，但通信開銷較小，並且不需要單獨的資料庫進程。

• NexusDB

NexusDB是FlashFiler資料庫的商業繼承者，FlashFiler資料庫現在已經開源。它們都可以嵌入到Delphi應用程式中，創建具有完整資料庫功能的獨立可執行文件

• Raima Database Manager from Raima

該產品在兩種意義上是嵌入式的：首先，它嵌入到應用程式中，成為應用程式的擴展；其次，由於其占用空間小、運行高效，它可以在嵌入式電腦/操作系統或實時環境中使用。它的API（用於C/C++、SQL、JDBC、ODBC、ADO.NET和RESTful）是為支持嵌入式環境的有限資源而設計的。

• RocksDB

RocksDB創建於Facebook，最初是LevelDB的一個分叉。 它專註於性能，尤其是在SSD上的性能。它增加了許多功能，包括事務、 備份、 快照、 Bloom過濾器、 列族、 過期、 自定義合併操作符、 更可調的壓縮、 統計收集、 和地理空間索引。 它被用作其他幾個資料庫的存儲引擎，包括ArangoDB、 Ceph、 CockroachDB、 MongoRocks、 MyRocks、 Rocksandra、 TiKV、 和YugabyteDB。

• solidDB

Solid DB是一種磁碟/記憶體混合型關係資料庫，通常用作電信設備、網路軟體和類似系統中的嵌入式系統資料庫。記憶體資料庫技術用於實現每秒數以萬計的事務吞吐量，響應時間以微秒計算。高可用性選項始終保持兩份數據同步。如果系統發生故障，應用程式可在一秒鐘內恢復對實體資料庫的訪問，而不會丟失數據。

• SQLite（霸主）

SQLite是一個軟體庫，它實現了一個自包含、無伺服器、零配置、事務型SQL資料庫引擎。SQLite是世界上部署最廣泛的SQL資料庫引擎。SQLite的源代碼（主要是C語言）屬於公共領域。它包括本地C庫和簡單的資料庫命令行客戶端。

• SQL Server Compact from Microsoft Corporation

SQL Server Compact是微軟的嵌入式資料庫，具有多種功能，如多進程連接、T-SQL、與任何後端資料庫同步的ADO.NET同步服務、與SQL Server的合併複製、編程API、LINQ to SQL、LINQ to Entities、ADO.NET： 編程API：LINQ to SQL、LINQ to Entities、ADO.NET。該產品可在桌面和移動Windows平臺上運行。該產品已在市場上銷售了很長時間，被許多企業用於生產軟體（案例研究）。該產品經歷了多次品牌重塑，曾有多個名稱，如 SQL CE、SQL Server CE、SQL Server Mobile、SQL Mobile。

• Sophia Embeddable key-value storage