python3教程：json、pickle和sqlite3持久化存儲字典對象

来源:https://www.cnblogs.com/djdjdj123/archive/2022/06/23/16406513.html
-Advertisement-
Play Games

在各種python的項目中，我們時常要持久化的在系統中存儲各式各樣的python的數據結構，常用的比如字典等。尤其是在雲服務類型中的python項目中，要持久化或者臨時的在緩存中儲存一些用戶認證信息和日誌信息等，最典型的比如在資料庫中存儲用戶的token信息。在本文中我們將針對三種類型的python ...


在各種python的項目中，我們時常要持久化的在系統中存儲各式各樣的python的數據結構，常用的比如字典等。尤其是在雲服務類型中的python項目中，要持久化或者臨時的在緩存中儲存一些用戶認證信息和日誌信息等，最典型的比如在資料庫中存儲用戶的token信息。在本文中我們將針對三種類型的python持久化存儲方案進行介紹，分別是json、pickle和python自帶的資料庫sqlite3。

使用json存儲字典對象

json格式的數據存儲也是雲服務項目中常用的類型，具備十分輕量級和易使用的特性，這裡我們展示一個案例：如何使用json格式存儲一個用python產生的斐波那契數列。斐波那契數列中的每一個元素，都等於前一個數和前前一個數的和，即：
，而最常見的斐波那契數列的前兩位數都是1。如下是一個產生斐波那契數列的python代碼：

import json
number = {1:1, 2:1}
for i in range(3, 11):
    number[i] = number[i - 1] + number[i - 2]
print (number)

代碼的執行結果如下：

[dechin@dechin-manjaro store_class]$ python3 json_dic.py 
{1: 1, 2: 1, 3: 2, 4: 3, 5: 5, 6: 8, 7: 13, 8: 21, 9: 34, 10: 55}

我們可以從結果中看到，第10個斐波那契數是55。接下來我們來看看這樣的一個字典，如何持久化的存儲到json格式的文件中，以下是一個使用的示例：

import json
number = {1:1, 2:1}
for i in range(3, 11):
    number[i] = number[i - 1] + number[i - 2]

with open('number.json', 'w') as file:
    json.dump(number, file)

with open('number.json', 'r') as file:
    data = json.load(file)

print (data)

執行這個python文件，我們可以獲得如下所示的輸出：

[dechin@dechin-manjaro store_class]$ python3 json_dic.py 
{'1': 1, '2': 1, '3': 2, '4': 3, '5': 5, '6': 8, '7': 13, '8': 21, '9': 34, '10': 55}

這裡我們發現在當前目錄下產生了一個json的文件：

[dechin@dechin-manjaro store_class]$ ll
總用量 8
-rw-r--r-- 1 dechin dechin 265  3月 20 12:32 json_dic.py
-rw-r--r-- 1 dechin dechin  85  3月 20 12:32 number.json

我們可以看一下這個json文件中存儲了什麼樣的數據：

[dechin@dechin-manjaro store_class]$ cat number.json 
{"1": 1, "2": 1, "3": 2, "4": 3, "5": 5, "6": 8, "7": 13, "8": 21, "9": 34, "10": 55}

在驗證了相關的數據已經被持久化存儲了之後，同時我們也註意到一個問題，我們產生斐波那契數列的時候，索引1,2,3...

使用的是整型變數，但是存儲到json格式之後，變成了字元串格式。我們可以使用如下的案例來說明這其中的區別：

import json
number = {1:1, 2:1}
for i in range(3, 11):
    number[i] = number[i - 1] + number[i - 2]

with open('number.json', 'w') as file:
    json.dump(number, file)

with open('number.json', 'r') as file:
    data = json.load(file)

print (data)
print (number[10])
print (data['10'])
print (data[10])

執行的輸出如下：

[dechin@dechin-manjaro store_class]$ python3 json_dic.py 
{'1': 1, '2': 1, '3': 2, '4': 3, '5': 5, '6': 8, '7': 13, '8': 21, '9': 34, '10': 55}
55
55
Traceback (most recent call last):
  File "json_dic.py", line 16, in <module>
    print (data[10])
KeyError: 10

這裡的輸出就有一個報錯信息，這是因為我們使用了整型索引變數來尋找json存儲的字典對象中對應的值，但是因為前面存儲的時候這些整型的索引已經被轉換成了字元串的索引，因此實際上在存儲的對象中已經不存在整型的鍵值，所以執行結果會報錯，而如果輸入的是字元串類型的鍵值，則成功的找到了第10個斐波那契數。

使用pickle存儲字典對象

關於斐波那契數列的信息，在上一章節中已經介紹，這裡我們直接進入pickle的使用案例：

import pickle
number = {1:1, 2:1}
for i in range(3, 11):
    number[i] = number[i - 1] + number[i - 2]

with open('number.pickle', 'wb') as file:
    pickle.dump(number, file)

with open('number.pickle', 'rb') as file:
    data = pickle.load(file)

print (data)

這裡註意一個細節，在json格式的存儲中我們使用的文件打開格式是w，而在pickle這裡我們使用的存儲文件打開格式是wb，pickle的讀取也是用的rb的二進位的讀取格式。上述代碼的執行輸出結果如下：

[dechin@dechin-manjaro store_class]$ python3 pickle_dic.py 
{1: 1, 2: 1, 3: 2, 4: 3, 5: 5, 6: 8, 7: 13, 8: 21, 9: 34, 10: 55}

這裡我們可以發現，由pickle所存儲的字典格式中的整型的索引也被成功的存儲起來，在當前目錄下產生了一個名為number.pickle的文件就是持久化存儲的對象。

[dechin@dechin-manjaro store_class]$ ll
總用量 12
-rw-r--r-- 1 dechin dechin 320  3月 20 12:45 json_dic.py
-rw-r--r-- 1 dechin dechin  85  3月 20 12:46 number.json
-rw-r--r-- 1 dechin dechin  56  3月 20 12:44 number.pickle
-rw-r--r-- 1 dechin dechin 279  3月 20 12:44 pickle_dic.py

類似於json格式中的持久化讀取驗證，我們也可以簡單修改一個類似的pickle的案例：

import pickle
number = {1:1, 2:1}
for i in range(3, 11):
    number[i] = number[i - 1] + number[i - 2]

with open('number.pickle', 'wb') as file:
    pickle.dump(number, file)

with open('number.pickle', 'rb') as file:
    data = pickle.load(file)

print (data)
print (number[10])
print (data[10])

執行結果如下所示：

{1: 1, 2: 1, 3: 2, 4: 3, 5: 5, 6: 8, 7: 13, 8: 21, 9: 34, 10: 55}
55
55

從結果中我們發現存儲後的對象用一樣的讀取格式被成功讀取。

使用sqlite3存儲字典對象

在常用的Linux操作系統中都會自帶sqlite3資料庫，如果是windows和Mac的操作系統，可以按照這個教程中給的方案進行安裝。

SQLite是一個進程內的庫，實現了自給自足的、無伺服器的、零配置的、事務性的 SQL 資料庫引擎。它是一個零配置的資料庫，這意味著與其他資料庫不一樣，您不需要在系統中配置。

就像其他資料庫，SQLite引擎不是一個獨立的進程，可以按應用程式需求進行靜態或動態連接。SQLite直接訪問其存儲文件。
在這裡插入圖片描述
同時在python3的庫中一般也自帶了sqlite3，不需要自己安裝，下麵我們用ipython演示一下如何在python中使用sqlite3資料庫：

[dechin@dechin-manjaro store_class]$ ipython
Python 3.8.5 (default, Sep  4 2020, 07:30:14) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.19.0 -- An enhanced Interactive Python. Type '?' for help.

In [1]: import sqlite3

In [2]: conn = sqlite3.connect('test_sqlite3.db') # 如果有db文件就讀取，沒有就創建

In [3]: cur = conn.cursor()

In [8]: sql_test_1 = '''CREATE TABLE number
   ...:         (i NUMBER,
   ...:          n NUMBER);''' # 創建一個名為number的表，有兩列數據i和n作為鍵值對

In [9]: cur.execute(sql_test_1) # 執行字元串指令
Out[9]: <sqlite3.Cursor at 0x7f6fb14acc70>

In [10]: sql_test_2 = "INSERT INTO number VALUES(1,1)" # 插入新的數據

In [11]: cur.execute(sql_test_2)
Out[11]: <sqlite3.Cursor at 0x7f6fb14acc70>

In [12]: sql_test_2 = "INSERT INTO number VALUES(2,1)"

In [13]: sql_test_3 = "INSERT INTO number VALUES(2,1)"

In [14]: cur.execute(sql_test_3)
Out[14]: <sqlite3.Cursor at 0x7f6fb14acc70>

In [15]: sql_test_4 = "SELECT * FROM number WHERE i=1" # 檢索數據

In [16]: cur.execute(sql_test_4)
Out[16]: <sqlite3.Cursor at 0x7f6fb14acc70>

In [17]: cur.fetchall()
Out[17]: [(1, 1)]

In [18]: sql_test_5 = "SELECT * FROM number WHERE i>=1"

In [19]: cur.execute(sql_test_5)
Out[19]: <sqlite3.Cursor at 0x7f6fb14acc70>

In [20]: cur.fetchall() # 讀取檢索返回值
Out[20]: [(1, 1), (2, 1)]

In [21]: for i in range(3, 11):
    ...:     sql_test_6 = "SELECT * FROM number WHERE i={}".format(i-1)
    ...:     cur.execute(sql_test_6)
    ...:     select_result1 = cur.fetchall()[0][1]
    ...:     sql_test_7 = "SELECT * FROM number WHERE i={}".format(i-2)
    ...:     cur.execute(sql_test_7)
    ...:     select_result2 = cur.fetchall()[0][1]
    ...:     cur.execute("INSERT INTO number VALUES({},{})".format(i, select_result1+select_res
    ...: ult2))
    ...: 

In [22]: sql_test_8 = "SELECT * FROM number WHERE i>=1"

In [23]: cur.execute(sql_test_8)
Out[23]: <sqlite3.Cursor at 0x7f6fb14acc70>

In [24]: cur.fetchall()
Out[24]: 
[(1, 1),
 (2, 1),
 (3, 2),
 (4, 3),
 (5, 5),
 (6, 8),
 (7, 13),
 (8, 21),
 (9, 34),
 (10, 55)]

In [25]: exit() # 退出ipython

在上述示例中我們演示瞭如何使用sqlite3創建資料庫和表，以及對錶的內容的一些常用操作。在執行完上述示例後，會在當前目錄下產生一個新的db文件：

[dechin@dechin-manjaro store_class]$ ll
總用量 24
-rw-r--r-- 1 dechin dechin  320  3月 20 12:45 json_dic.py
-rw-r--r-- 1 dechin dechin   85  3月 20 12:46 number.json
-rw-r--r-- 1 dechin dechin   56  3月 20 12:47 number.pickle
-rw-r--r-- 1 dechin dechin  315  3月 20 12:47 pickle_dic.py
-rw-r--r-- 1 dechin dechin 8192  3月 20 13:05 test_sqlite3.db

如果在運行過程中出現如下所示的報錯，就代表有其他的進程正在占用這個db文件，因此會有進程將這個資料庫進行鎖定：

Traceback (most recent call last):
  File "sqlite3_dic.py", line 15, in <module>
    cur.execute("INSERT INTO number VALUES(1,1)")
sqlite3.OperationalError: database is locked

解決的辦法是，首先用fuser查看這個db文件被哪個用戶所占用：

[dechin@dechin-manjaro store_class]$ fuser test_sqlite3.db 
/home/dechin/projects/2021-python/store_class/test_sqlite3.db:  5120

我們查看到是5120這個進程占用了資料庫文件，也是這個進程將資料庫鎖定了。通常這種情況出現的原因是，在python中執行的資料庫操作指令未成功完成，導致資料庫的進程沒有結束，而我們也無法再通過這個進程向資料庫中輸入新的指令。因此我們只能通過將該進程殺死的方案來解決這個問題：

[dechin@dechin-manjaro store_class]$ kill -9 5120

還有一個需要註意的點是，上面所用到的資料庫操作實際上並未真正的被保存到資料庫文件中，需要經過commit之後才會被保存到資料庫文件中。接下來我們還是用斐波那契數列的例子來演示資料庫操作的使用：

import sqlite3
from tqdm import trange

conn = sqlite3.connect('test_sqlite3.db')
cur = conn.cursor()
try:
    sql_test_1 = '''CREATE TABLE number
                    (i NUMBER,
                     n NUMBER);'''
    cur.execute(sql_test_1)
except:
    pass
cur.execute("INSERT INTO number VALUES(1,1)")
cur.execute("INSERT INTO number VALUES(2,1)")
for i in trange(3, 11):
    sql_test_6 = "SELECT * FROM number WHERE i={}".format(i - 1)
    cur.execute(sql_test_6)
    select_result1 = cur.fetchall()[0][1]
    sql_test_7 = "SELECT * FROM number WHERE i={}".format(i - 2)
    cur.execute(sql_test_7)
    select_result2 = cur.fetchall()[0][1]
    cur.execute("INSERT INTO number VALUES({},{})".format(i, select_result1 + select_result2))

cur.execute("SELECT * FROM number WHERE i=10")
print (cur.fetchall())
conn.commit()
cur.close()
conn.close()

在上述用例中我們補充了commit操作和close操作，一方面持久化的保存了數據，另一方面也避免因為程式中其他地方的問題而導致了前面所提到的資料庫被鎖定的問題。我們看一下這個用例的執行輸出情況：

[dechin@dechin-manjaro store_class]$ python3 sqlite3_dic.py 
100%|█████████████████████████████████████████████████████████| 8/8 [00:00<00:00, 31775.03it/s]
[(10, 55)]

第10個斐波那契數被成功輸出，在資料庫的輸出中，使用的格式是一個列表包含多個元組的形式。其中每一個元組代表一個滿足檢索條件的鍵值對，每一個元組中的元素代表每一列的值。

前面提到了持久化保存的問題，我們也用一個簡單示例來驗證剛纔經過commit之後是否被成功的保存起來了：

'''
學習中遇到問題沒人解答？小編創建了一個Python學習交流群：153708845
尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！
'''
import sqlite3
from tqdm import trange

conn = sqlite3.connect('test_sqlite3.db')
cur = conn.cursor()
cur.execute("SELECT * FROM number WHERE i=10")
print (cur.fetchall())
conn.commit()
cur.close()
conn.close()

執行輸出如下：

[dechin@dechin-manjaro store_class]$ python3 test_recall_sqlite3.py 
[(10, 55)]

這個結果表明前面存儲下來的斐波那契數列已經被持久化的保存到了資料庫文件中，我們只要鏈接上該資料庫就可以隨時的讀取該數據。

總結

本文介紹了三種python的字典對象持久化存儲方案，包含json、pickle和資料庫sqlite，並且配合一個實際案例斐波那契數列來演示了不同解決方案的使用方法。這裡三種方案實際上各有優劣，推薦的使用場景為：在輕量級、日常使用中可以重點使用json格式進行對象的存儲，我們也可以很方便的在系統上直接查看json格式的文件內容;在多用戶或多進程使用的案例中，推薦使用pickle的方案，可以更高性能、更低開銷的持久化存儲python對象;如果是需要對外提供服務的，我們推薦可以直接使用sqlite，對外可以提供一個資料庫查詢的解決方案，便不需要在本地存儲大量的數據或者可以更方便的對大規模數據進行處理。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 安裝typescript環境並開啟VSCode自動監視編譯ts文件為js文件
    一、前言 小編最近開始學習typescript，懂得人都知道，typescript是vue3的基礎伴生，配合更加默契。就像vue2和js一樣！typescript不像js那樣瀏覽器直接可以解讀，需要我們把ts文件編譯成js文件，這樣瀏覽器才可以解讀。所以我們要安裝一下ts的環境和自動編譯，方便我們後 ...
  • vue自定義組件-實現一個Container全局組件步驟(給還不會使用組件的新手一個思路,大佬繞道)
    前言 : 組件系統是Vue.js其中一個重要的概念，它提供了一種抽象，讓我們可以使用獨立可復用的小組件來構建大型應用，任意類型的應用界面都可以抽象為一個組件樹。 現在基於vue的UI組件庫有很多，比如iview，element-ui等。但有時候這些組件庫滿足不了我們的開發需求，這時候我們就需要自己寫 ...
  • 嵌入式軟體架構設計-程式分層
    1 前言 在嵌入式MCU軟體開發過程中，程式分層設計也是重中之重，關係到整個軟體開發過程中的協同開發，降低系統軟體的複雜度（複雜問題分解）和依賴關係、同時有利於標準化，便於管理各層的程式，提高各層邏輯的復用等。 2 分層介紹 2.1 硬體抽象層（HAL） 嵌入式開發的核心就是晶元，它提供固定的片內資 ...
  • SpringBoot如何集成Log模塊呢？
    目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • Java中使用正則檢查有效日期
    前言 回歸分析就是用於預測輸入變數（自變數）和輸出變數（因變數）之間的關係，特別當輸入的值發生變化時，輸出變數值也發生改變！回歸簡單來說就是對數據進行擬合。線性回歸就是通過線性的函數對數據進行擬合。機器學習並不能實現預言，只能實現簡單的預測。我們這次對房價關於其他因素的關係。 波士頓房價預測 下載相 ...
  • Redis的五種基本數據類型
    迎面走來了你的面試官，身穿格子衫，挺著啤酒肚，髮際線嚴重後移的中年男子。 手拿泡著枸杞的保溫杯，胳膊夾著MacBook，MacBook上還貼著公司標語：“我愛加班”。 面試開始，直入正題。 面試官： 你知道MySQL索引底層數據結構為啥用B+樹？而不用B樹、紅黑樹或者普通二叉樹？ 我： 這事誰知道作 ...
  • Docker(1)
    簡介 是什麼? 確保應用能夠在這些環境中運行和通過質量檢測.並且在部署過程中不出現令人頭疼的版本、配置問題，也無需重新編寫代碼和進行故障修複. Docker之所以發展如此迅速，也是因為它對此給出了一個標準化的解決方案 系統平滑移植，容器虛擬化技術。 解決了運行環境和配置問題的軟體容器，方便做持續集成 ...
  • 01-讀寫分離測試案例
    二、讀寫分離案例 2.1、背景介紹 面對日益增加的系統訪問量，資料庫的吞吐量面臨著巨大瓶頸，對於同一時刻有大量併發讀操作和較少寫操作類型的應用系統來說，將資料庫拆分為主庫和從庫，主庫負責處理事務性的增刪改操作，從庫負責處理查詢操作，這樣可以有效地避免由數據更新導致的行鎖，使得整個系統的查詢性能得到極 ...
一周排行
    -Advertisement-
    Play Games
  • C#自增運算符詳解：++i與i++的區別及應用場景
    概述：在C#中，++i和i++都是自增運算符，其中++i先增加值再返回，而i++先返回值再增加。應用場景根據需求選擇，首碼適合先增後用，尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中，++i 和 i++ 都是自增運算符，但它們在操作上有細微的差異，主要體現在操作的 ...
  • Taurus.MVC 性能壓力測試（ap 壓測 和 linux 下wrk 壓測）：.NET 版本
    上次發佈了：Taurus.MVC 性能壓力測試（ap 壓測 和 linux 下wrk 壓測）：.NET Core 版本，今天計劃準備壓測一下 .NET 版本，來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能，以便後續持續優化改進。 為了方便對比，本文章的電腦環境和測試思路，儘量和... ...
  • 一文讀懂.NET WebAPI中FromRoute、FromQuery、FromBody的關鍵角色與用法
    .NET WebAPI作為一種構建RESTful服務的強大工具，為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時，正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性，如[FromRoute]、[FromQuery]和[FromBody]，用 ...
  • WPF/C#實現圖像濾鏡優化方案：打造炫目視覺體驗！
    原因：我之所以想做這個項目，是因為在之前查找關於C#/WPF相關資料時，我發現講解圖像濾鏡的資源非常稀缺。此外，我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時，會導致CPU的渲染負擔過重。因此，我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • Bogus 實戰：使用 Bogus 和 EFCore 生成模擬數據和種子數據【完整教程】
    引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入，上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試，今天用這個示例來演示一下如何用Bogus創建模擬數據 ，和 EFCore 的種子數據生成 Bogus 的優 ...
  • WPF隨筆收錄-實時繪製心率曲線
    一、前言 在自己的項目中，涉及到實時心率曲線的繪製，項目上的曲線繪製，一般很難找到能直接用的第三方庫，而且有些還是定製化的功能，所以還是自己繪製比較方便。很多人一聽到自己畫就害怕，感覺很難，今天就分享一個完整的實時心率數據繪製心率曲線圖的例子；之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • wpf程式修改啟動入口註意事項
    如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式，但發現 App.xaml 中定義的資源沒有被正確載入，那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣，當你創建 Ap ...
  • 記一次 .NET某爐膛鍋爐檢測系統 崩潰分析
    一：背景 1. 講故事 上個月有個朋友在微信上找到我，說他們的軟體在客戶那邊隔幾天就要崩潰一次，一直都沒有找到原因，讓我幫忙看下怎麼回事，確實工控類的軟體環境複雜難搞，朋友手上有一個崩潰的dump，剛好丟給我來分析一下。 二：WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 一個.NET內置依賴註入的小型強化版
    前言 .NET生態中有許多依賴註入容器。在大多數情況下，微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器，使用很方便。 但是筆者在使用中一直有一個頭疼的問題：服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響，但是內置容器支持註冊開放泛型服 ...
  • WPF隨筆收錄-DataGrid固定右側列
    一、前言 在項目開發過程中，DataGrid是經常使用到的一個數據展示控制項，而通常表格的最後一列是作為操作列存在，比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中，預設只支持固定左側列，這跟大家習慣性操作列放最後不符，今天就來介紹一種簡單的方式實現固定右側列。（這裡的實現方式參考的大佬 ...
所有分類