最近在弄一個項目分析的時候，看到有一個尾碼為”.sqlite”的數據文件，由於以前沒怎麼接觸過，就想著怎麼用python來打開併進行數據分析與處理，於是稍微研究了一下。

SQLite是一款非常流行的關係型資料庫，由於它非常輕盈，因此被大量應用程式採用。

像csv文件一樣，SQLite可以將數據存儲於單個數據文件，以便方便的分享給其他人員。許多編程語言都支持SQLite數據的處理，python語言也不例外。

sqlite3是python的一個標準庫，可以用於處理SQLite資料庫。

用sqlite3創建和操作資料庫文件

對於資料庫的SQL語句，本文會用到最基礎的SQL語句，應該不影響閱讀。如果想進一步瞭解，可參考如下網址：
http://www.w3school.com.cn/sql/index.asp

下麵，我們來應用salite3模塊來創建SQLite數據文件，以及進行數據讀寫操作。主要的步驟如下：

1. 與資料庫建立連接，創建資料庫文件（.sqlite文件）
2. 創建游標（cursor）
3. 創建數據表（table）
4. 向數據表中插入數據
5. 查詢數據

演示代碼如下：

import sqlite3

with sqlite3.connect('test_database.sqlite') as con:
    c = con.cursor()
    c.execute('''CREATE TABLE test_table
    (date text, city text, value real)''')
    for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
        print("Table", table[0])
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'bj', 100)''')
    c.execute('''INSERT INTO test_table VALUES
    ('2017-6-25', 'pydataroad', 150)''')
    c.execute("SELECT * FROM test_table")
    print(c.fetchall())

Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]

關於SQLite資料庫中數據的可視化預覽，有很多的工具可以實現，我這裡使用的是SQLite Studio，是一個免費使用的工具，不需要安裝，下載下來就可以使用，有興趣的同學可以參考下麵的鏈接。

https://sqlitestudio.pl/index.rvt?act=download

數據預覽的效果如下：

用pandas來讀取sqlite數據文件

從上面代碼的運行結果可以看出，數據查詢的結果是一個由tuple組成的list。python的list數據在進行進一步的數據處理與分析時，可能會不太方便。可以想象一下，假設如果資料庫的表格中一共有100萬行或者更多數據，從list中迴圈遍歷獲取數據，效率會比較低。

這時，我們可以考慮用pandas提供的函數來從SQLite資料庫文件中讀取相關數據信息，並保存在DataFrame中，方便後續進一步處理。

Pandas提供了兩個函數，均可以讀取尾碼為“.sqlite”數據文件的信息。

• read_sql()
• read_sql_query()

import pandas as pd

with sqlite3.connect('test_database.sqlite') as con:

    # read_sql_query和read_sql都能通過SQL語句從資料庫文件中獲取數據信息
    df = pd.read_sql_query("SELECT * FROM test_table", con=con)
    # df = pd.read_sql("SELECT * FROM test_table", con=con)

    print(df.shape)
    print(df.dtypes)
    print(df.head())

(2, 3)
date      object
city      object
value    float64
dtype: object
        date        city  value
0  2017-6-25          bj  100.0
1  2017-6-25  pydataroad  150.0