Python 實現資料庫更新腳本的生成

来源:http://www.cnblogs.com/rcddup/archive/2017/07/09/7141248.html
-Advertisement-
Play Games

我在工作的時候,在測試環境下使用的資料庫跟生產環境的資料庫不一致,當我們的測試環境下的資料庫完成測試準備更新到生產環境上的資料庫時候,需要準備更新腳本,真是一不小心沒記下來就會忘了改了哪裡,哪裡添加了什麼,這個真是非常讓人頭疼。因此我就試著用Python來實現自動的生成更新腳本,以免我這爛記性,記不 ...


  我在工作的時候,在測試環境下使用的資料庫跟生產環境的資料庫不一致,當我們的測試環境下的資料庫完成測試準備更新到生產環境上的資料庫時候,需要準備更新腳本,真是一不小心沒記下來就會忘了改了哪裡,哪裡添加了什麼,這個真是非常讓人頭疼。因此我就試著用Python來實現自動的生成更新腳本,以免我這爛記性,記不住事。

  主要操作如下:

  1.在原先 basedao.py 中添加如下方法,這樣舊能很方便的獲取資料庫的數據,為測試資料庫和生產資料庫做對比打下了基礎。

 1     def select_database_struts(self):
 2         '''
 3         查找當前連接配置中的資料庫結構以字典集合
 4         '''
 5         sql = '''SELECT COLUMN_NAME, IS_NULLABLE, COLUMN_TYPE, COLUMN_KEY, COLUMN_COMMENT
 6                 FROM information_schema.`COLUMNS` 
 7                 WHERE TABLE_SCHEMA="%s" AND TABLE_NAME="{0}" '''%(self.__database)
 8         struts = {}
 9         for k in self.__primaryKey_dict.keys():
10             self.__cursor.execute(sql.format(k))
11             results = self.__cursor.fetchall()
12             struts[k] = {}
13             for result in results:
14                 struts[k][result[0]] = {}
15                 struts[k][result[0]]["COLUMN_NAME"] = result[0]
16                 struts[k][result[0]]["IS_NULLABLE"] = result[1]
17                 struts[k][result[0]]["COLUMN_TYPE"] = result[2]
18                 struts[k][result[0]]["COLUMN_KEY"] = result[3]
19                 struts[k][result[0]]["COLUMN_COMMENT"] = result[4]
20         return self.__config, struts
View Code

  2.編寫對比的Python腳本

  1 '''
  2 資料庫遷移腳本, 目前支持一下幾種功能:
  3 1.生成舊資料庫中沒有的資料庫表執行 SQL 腳本(支持是否帶表數據),生成的 SQL 腳本在 temp 目錄下(表名.sql)。
  4 2.生成添加列 SQL 腳本,生成的 SQL 腳本統一放在 temp 目錄下的 depoyed.sql 中。
  5 3.生成修改列屬性 SQL 腳本,生成的 SQL 腳本統一放在 temp 目錄下的 depoyed.sql 中。
  6 4.生成刪除列 SQL 腳本,生成的 SQL 腳本統一放在 temp 目錄下的 depoyed.sql 中。
  7 '''
  8 import json, os, sys
  9 from basedao import BaseDao
 10 
 11 temp_path = sys.path[0] + "/temp"
 12 if not os.path.exists(temp_path):
 13     os.mkdir(temp_path)
 14 
 15 def main(old, new, has_data=False):
 16     '''
 17     @old 舊資料庫(目標資料庫)
 18     @new 最新的資料庫(源資料庫)
 19     @has_data 是否生成結構+數據的sql腳本 
 20     '''
 21     clear_temp()    # 先清理 temp 目錄
 22     old_config, old_struts = old
 23     new_config, new_struts = new
 24     for new_table, new_fields in new_struts.items():
 25         if old_struts.get(new_table) is None:
 26             gc_sql(new_config["user"], new_config["password"], new_config["database"], new_table, has_data)
 27         else:
 28             cmp_table(old_struts[new_table], new_struts[new_table], new_table)
 29 
 30 def cmp_table(old, new, table):
 31     '''
 32     對比表結構生成 sql
 33     '''
 34     old_fields = old
 35     new_fields = new
 36 
 37     sql_add_column = "ALTER TABLE `{TABLE}` ADD COLUMN `{COLUMN_NAME}` {COLUMN_TYPE} COMMENT '{COLUMN_COMMENT}';\n"
 38     sql_change_column = "ALTER TABLE `{TABLE}` CHANGE `{COLUMN_NAME}` `{COLUMN_NAME}` {COLUMN_TYPE} COMMENT '{COLUMN_COMMENT}';\n"
 39     sql_del_column = "ALTER TABLE `{TABLE}` DROP {COLUMN_NAME};"
 40 
 41     if old_fields != new_fields:
 42         f = open(sys.path[0] + "/temp/deploy.sql", "a", encoding="utf8")
 43         content = ""
 44         for new_field, new_field_dict in new_fields.items():
 45             old_filed_dict = old_fields.get(new_field)
 46             if old_filed_dict is None:
 47                 # 生成添加列 sql
 48                 content += sql_add_column.format(TABLE=table, **new_field_dict)
 49             else:
 50                 # 生成修改列 sql
 51                 if old_filed_dict != new_field_dict:
 52                     content += sql_change_column.format(TABLE=table, **new_field_dict)
 53                 pass
 54         # 生成刪除列 sql
 55         for old_field, old_field_dict in old_fields.items():
 56             if new_fields.get(old_field) is None:
 57                 content += sql_del_column.format(TABLE=table, COLUMN_NAME=old_field)
 58                 
 59         f.write(content)
 60         f.close()
 61 
 62 def gc_sql(user, pwd, db, table, has_data):
 63     '''
 64     生成 sql 文件
 65     '''
 66     if has_data:
 67         sys_order = "mysqldump -u%s -p%s %s %s > %s/%s.sql"%(user, pwd, db, table, temp_path, table)
 68     else:
 69         sys_order = "mysqldump -u%s -p%s -d %s %s > %s/%s.sql"%(user, pwd, db, table, temp_path, table)
 70     os.system(sys_order)
 71 
 72 def clear_temp():
 73     '''
 74     每次執行的時候調用這個,先清理下temp目錄下麵的舊文件
 75     '''
 76     if os.path.exists(temp_path):
 77         files = os.listdir(temp_path)
 78         for file in files:
 79             f = os.path.join(temp_path, file)
 80             if os.path.isfile(f):
 81                 os.remove(f)
 82     print("臨時文件目錄清理完成")
 83 
 84 if __name__ == "__main__":
 85     test1_config = {
 86         "user" : "root", 
 87         "password" : "root",
 88         "database" : "test1", 
 89     }
 90     test2_config = {
 91         "user" : "root", 
 92         "password" : "root",
 93         "database" : "test2", 
 94     }
 95     
 96     test1_dao = BaseDao(**test1_config)
 97     test1_struts = test1_dao.select_database_struts()
 98     
 99     test2_dao = BaseDao(**test2_config)
100     test2_struts = test2_dao.select_database_struts()
101 
102     main(test2_struts, test1_struts)
View Code

  目前只支持了4種SQL腳本的生成。

  如果有感興趣一起學習、討論Python的可以加QQ群:626787819,有啥意見或者建議的可以發我郵箱:[email protected]


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 題目描述 在幻想鄉,上白澤慧音是以知識淵博聞名的老師。春雪異變導致人間之里的很多道路都被大雪堵塞,使有的學生不能順利地到達慧音所在的村莊。因此慧音決定換一個能夠聚集最多人數的村莊作為新的教學地點。人間之里由N個村莊(編號為1..N)和M條道路組成,道路分為兩種一種為單向通行的,一種為雙向通行的,分別 ...
  • 一 概述 1.什麼是重載? 利用形參區分同一個類中多個同名方法的機制叫做重載。 2.什麼是重寫? 子類繼承父類,重寫父類方法的過程叫做重寫。 二 對比 1.發生範圍 重寫發生在父類與子類之間,涉及兩個類,重載發生在同一個類內部。 2.約束 重寫 重載 重載正是根據方法的形參來區分同名的方法,所以同名 ...
  • Java中的集合框架(中) 由於Java中的集合框架的內容比較多,在這裡分為三個部分介紹Java的集合框架,內容是從淺到深,如果已經有java基礎的小伙伴可以直接跳到<淺入深出之Java集合框架(下)>。 目 錄 淺入深出之Java集合框架(上) 淺入深出之Java集合框架(中) 淺入深出之Java ...
  • Descriptions: Given a sorted array, remove the duplicates in place such that each element appear only once and return the new length. Do not allocate ...
  • 環境: python2.7 ComsenzXP自帶MySQL 安裝python-MySQL模塊 數據格式:txt格式的賬號信息。 數據一行一條數據。 難點:有的行只有賬號,沒有密碼;有的為空行;有的行首行尾有三連引號;有的空行;有的不是賬號密碼信息。 代碼實現: ...
  • 一、java中的序列化 當兩個進程在進行遠程通信時,彼此可以發送各種類型的數據。無論是何種類型的數據,都會以二進位序列的形式傳送。發送方需要把這個Java對象轉換為位元組序列,才能在網路上傳送;接收方則需要把位元組序列再恢復為Java對象。把Java對象轉換為位元組序列的過程稱為對象的序列化。把位元組序列恢 ...
  • 一、管道流 演示:PipedInputStream , PipedOutputStream 註意:管道流本身就不建議在一個線程中使用,這是因為向輸出流中寫的數據,都會存到輸入流內部的一個1024位元組大小的數組中,如果寫的內容超過這個數組的大小,而且沒有被輸入流讀取的話,輸出流所在的線程就會等待,如果 ...
  • MyBatis介面的簡單實現原理 用過MyBatis3的人可能會覺得為什麼MyBatis的Mapper介面沒有實現類,但是可以直接用? 那是因為MyBatis使用Java動態代理實現的介面。 這裡僅僅舉個簡單例子來說明原理,不是完全針對MyBatis的,這種思想我們也可以應用在其他地方。 定義一個接 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...