ORM規約變更經典案例---mysql軍規

来源:https://www.cnblogs.com/xiexj/archive/2018/02/19/8454209.html
-Advertisement-
Play Games

先介紹一下《MySQL資料庫開發的三十六條軍規》,這裡只介紹核心的,具體內容大家可以自行百度,這是從底層開發人員到管理者必須知道規範。出自58趕集。 介紹兩個例子。這個適合用STAR法則。STAR法則是情境(situation)、任務(task)、行動(action)、結論(result)四項的縮寫 ...


  先介紹一下《MySQL資料庫開發的三十六條軍規》,這裡只介紹核心的,具體內容大家可以自行百度,這是從底層開發人員到管理者必須知道規範。出自58趕集。

寫在前面的話:
  總是在災難發生後,才想起容災的主要性;
  總是在吃過虧後,才記得有人提醒過。
核心軍規: 不在資料庫做計算,CPU計算務必移至業務層; 控制單表數據量,單表記錄控制在千萬級; 控制列數量,欄位數控制在20以內; 平衡範式與冗餘,為提高效率可以犧牲範式設計,冗餘數據; 拒絕3B(big),大SQL、大數據、大批量

  介紹兩個例子。這個適合用STAR法則。STAR法則是情境(situation)、任務(task)、行動(action)、結論(result)四項的縮寫。STAR法則是一種常常被面試官使用的工具。一般常說的開放性的問題,就是設立一個場景怎樣解決問題基本用的是這種工具。

 

案例1:

以下是我們組發生的一個真實例子,具體操作和調研是由我兩個同事實施的。

情境:

  核心交易目前在進行代碼重構,數據模型的重構是其中重要的一個環節。一天我們同事在進行DDL(Data Defination Lauguage)的變更,由於兩個欄位比較相近,但是其中一個是原有欄位不可為空,另外一個是新增欄位,允許為空,結果空欄位被賦值給了非空欄位,DDL執行導致大量異常。DDL變更回滾後日誌恢復正常。

任務:

  從java程式到連接mysql資料庫用到了atlas、mybatis、資料庫驅動到達mysql數據。而欄位的映射是mybatis這樣的ORM(Object Ralational Mapping)框架來處理的,我們的任務就是分析mybatis的源碼和配置,找到問題的根源和以後要註意的事項。 

行動:

  下載mybatis源碼進行調試、分析。當前生產環境中,Mybatis版本是3.2.8.

  在使用mybatis時,有時可以不定義resultMap,直接在<select>語句上指定resultType。此時涉及到Mybatis的結果集自動映射。Mybatis的自動映射。Mybatis的自動映射預設開啟。分析源碼理解mybatis結果自動映射原理:

  1. mybatis自動映射預處理流程:

  2.自動映射流程(applyAutomaticMappings方法)

    就是說applyAutomaticMappings要用到兩個配置參數:mapUnderscoreToCamelCase和callSettersOnNulls。

  mapUnderscoreToCamelCase:是否開啟駝峰命名。開啟後會對大小寫、下劃線均不敏感。

      callSettersOnNulls:是否在該欄位值為null時將結果同時反射set賦值方法進行賦值。

  3. 自動駝峰命名規則測試實驗

實體屬性欄位名是否自動駝峰命名是否可以賦值
deviceId device_id true 賦值給deviceId
deviceId device_id false 沒有賦值給deviceId

traceno

traceNo

traceno true 賦值給traceNo

traceno

traceNo

trace_no false 都沒有進行賦值

traceno

traceNo

trace_no true 賦值給traceNo

 

 

結論:

  在映射時會先把沒有在resultMap中定義欄位映射的欄位按照名稱相同的方式自動映射到返回類型的對應屬性上。自動映射會忽略下劃線和大小寫。

  Mybatis settings配置項說明應該仔細研讀。

  欄位定義各個欄位之間的區分要儘可能的大,嚴禁使用只有大小寫和下劃線不同的兩個欄位。

 

  我們現在在做分享會和讀書會,我的想法是這些學習活動要儘量貼近項目,做有深度的學習。代碼是隨便找個人培訓一下就可以寫的,但是寫出代碼的效率和可維護性等代碼質量的要求決定了大公司對初級程式員要求的門檻。而對所有技術研究的深度決定了突發問題的解決能力,對後續的建設提出的指導和建議。

 

案例2:

  《逆流而上》里介紹的一個案例。

情境:

  在某次項目發佈階段(資料庫使用了分庫分表),因為業務需要新增表欄位,從SQL的代碼邏輯來看,使用了select *,新增欄位應該是相容的,但在做線上資料庫DDL操作後,立即出現了日誌錯誤數飆升報警。當回滾還未執行,日誌錯誤就已經自動恢復。

任務:

  從問題的現象來看,這個問題只有在變更過程中才出現,不太像是結果集映射問題,如果是映射問題,不執行回滾時無法自動恢復的。DBA反饋,可能是TDDL(Taobao Dustributed Data Layer分散式數據訪問引擎)層對Select * 的解析邏輯引起DDL變更的不相容。我們的任務就是確認問題發生的真正原因和對以後的指導意義。

行動(分析過程):

  1. TDDL在執行的時候,碰到select *,會從資料庫表中解決出對應的全部欄位:取第一個庫的第一個表進行解析,解析之後,會緩存結果。替換*,然後在吧解析後的SQL語句交到目標資料庫執行。

  2. 在第一個庫變更後,TDDL拿到最新的欄位列表,後續一段時間內的查詢,都直接用帶有新增欄位的SQL語句提交到資料庫執行;由於有部分資料庫還沒執行變更,沒有新的欄位,導致資料庫執行出錯,無法查詢數據。

結論:

   對於此問題是分庫分表中,持久層框架無對select *的相容邏輯導致。

  但是使用select *的弊端不限於此,比如select * 查詢非必需欄位,會造成資源浪費甚至影響伺服器性能;增加SQL的解析成本;表結構變更可能會引起欄位映射問題;不會使用覆蓋索引,不利於查詢的性能優化等。

  《阿裡巴巴編程規約》中對於ORM規範,有明確一條強制規約:在表查詢中,一律不要使用*作為查詢的欄位列表,需要哪些欄位必須明確寫明。

  

  很多人問過我學習方法的問題,我覺得把這些基本規約和軍規仔細研讀,在平時的工作中多總結實踐,也可以算作一個初級或者中級程式員的亮點了。技術追求體現在解決不了的問題追究到底,瞭解不了的問題研究到底。項目中問題不是天天有,但是這些理論怎樣和實際結合確是天天要面對的問題。

 

跑題時間:

  周末,男神在看電視,我照例在旁邊墊子上一邊做瑜伽一邊陪看電視。看的是一部很老的電影《葉問前傳》。看完之後我就跟男神分享心得:“你看葉問看起來正直厚道的一個人,做起事情來很講究方法。想搞定女友,人家先搞定女友他爹。最後女友捨身救葉問,也得到了他爹實際上的支持。”

  女孩子和男孩子真的是來自兩個星球。我看一個片子通常會想很多。但是我說出來的必定和實際發生的事情有一定的聯繫。但是男孩子通常是看不出來的。比如我跟男神說的上面的心得。是因為前一天晚上我倆聊天,他說看到一個姑娘比我還要超凡脫俗。

  我說你真要和她在一起,知道了她每月要買多少化妝品你就不這麼想了。女孩子多半人前人後不一樣。

      男神說如果在外面見到我,可能沒有那麼喜歡我。我在外面看起來滑頭滑腦的。

  我心想自己在外人看來基本上算是老年痴呆,但是職業習慣,見什麼人說什麼話。不然男神不愛吱聲,我又不說話,我倆在別人看來簡直一對怪胎。我也不點破,只對男神說:“你用詞不當,這個詞應該是‘古靈精怪’”。

  後來他說想找個小尼姑當小老婆。看樣子他還是不太認同,覺得還是應該自己是一根木頭,外面看起來就應該是一根木頭,也不顧及別人跟你這根木頭打交道到底會不會尷尬。

  所以我會有機會就旁敲側擊一下:做人要遵從本心,做事要靈活。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本章我們新建一個項目,並通過這個項目熟悉一下_Layout與_ViewStart以及它們的載入順序. 新建一個項目 首先, 文件->新建一個解決方案 選擇.Net Core 的APP下麵的ASP.NET Core Web App(MVC) Next 設置解決方案的名稱(和Xcode的界面風格有點像) ...
  • 有些時候在某些服務管理腳本中看到$"$string",經過一些測試,發現引號外面的$有和沒有是一樣的。剛纔翻了下man bash,找到瞭解釋。 (1).如果沒有特殊定製bash環境或有特殊需求,$"string"和"string"是完全等價的,使用$""只是為了保證本地化。 以下是man bash關 ...
  • 從網上搜索了好多搭建Centos7搭建伺服器的教程都沒有成功唯獨這個,利用Windows資源管理器連接測試成功。 一、通過yum安裝vsftpd 二、修改vsftpd的配置文件 修改配置文件如下: 1.不允許匿名訪問 2.允許使用本地帳戶進行FTP用戶登錄驗證 3.使用戶不能離開主目錄 當chroo ...
  • 日誌介紹 ...
  • ftp ,lftp,sftp lftpget URL wget links URL curl ...
  • 主機名和名稱解析 ...
  • 網路知識 網路配置 ...
  • 一.官網下載地址:https://dev.mysql.com/downloads/mysql/ 1.選擇對應版本,下載免安裝版: 2.不要註冊賬號,點擊“No thanks,just start my download”: 3.下載到本地後直接解壓: 二.開始安裝 1.在D盤(放在哪個盤隨個人喜好) ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...