關於web系統整體優化提速總結

来源:https://www.cnblogs.com/xiaoXuZhi/archive/2019/06/28/web_Framework_Design.html
-Advertisement-
Play Games

web開發整體架構設計,優化提速。 通過前後端分離+系統拆分:獨立部署,提高系統的可使用性,提高資源的使用效率 通過多級緩存+消息隊列:提高系統相應時間、系統的吞吐量、併發數 資料庫讀寫分離+主從備份,縱向分表+橫向分區存儲:提高資料庫的處理效率,和降低處理壓力。 ...


關於web系統整體優化提速總結

一、背景

  隨著公司業務的拓展,隨之而來就是各種系統橫向和縱向的增加,PVUV也都隨之增加,原有的系統架構和模式慢慢遇上了瓶頸,需要逐步的對系統從整體上進行改造升級,通過一段時間的整理思路,做一個簡單的總結與分享。同時由於能力等方面的不足,如果有什麼說的不好之處,還請各位大神多多指點。

二、整體思路

  本次調整提示主要從以下幾個點進行入手

  • 項目本身架構上:前後端分離、業務系統與管理系統橫向拆分、服務介面根據業務流向進行橫向拆分、服務介面根據功能單元進行縱向分割;
  • 數據交互上:採用多級緩存、消息隊列機制;
  • 數據存儲上:根據業務線和功能模塊橫向分庫、在具體表上,根據實際業務採用橫向拆表縱向分表存儲

三、具體每一個點的細分

1、項目本身架構改進

  項目架構改進,主線就是面向微服務化。主要思路是:前後端分離、業務系統與管理系統橫向拆分、服務介面根據業務流向進行橫向拆分、服務介面根據功能單元進行縱向分層。

  系統分割的整體架構及其組成單元,以及其各個單元間的數據交互關係如下圖:

 

 

前後端分離:

  前後端分離,通俗的說就是:將界面顯示和後端業務邏輯處理分割成獨立的項目,分割後,兩種的數據交互是,前端通過ajax調用後端暴露的數據交互介面,數據交互格式採用(json)。

  前後端分離能夠起到很好的前後端解耦,各自分工,提高開發效率,提高代碼的復用性,便於資源的橫向擴展部署。

系統橫向拆分:

  系統橫向拆分,主要是只,根據不同的業務角色,獨立搭建對應的UI系統,避免一個平臺大單點站點,只要一個模塊出問題,導致整個系統平臺都不能使用。系統拆分後,不同的系統獨立部署,互不影響。這樣適當系統職責功能單一,便於後期維護和管理,同時能夠提高平臺的整體可用性。

  比如,系統橫向可拆分為:平臺總後臺管理系統、合作商管理後臺、店鋪管理後臺、PC商城、H5商城、APP

介面進行橫向拆分、縱向分層:

  介面橫向拆分:橫向拆分,主要是指根據不同的功能模塊將取拆分為獨立的服務。一般拆分標準,是按照大的功能模塊點來拆分。比如:商品、訂單、賬單、用戶、公共數據。

    這樣拆分的好處是:單點項目功能職責單一便於後期維護管理;不同服務獨立部署,互不影響,提高系統的可用性;資源部署,可根據服務使用頻率動態增加單點的硬體資源,提高資源的利用率。

  介面縱向分割:這個就是軟體上的一個分層思想,其作用主要表現在:

  •     可維護性、靈活性,比如當需求發生變化時,只需要修改軟體的一部分,不會影響到其他部分的代碼,降低了層與層之間的耦合度
  •     可擴展性,可以很方便的在現有系統中新功能可重用性,可以減少程式代碼冗餘,每一層都可以多種用途,滿足於多種需求
  •     可管理性,程式分層後可以降低系統管理的難易程式,將程式分為多層後,可以將工作分解給不同的開發小組,從而便於管理,系統越複雜、規模越大,分的層數就需越多。

2、數據交互方式上改進

  數據交互上的改進主要採用多級緩存+消息隊列機制,來提高相應效率,同時也能提高系統的吞吐量和併發數。下麵將簡要說明緩存及其消息隊列的使用機制。

 

   多級緩存效果圖,借用一張博客園的圖,覺得解釋的很到位,如下:

 

 

   客戶端緩存:客戶端緩存主要緩存用戶的登錄狀態消息,非敏感、變更頻率及其小、使用頻換(入地理位置信息)。

    由於客戶端緩存在相應速度是最快的方式,但是也會有一個很致命的缺點,如果需要強制清理緩存比較麻煩,伺服器端提供一個介面配置強制清緩存策略,這樣能夠提高客戶端緩存的可控性。

  伺服器緩存:伺服器緩存主要存儲一些登錄用戶相關信息,以及配置信息等。

  分散式緩存:分散式緩存主要用於緩存一些變化頻率低的數據,比如:商品信息、店鋪信息等等。

  運維級緩存:運維緩存主要緩存一些文件資源,如jscsshtml等,這樣用戶能夠快速的獲取到資源信息。

 

  消息隊列:使用消息隊列非同步處理用戶請求,能夠將用戶請求和邏輯操作解耦,提高用戶相應速度。

3、數據存儲上改進

  數據存儲的主要改進方案是:資料庫讀寫分離+主從備份,縱向分表+橫向分區存儲

  根據業務線和功能模塊橫向分庫、在具體表上,根據實際業務採用橫向拆表縱向分表存儲

  業務線和功能模塊橫向分庫:比如,訂單數據、賬單數據、商品相關的數據,採用獨立的庫存儲

  橫向拆表:主要是針對數據量比較大的表,按照某一規則,分表存儲(是否分表的規則是保持單標數據不要超出百萬),

         比如訂單表,由於數據量比較大,可以按照月分表;用戶表可以按照哈希分表存儲。

  縱向分表:主要是針對錶欄位比較多的表,拆分為多表存儲,一般拆分規則為:

       對於一張表如果業務上分兩次訪問某一張表其中一部分數據,那麼就可以根據每次訪問列的不同來做拆分;

         另外還可以根據列更新的頻率來拆分,例如某些列每天要更新3次,有些列從創建開始基本上很少更新。

四、總結

  通過前後端分離+系統拆分:獨立部署,提高系統的可使用性,提高資源的使用效率

  通過多級緩存+消息隊列:提高系統相應時間、系統的吞吐量、併發數

  資料庫讀寫分離+主從備份,縱向分表+橫向分區存儲:提高資料庫的處理效率,和降低處理壓力。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 一般可以使用cookie,localstorage,sessionStorage來實現瀏覽器端的數據緩存,減少對伺服器的請求。 1.cookie數據存放在本地硬碟中,只要在過期時間之前,都是有效的,即使重啟瀏覽器。但是會在每次HTTP請求中添加到請求頭中,如果數據過多,會造成性能問題。 2.s ...
  • 沒有指定<a>的target屬性值時,預設是"_blank,可以參考以下代碼的設置來控制<a href="#" target="_blank">鏈接</a>target的值target="_blank":在新視窗中瀏覽新的頁面。target="_self":在同一個視窗打開新的頁面。target=" ...
  • JS定時器 ...
  • 註意外邊距摺疊 註意外邊距摺疊 與其他大多數屬性不同,上下的垂直外邊距margin在同時存在時會發生外邊距摺疊。這意味著當一個元素的下邊緣接觸到另一個元素的上邊緣時,只會保留兩個margin值中較大的那個。解決外邊距摺疊的方法有很多種,對於初學者來說最簡單的就是所有元素只使用一個方向上的margin ...
  • git 碼雲地址: https://gitee.com/qichangshui_admin/vueAddTest 參考地址: https://www.jianshu.com/p/bfcfe5fc253b ...
  • [toc] 首發日期:2019 06 27 使用的技術 vue.js+element UI+mock.js vue.js是核心 element UI是一個支持vue.js的UI組件庫 mock.js:由於沒有後端介面,所以需要使用本地數據來假裝成後端的數據。 溫馨提示:如果以下內容超出了你的知識面, ...
  • elementUi vue el-radio 監聽選中變化 ...
  • ChannelPipeline貫穿io事件處理的大動脈 上一篇,我們分析了NioEventLoop及其相關類的主幹邏輯代碼,我們知道netty採用線程封閉的方式來避免多線程之間的資源競爭,最大限度地減少併發問題,減少鎖的使用,因而能夠有效減低線程切換的開銷,減少cpu的使用時間。此外,我們還簡單分析 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...