微服務框架下的思維變化-OSS.Core基礎思路

来源:http://www.cnblogs.com/osscoder/archive/2017/05/23/6892088.html
-Advertisement-
Play Games

如今框架兩字已經爛大街了,xx公司架構設計隨處可見,不過大多看個熱鬧,這些框架如何來的,細節又是如何思考的,相互之間的隔離依據又是什麼...相信很多朋友應該依然存在自己的疑惑,特別是越來越火熱的微服務以及衍生的微服務網關產品,正好最近打算寫一個小開源框架OSS.Core,過程中有一點思考,通過這篇文 ...


  如今框架兩字已經爛大街了,xx公司架構設計隨處可見,不過大多看個熱鬧,這些框架如何來的,細節又是如何思考的,相互之間的隔離依據又是什麼...相信很多朋友應該依然存在自己的疑惑,特別是越來越火熱的微服務以及衍生的微服務網關產品,正好最近打算寫一個小開源框架OSS.Core,過程中有一點思考,通過這篇文章記錄一下,也希望能儘量幫助大家去理解一下,大概圍繞以下幾個問題:

1. 微服務產生的由來

2. 微服務的設計思路

3. OSS.Core框架的設計和實現

  在展開講述之前,我希望大家首先要明白傳統架構和微服務架構之間不是相互獨立/對立關係,微服務是在傳統框架下為了應對併發維護等問題衍生出的邏輯概念,更多的是在項目不同階段的思考和解決問題方式的轉變。其次,把邏輯架構和物理架構(文件) 區分開來,多數時候邏輯架構和物理架構對應的,不過有時一個物理架構中是可以包含多個邏輯架構的。

一. 微服務產生的由來

      微服務主要是將一些大型的,複雜的應用拆解為多個服務組合,每個服務自治,以達到更加靈活,維護方便的效果。 

  為了更好的理解,我們先來看下常見三種解決併發的方式:

  1. 添加資料庫主從分離,甚至多主寫入或者分區等機制,在應用程式中對應修改連接串或添加訪問中間件,來提高資料庫的處理能力。

  2. 由於資料庫資源相對緊張並且比較耗時,為了提高訪問速度,這個時候一般也會通過分散式緩存等來減少對底層的訪問。

  3. 負載均衡分流處理,在大量請求抵達應用程式之前,將其分散到不同的機器上,來解決單機帶寬和性能瓶頸問題。

  當然解決併發還有很多其他的方式,如前端靜態文件壓縮,CDN加速,IP速率控制等,這裡先略過。

  以上這三種方法很多朋友應該都見過,之所以這裡列一下,再結合這張圖可以更加容易的對比出傳統整個服務到微服務之間的變化:

  在傳統的整體服務框架中,模塊之間存在著很大的耦合,項目內部存在互相調用,以及各種複雜聚合操作,所以在多數情況下只能整體部署,在左側圖中我們可以看到負載均衡時我們需要整體部署在多台機器上,相對資料庫也是如此,而一個項目中每個模塊的需求是不一樣的。

  例如:產品和下單模塊的訪問頻率和流程的複雜度上有著很大的不同,下單頻率相對較小,複雜度高,我們更希望運行在預算能力高的相對少機器上,也方便更快的排查問題和維護。右圖中可以看到把服務細化之後,我們可以用更小的部署單元來根據情況進行組合。

  同時,在互聯網產品快速迭代的今天,一個產品需要具有快速為不同終端上線不同應用功能的能力,同時業務的調整能夠快速的上線,傳統的整體服務模式已經力不從心。微服務因為已經化整為零,反而因為各模塊的獨立能很快相互組合,並且每個模塊可以根據不同的需求點採用不同特性的編程語言。

  

 

二. 微服務的設計思路

  因為每個產品都有自己的標準和重點,所以設計服務單元時也各有不同,但是有最基本一點: 服務自治

  當你設計一個微服務模塊時,需要保證當前服務的獨立,特別是數據模塊的獨立,其他服務無權直接操作當前服務下的資料庫模塊,對外交互只能通過服務介面來完成。因為模塊的獨立,所以你可以選擇適合的編程語言,以及對應的部署規模。達到局部的靈活優化。微服務相互獨立帶來以上便利的同時,它也帶來了一些我們需要面對的問題:

  首先:如何如何界定當前服務的邊界,如何確定當前服務治理範圍。

  既然是要最小化服務單元,那就要確定服務的職責邊界問題,這個問題建議結合:服務生命周期流程領域,以及預估規模 這幾點綜合考慮,例如用戶服務,在訪問量小人員少時可以把用戶基礎信息,餘額賬戶放在一個服務模塊下,以減少工作量減少精力分散。規模大時再分基礎服務和資產服務。

  其次:跨服務數據查詢問題

  例如在客戶端中搜索商品,還可以搜索用戶或者統計數據查詢等如何處理。對於這種我給兩個處理方式:

  1. API Gateway

  這種情況適合在服務單元過多,客戶端需要查詢使用不同的服務單元中的數據,這個時候我們可以針對性的搭建一個API服務網關(請註意和APP Gateway區分開),通過這個網關聚合多個服務,客戶端只需要和當前網關交互,網關聚合轉發給不同的微服務。如下圖:

  2. 數據冗餘或者後臺數據同步

  比如在訂單信息中我需要用戶的名稱等少量用戶欄位,這個時候完全可以把這幾個欄位冗餘到訂單微服務數據模塊下。又比如在統計模塊下,其數據製造者和查詢者完全屬於不同的對象,無很高實時性,那我建議創建一個統計服務以及對應的統計資料庫,其他服務通過事件消息交互,更新對應的統計數據,查詢時通過統計服務自己的數據即可完成。

  再次:如何解決服務間的通信問題

  因為我們已經將服務之間相互獨立,斷絕直接操作不同服務資料庫的可能。那麼數據的一致性如何處理,在傳統的服務模型中因為都糅合在一塊,我們可以通過事務或者存儲過程來保證數據的一致性。常見的有以下兩個方式:

  1. 非同步事件消息驅動

  這類解決方案適合對數據實時性要求相對不高的場景,比如上邊的統計服務更新,在下單等服務的事件觸發後給消息隊列推送響應的消息通知,訂閱此隊列的服務接收更新數據。如圖:

  2. 直接介面請求(HTTP,RPC)

  一般情況下不建議,以防止產生級聯依賴。這類主要針對數據實時性要求較高的請求,比如在秒殺下單過程中需要立即知道庫存服務扣除是否成功等。(註:.net 下對task的支持已經特別好了,http請求建議使用非同步,同時前端返回Task<ActionResult>,減少因IO操作造成的工作線程消耗)

  最後:客戶端如何訪問

  當我們封裝完服務之後,這個服務如何和最後的客戶端如何訪問,這個需要根據實際的安全規則和要求各自決定了,一般情況下,如果服務相對較少,功能不算複雜的情況下可以直接暴露服務介面給客戶端進行訪問,如圖:

  或者通過上邊說的 API Gateway 的形式提供給客戶端,當然也有很多已經成熟的微服務網關比如Azure雲上的Service Fabric或者API Management,都是可以的。

 

三. OSS.Core框架的思路和實現

  OSS.Core這個項目是我最近在寫的一個小開源產品,瞭解的朋友應該知道我在前面寫了一些組件像: OSS.SocialOSS.PayCenterOSS.CommonOSS.Http 這個項目希望能把這幾個組件給串聯起來,上邊已經介紹了微服務的大概思考方式,我將會在這個產品的邏輯架構中儘可能的體現這一點,先把項目的物理架構圖展示一下:

  這個項目中AdminSite,WebSite 放置在FrontEnds文件夾下,兩個問站點分別是用戶前端,和後臺管理前端

  WebApi,Service,DomainMos(圖中的Models和Interface)類庫在 Layers 文件夾下,構成API基礎

  Infrastructure(業務相關通用實體枚舉輔助類) 和 Common(業務無關相關實體輔助類) 作為基礎設施類庫,可以在各級類庫中調用

   Repositories(暫時是項目中的OSS.Core.RepDapper的Mysql實現,以後可能增加其他資料庫支持),主要是Rep.. Interface的具體實現。

  Plugs是實現了Common插件下的日誌,緩存,和配置介面具體實現,可以通過Common在各級直接調用。

      回到微服務的話題上,在這個產品中我不會為每個服務創建一套Layers下的類庫實現,我將在這個項目通過文件夾隔離的形式來分開各個服務,你可以把WebApi當做一個API Gateway,內部的調用順序我希望是這樣的:

  現在代碼結構圖:

 

 

=============================

如果你還有其他問題,歡迎關註公眾號(OSSCoder)


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 此文為慕課網MySql學習筆記,地址:http://www.imooc.com/learn/122 一、在my.ini中配置預設字元集為utf8 a.客戶端:[mysql] default-character-set=utf8 b.服務端:[mysqld] character-set-server= ...
  • MHA(Master High Availability)是一套相對成熟的MySQL高可用方案,能做到在0~30s內自動完成資料庫的故障切換操作,在master伺服器不宕機的情況下,基本能保證數據的一致性。 它由兩部分組成:MHA Manager(管理節點)和MHA Node(數據節點)。其中,MH ...
  • 描述 大家通常禁止在生產環境直接使用select * 已成常識了,也常常在開發規範中就會規定不允許直接使用select *,那麼我們為什麼不允許使用select * ,在一些什麼場景下select * 會出問題?能否控制不能直接使用select *?出於這些疑問,我們特別測試記錄一下。 測試環境 M ...
  • 本章嘗試回答兩個問題: 一、memcached plugin與MySQL的關係; 二、MySQL系統如何啟動memcached plugin。 1. memcached plugin與MySQL的關係 該圖是從MySQL官方文檔里對memcached的介紹圖片。從圖中可以看出,memcached的結 ...
  • 本系列文章介紹MySQL memcached plugin插件。剖析已經完成。先把鏈接弄好,內容會陸續補上。 大綱如下: 1. "系統結構和引擎初始化" (已完成) 2. "線程模型和連接的狀態機" 3. "containers表的管理" 4. "get的事務管理" 5. "連接的buffer管理" ...
  • 1.開發環境的構成 2.gcc編譯器 功能強大、性能優越的多平臺編譯器,gcc可以將c、c++語言源程式編譯、連接成可執行文件。 以.c為尾碼的文件,C語言的源代碼文件 以.h為尾碼的文件,是程式所包含的頭文 以.i為尾碼的文件,是已經預處理過的C源代碼文件 以.o為尾碼的文件,是編譯後的目標文件 ...
  • 1.什麼是程式 指揮電腦執行我們想要它做的動作,而依照順序執行的一組指令 2.程式的作用是什麼 指揮電腦工作 3.程式的特征 1.程式是一行一行的執行 2.是一種與電腦溝通的語言 3.程式是由特定的語法和關鍵字構成 4.程式的執行,從入口點開始,原則上是由上而下,從左到右執行 4.程式語言的演 ...
  • 1.獲取一個數據集表 DataTable dt = selectDEGS(type, words, KUser); 2.刪除某一列 dt.Columns.Remove("TaskID");//TaskID為列名稱 3.替換某一列名稱 dt.Columns["TaskState"].ColumnNam ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...