轉:我只是下了個訂單,鬼知道我在微服務里經歷了什麼?

来源:https://www.cnblogs.com/Agui520/archive/2019/07/15/11187972.html
-Advertisement-
Play Games

當我傻啊,用戶在電商網站購買成功,還在微服務中,那肯定就是有一套微服務架構的電商系統。 設計一套電商系統還不簡單 簡單想象一下,既然是一個電商系統,有用戶去購買,就肯定得有一個用戶模塊,購買什麼東西總不是西北風吧,購買肯定是商品吧,省掉購物車,就得有商品模塊吧,商品總得有庫存吧,庫存就暫時跟商品放一 ...


當我傻啊,用戶在電商網站購買成功,還在微服務中,那肯定就是有一套微服務架構的電商系統。

設計一套電商系統還不簡單

簡單想象一下,既然是一個電商系統,有用戶去購買,就肯定得有一個用戶模塊,購買什麼東西總不是西北風吧,購買肯定是商品吧,省掉購物車,就得有商品模塊吧,商品總得有庫存吧,庫存就暫時跟商品放一起吧,什麼倉儲物流先別管,就當作是虛擬商品好了,反正題目也沒說不能是虛擬商品^_^,購買成功了,那就必須有訂單吧,加個訂單模塊,下完單總得支付吧,不付錢人家憑什麼把東西給你,那就得有個支付模塊

簡單粗暴,四個模塊

用戶模塊,商品模塊(庫存),訂單模塊,支付模塊

 

image

 

好,幾個模塊搞定,外加下單流程圖

 

image

 

  • 等等,貌似題目說是微服務,既然是微服務就涉及到拆分服務的問題

DDD 領域驅動設計

剛剛確實是梳理了一下模塊,既然是微服務,就得進行服務的拆分,服務怎麼進行拆分呢,貌似按照剛次梳理模塊來劃分也是可以,不過這樣好像顯得我很不是專業,聽說現在很多人都要使用DDD(領域驅動設計)來指導微服務的拆分。

參考DDD的設計,DDD官方的架構草圖,總體架構分為四層,Infrastructure(基礎實施層),Domain(領域層),Application(應用層),Interfaces(表示層,也叫用戶界面層或是介面層)

微服務結合DDD

不過對於領域設計而言代碼層其實不是最重要,最要的是如何去劃分領域,劃分好邊界。而對於微服務而言,非常適合從業務上去劃分各個Modules,劃分好各個業務板塊,微服務 + DDD,個人覺得首先從微服務的角度考慮去劃分大的業務模塊,每個微服務都應該是一個可以獨立部署,各司其職的模塊。簡單的說,在微服務實際的開發中,結合DDD的思想去劃分所有屬於自己的領域。

實施DDD的關鍵

第一點是使用通過的語言建立所有的聚合,實體,值對象。

第二點也就是最關鍵的“建模”

  • 劃分“戰略建模”,從一個種巨集觀的角度去審核整個項目,劃分出“界限上下文”,形成具有上帝視角的“上下文映射圖”

  • 還有一個建模“戰術建模”,在我們的“戰略建模”劃分出來的“界限上下文”種進行“聚合”,“實體”,“值對象”,並按照模塊分組。

構建我們電商系統的上下文映射圖

先來確定我們的戰略核心的領域是什麼,我們的目的是什麼,作為一個電商系統,我們的核心肯定是賣出更多的商品,獲取更多訂單更多的利潤,那麼銷售可以作為我們的一個核心的領域。這個作為一個明確核心域確立下來。

image 確定完核心子域後,根據對這個領域的理解劃分出各個上下文,然後根據上下文再確定其他的相關領域。

 

 

image 初步我們可以看出圍繞銷售核心域的包含的幾大塊內容,價格,銷售方式,購買的方式,已經購買。 然後我們對支撐著核心域的子域也做了劃分,支撐著核心域的有商品域,用戶域,通用域有訂單域,物流域,支付域。

 

回到我們的主題,我們這次沒有購物車,也沒有各個會員銷售價格,把一些上下文拿掉,並建立映射。

 

image

 

領域驅動設計看似簡單,其實很難實施,因為在各個環節中都需要對應的領域專家的參加或指導,這樣才能設計出最符合實際的上下文映射圖,而且我們花費的精力可能相比以後的數據驅動開發模式更多,但在整體對項目的把控性能上說,領域比數據驅動更加抽象,更加的頂層設計,在對應互聯網的多變情況看得更遠。

我們將微服務拆分為5個領域,分別是銷售域,商品域,用戶域,訂單域,支付域。

完美,接下來就可以開始開發了 ^ _ ^

  • 等等,兵馬未動,糧草先行;代碼未動,圖先行,先把時序圖畫出來

時序圖

一個簡單的下單流程,涵蓋了幾個領域

 

image

 

完美,接下來就可以開發微服務了^ _ ^

  • 等等,微服務的技術棧還未選型

微服務技術棧選型

服務拆分完了,時序圖也畫完了,可以開始我們的微服務之旅了,目前主流的微服務有阿裡大名鼎鼎的dubbo和Spring-Cloud全家桶,還有新浪的Motan。比較熟悉的還是dubbo和spring-cloud,也都使用過,究竟應該選用哪一個呢?

因為之前都使用過,做點簡單,粗暴的總結。dubbo在很早之前就開始使用,當時的微服務還沒有現在這麼火,很多理論體系也未完善,dubbo更像是一套rpc整合框架,spring-cloud則更傾向微服務架構的生態。相比Dubbo,springCloud可以說是微服務一整套的解決方案,在功能上是dubbo的一個超級。 Dubbo和SpringCloud比喻,Dubbo架構的微服務就像組裝電腦,各個環節自由度很高。springCloud更像品牌機。

基於不折騰,簡單快捷,更傾向選擇spring-cloud,ok,就定下來技術棧使用spring-cloud,愉快的決定。

  • 等等,就這麼草率就決定用spring-cloud做為微服務,難道不需要把微服務的利弊先弄清楚嗎?

微服務 : 利和弊

既然選擇了微服務,就得知道微服務的利和弊,特別是弊,引入了微服務,就等於引入了一套複雜的體系,一套複雜的體系帶來的各種挑戰必須事先瞭解清楚。

 

image

 

利:

1.強模塊化邊界

我們知道做軟體架構,軟體設計,模塊化是非常重要的一點,一開始我們寫程式做軟體,我們採用類的方式來做模塊化,後面開始採用組件或類庫的方式做模塊化,可以做到工程上的重用和分享給其他團隊來使用。微服務在組件的層次上面又高了一層,以服務的方式來做模塊化,每個團隊獨立開始和維護自己的服務,有明顯的一個邊界,開發完一個服務其他團隊可以直接調用這個服務,不需要像組件通過jar或源碼的方式去進行分享,所以微服務的邊界是比較清晰的。

2.可獨立部署
3.技術多樣性

弊(或者說挑戰):

1.分散式複雜性

在原來單塊應用就是一個應用,一個對單塊應用的架構比較熟悉的人可以對整個單塊應用有一個很好的把控。但是到了分散式系統,微服務化了以後可能涉及到的服務有好幾十個,一些大公司可能涉及到的服務上百個,服務與服務之間是通過相互溝通來實現業務,那麼這個時候整個系統就變成非常複雜,一般的開發人員或一個團隊都無法理解整個系統是如何工作的,這個就是分散式帶來的複雜性。

2.最終一致性

微服務的數據是分散式治理的,每個團隊都有自己的數據源和數據拷貝,比方說團隊A有訂單數據,B團隊也有訂單數據,團隊A修改了訂單數據是否應該同步給團隊B的數據呢,這裡就涉及到數據一致性問題,如果沒有很好的解決一致性問題,就可能造成數據的不一致,這個在業務上是不可以接受的。

3.運維複雜性

以往的運維需要管理的是機器+單塊的應用,分散式系統和單塊應用不一樣的是,分散式系統需要很多的服務,服務與服務之間相互協同,那麼對分散式系統的資源,容量規劃,對監控,對整個系統的可靠性穩定性都非常具備挑戰的。

只有在清楚瞭解微服務帶來的挑戰,明知道山有虎偏向虎山行,才能夠真正的勝任挑戰,最重要的是,要清楚明瞭裡面有什麼坑,這麼避免踩坑。

完美,已經瞭解微服務帶來的好處和挑戰,接下來就可以開始開發了 ^ _ ^

  • 等等,微服務還沒有做邏輯分層

微服務怎麼做邏輯分層

目前我們的微服務裡面有幾個服務,分別是訂單,商品,用戶,如果客戶端向查看 “我的訂單” 這麼一個介面, 如果客戶端假定是pc端,就需要請求三次介面,分別對接訂單,商品,用戶三個服務,分別拿完三次調用數據,再將三次調用數據進行整合輸出展示。要知道pc調用後端服務是走外網,這無疑大大增加了網路的開銷,而且讓pc端變成更為複雜。假定在中間加多一個層為聚合服務層,即對網路開銷進行減少,因為微服務內部是通過內網進行數據傳輸,也讓pc端的業務變得比較簡單。

 

image

 

圖中的 “pc聚合服務” 也是一個微服務,只不過它是屬於聚合服務中間層,我們將為微服務進行邏輯劃分,分為2個層:

 

image

 

微服務基礎服務層

基礎服務一般屬於互聯網平臺基礎性的支撐服務,比方說,電商網站的基礎服務有訂單服務,商品服務,用戶服務等,這些都屬於比較基礎和原子性,下沉一個公司的基礎設施的低層,向下承接存儲,向上提供業務能力,有些公司叫(基礎服務,中間層服務,公共服務),netflix成為中間層服務。我們暫且統稱為基礎服務。

微服務聚合服務層

已經有了基礎服務能提供業務能力,為什麼還需要聚合服務,因為我們有不同的接入端,如app和H5,pc等等,它們看似調用大致相同的數據,但其實存在很多差異,例如PC需要展示更多信息,APP需要做信息裁剪等等。一般低層服務都是比較通用的,基礎服務應該對外輸出相對統一的服務,在抽象上做得比較好。但是對不同的外界app和pc的接入,我們需要作出不同的適配,這個時候需要有一個層去做出聚合裁剪的工作。例如一個商品詳情在pc端展示和app端的展示,pc可能會展示更多的信息,而app則需要對信息作出一些裁剪,如果基礎服務直接開放介面給到pc和app,那麼基礎服務也需要去做成各種設配,這個很不利於基礎服務的抽象,所以我們在基礎層之上加入聚合服務層,這個層可以針對pc和app做成適當的設配進行相應的裁剪。

那麼我們的微服務中,又增加了一個服務,屬於聚合服務

 

image

 

好了,接下來可以愉快的coding...

 

image

 

  • 等等,貌似不對,如果是單塊應用加上事務應該沒問題,這裡是分散式,恐怕得考慮加分散式事務

分散式事務

我們來理一理創建訂單和扣件庫存模塊之間的關係

 

image

 

可以發現,因為微服務的原因,我們把服務進行了分散式,隨著各個資料庫也隨著變成分散式每個資料庫不一定存在相同的物理機中,那麼這個時候單個資料庫的ACID已經不能適應這種情況,而在這種集群中想去保證集群的ACID幾乎很難達到,或者即使能達到那麼效率和性能會大幅下降,最為關鍵的是再很難擴展新的分區了,這個時候如果再追求集群的ACID會導致我們的系統變得很差,這時我們就需要引入一個新的理論原則來適應這種集群的情況,就是 CAP

CAP定理

CAP 必須滿足一下的3個屬性:

  • 一致性(C):在分散式系統中的所有數據備份,在同一時刻是否同樣的值。(等同於所有節點訪問同一份最新的數據副本)
  • 可用性(A):在集群中一部分節點故障後,集群整體是否還能響應客戶端的讀寫請求。(對數據更新具備高可用性)
  • 分區容錯性(P):以實際效果而言,分區相當於對通信的時限要求。系統如果不能在時限內達成數據一致性,就意味著發生了分區的情況,必須就當前操作在C和A之間做出選擇。

簡單的來說,在一個分散式系統中,最多能支持上面的兩種屬性。但顯然既然是分散式註定我們是必然要進行分區,既然分區,我們就無法百分百避免分區的錯誤。因此,我們只能在一致性和可用性去作出選擇。

在分散式系統中,我們往往追求的是可用性,它的重要性比一致性要高,那麼如何實現高可用,這裡又有一個理論,就是BASE理論,它給CAP理論做了進一步的擴充。

BASE理論

BASE指出:

  • Basically Available(基本可用)
  • Soft state(軟狀態)
  • Eventually consistent(最終一致性)

BASE理論是對CAP中的一致性和可用性進行一個權衡的結果,理論的核心思想就是:我們無法做到強一致,但每個應用都可以根據自身的業務特點,採用適當的方式來使系統達到最終一致性

好了,說了一大頓理論,程式員們都等急了,趕快來看看分散式事務的解決方案有哪些,可以進行接下去的coding...

來吧,討論技術方案:

 

image

 

幾個方案拿出來了,因為我們不是專門來講解分散式事務的機制和原理,主要還是來做分散式事務的技術選型。

先排除掉我們應該不會選擇的方案,一個是XA兩階段提交,這個在很多傳統型公司會被使用,但不適合互聯網微服務的分散式系統,鎖定資源時間長,性能影響大,排除。

另一個是ali的GTS並沒有開源,目前已經開源了fescar,不過目前善缺少調研,可能在下個階段研究後會使用,目前先排除。

剩下的是TCC和MQ消息事務兩種

MQ消息事務-RocketMQ

先說說MQ的分散式事務,RocketMq在4.3版本已經正式宣佈支持分散式事務,在選擇Rokcetmq做分散式事務請務必選擇4.3以上的版本。

事務消息作為一種非同步確保型事務, 將兩個事務分支通過 MQ 進行非同步解耦,RocketMQ 事務消息的設計流程同樣借鑒了兩階段提交理論,整體交互流程如下圖所示:

 

image

 

這個時候我們基本可以認為,只有MQ發送方自己的本地事務執行完畢,那麼MQ的訂閱方必定百分百能夠接收到消息,我們再對下單減庫存的步驟進行改造:

這裡涉及到一個非同步化的改造,我們理一下如果是同步流程中的各個步驟

  1. 查看商品詳情(或購物車)
  2. 計算商品價格和目前商品存在庫存(生成訂單詳情)
  3. 商品扣庫存(調用商品庫存服務)
  4. 訂單確認(生成有效訂單)

訂單創建完成後,發佈一個事件“orderCreate” 到消息隊列中,然後由MQ轉發給訂閱該消息的服務,因為是基於消息事務,我們可以認為訂閱該消息的商品模塊是百分百能收到這個消息的。

 

image

 

 

image

 

商品服務接受到orderCreate消息後就執行扣減庫存的操作,註意⚠️,這裡可能會有一些不可抗的因素導致扣減庫存失敗,無論成功或失敗,商品服務都將發送一個扣減庫存結果的消息“stroeReduce”到消息隊列中,訂單服務會訂閱扣減庫存的結果。

訂單服務收到消息後有兩種可能:

  1. 如果扣減庫存成功,將訂單狀態改為 “確認訂單” ,下單成功
  2. 如果扣減庫存失敗,將訂單狀態改為 “失效訂單” ,下單失敗

 

image

 

這種模式將確認訂單的流程變成非同步化,非常適合在高併發的使用,但是,切記了,這個需要前端用戶體驗的一些改變,要配合產品來涉及流程。

  • 完美,使用MQ分散式事務就可以解決調一致性問題
  • 等等,MQ消息事務方案的風險瞭解一下

上面使用MQ的方式確實是可以完成A和B操作,但是A和B並不是嚴格一致性,而是最終一致性,我們犧牲掉嚴格一致性,換來性能的提升,這種很適合在大促高併發場景總使用,但是如果B一直執行不成功,那麼一致性也會被破壞,後續應該考慮到更多的兜底方案,方案越細系統就將越複雜。

TCC方案

TCC是服務化的二階段變成模型,每個業務服務都必須實現 try,confirm,calcel三個方法,這三個方式可以對應到SQL事務中Lock,Commit,Rollback。

1). try階段 try只是一個初步的操作,進行初步的確認,它的主要職責是完成所有業務的檢查,預留業務資源

2). confirm階段 confirm是在try階段檢查執行完畢後,繼續執行的確認操作,必須滿足冪等性操作,如果confirm中執行失敗,會有事務協調器觸發不斷的執行,直到滿足為止

3). cancel是取消執行,在try沒通過並釋放掉try階段預留的資源,也必須滿足冪等性,跟confirm一樣有可能被不斷執行

接下來看看,我們的下單扣減庫存的流程怎麼加入TCC

 

image

 

在try的時候,會讓庫存服務預留n個庫存給這個訂單使用,讓訂單服務產生一個“未確認”訂單,同時產生這兩個預留的資源, 在confirm的時候,會使用在try預留的資源,在TCC事務機制中認為,如果在try階段能正常預留的資源,那麼在confirm一定能完整的提交

 

image

 

在try的時候,有任務一方為執行失敗,則會執行cancel的介面操作,將在try階段預留的資源進行釋放。

完美,可以把我們的系統引入TCC ^ _ ^

  • 等等,有同學提問

  • 有同學可能會問了,如果在confirm或cancel中,有一方的操作失敗了,可能出現異常等情況該怎麼解決,這個就涉及TCC的事務協調器了,事務協調器就confirm或cancel沒有得到返回的時候,會啟用定時器不斷的進行confirm或cancel的重試,這個也就是我們強調,confirm,cancel介面必須是冪等性的一個原因了

  • 還有同學會問了,為什麼事務協調器知道confirm,或cancel沒有完成,這個就涉及到了TCC也做了一張本地消息表,會記錄一次事務,包括主事務,子事務,事務的完成情況都會記錄在這種表中(當然未必是表,可能是zk,redis等等介質),然後啟用一個定時器去檢查這種表。

  • 還有同學會問,事務怎麼傳遞,這個就涉及使用的TCC的框架了,一般來說用的都是隱式傳參的方式。在主事務創建的時候用隱式傳參調用子事務,子事務包含try,confirm,cancel都會記錄到事務表裡面。

這裡推薦TCC的開源框架使用mengyun的TCC,然後也可以其他的,無所謂。

完美,下單的流程開發完畢了,可以讓QA接入 ^ _ ^

  • 等等,微服務的保護措施做了嗎

熔斷限流隔離降級

微服務分散式依賴關係錯綜複雜,比方說前端的一個請求,這來到後端會被轉為為很多個請求,個時候後臺的服務出現不穩定或者延遲,如果沒有好的限流熔斷措施,可能會造成用戶體驗的下降,嚴重的時候會出現雪崩效應,把整個網站給搞垮,如果向阿裡巴巴在雙11等活動中,如果沒有一套好的限流熔斷措施,這是不可想象的,可能是根本無法支撐那麼大的併發容量。

netflix在2012年前也沒有設計好的限流容錯,當時也是飽受著系統穩定性的困擾,好幾次網站因為沒有好的熔斷措施把網站搞垮,在2012年netflix啟動了彈性工程項目,其中有一個產品叫hystrix,這個產品主要用來解決微服務的可靠性,有了這個系統之後,netflix在系統穩定性上上了一個大的臺階,在此之後就沒有出現過大規模的雪崩事故

下麵使用hystrix也例子來講解一下限流熔斷

幾個概念:

熔斷,隔離,限流,降級,這幾個概念是分散式容錯最重要的概念和模式。

熔斷

如果說房子裡面安裝了電路熔斷器,當你使用超大功率的電路時,有熔斷設配幫你保護不至於出問題的時候把問題擴大化。

隔離

我們知道計算資源都是有限的,cpu,記憶體,隊列,線程池都是資源,他們都是限定的資源數,如果不進行隔離,一個服務的調用可能要消耗很多的線程資源,把其他服務的資源都給占用了,那麼可能出現應為一個服務的問題連帶效應造成其他服務不能進行訪問。

限流

讓大流量的訪問衝進去我們的服務時,我們需要一定的限流措施,比方說我們規則一定時間內只允許一定的訪問數從我們的資源過,如果再大的化系統會出現問題,那麼就需要限流保護。

降級

如果說系統後題無法提供足夠的支撐能力,那麼需要一個降級能力,保護系統不會被進一步惡化,而且可以對用戶提供比較友好的柔性方案,例如告知用戶暫時無法訪問,請在一段時候後重試等等。

hystrix

hystrix就把上面說的 熔斷,隔離,限流,降級封裝在這麼一個組件裡面 下圖是hystrix內部設計和調用流程

 

image

 

  • 大致的工作流如下:
  1. 構建一個HystrixCommand對象,用於封裝請求,併在構造方法配置請求被執行需要的參數
  2. 執行命令,Hystrix提供了幾種執行命令的方法,比較常用到的是synchrous和asynchrous
  3. 判斷電路是否被打開,如果被打開,直接進入fallback方法
  4. 判斷線程池/隊列/信號量是否已經滿,如果滿了,直接進入fallback方法
  5. 執行run方法,一般是HystrixCommand.run(),進入實際的業務調用,執行超時或者執行失敗拋出未提前預計的異常時,直接進入fallback方法
  6. 無論中間走到哪一步都會進行上報metrics,統計出熔斷器的監控指標
  7. fallback方法也分實現和備用的環節
  8. 最後是返回請求響應

完美,把hystrix加入我們系統吧,這樣突然有洪峰流量也不至於我們的系統一下就衝垮 ^ _ ^

  • 等等,hystrix的限流數值,錯誤數熔斷,超時熔斷,嘗試恢複比率這些需要我們配置的數值應該怎麼定呢?

這個就取決你的系統壓測的指標和你部署的規模了,這裡還涉及到一個容量設計的問題,一會我們將系統部署上線的時候再來詳細說道。

剛剛提到一個問題,就是這些限流數值,錯誤數熔斷這些數字,我們現在都寫在配置文件裡面,例如說寫在properties,yml裡面,當有一天突然需要把限流數下調(可能是系統遭受到什麼壓力打擊),那我們只能把代碼拉下來,巴拉巴拉改了,然後重新上傳打包,發佈重啟,一個流程下來,不說個把小時吧,十來分鐘總少不了吧。

想辦法我們把這些配置項放到一個集中式配置中心

集中式配置中心

自己寫配種中心還挺麻煩的,去菜市場逛逛吧,菜市場裡面有,springcloud-Config,百度的disconf,阿裡的diamond,還有攜程的apollo

基本上他們的原理都差不多,配置中心可以簡單的理解為一個服務模塊,開發人員或運維人員可以通過界面對配種中心進行配置,下麵相關的微服務連接到配置中心上面就可以實時連接獲取到配置中心上面修改的參數。更新的方式一般有兩種

  • pull模式,服務定時去拉取配置中心的數據
  • push模式,服務一直連接到配置中心上,一旦配置有變成,配種中心將把變更的參數推送到對應的微服務上

 

image

 

pull 和 push 兩種模式其實各有優缺點。

  • pull一般使用定時器拉取,就算某一個網路抖動沒有pull成功,在下一次定時器的時候,終將能保證獲取最新的配置。

  • push可以避免pull定時器存在的延時,基本可以做到實時獲取數據,但也有問題就是網路抖動的時候可能會丟失更新。

攜程的apollo

 

image

 

攜程的apollo比較有特色的是融合了pull和push兩種模式,把兩者的優點進行了結合,開發或運維人員在配置中心進行修改,配置中心服務將實時將修改推送push到apollo的客戶端,但考慮到可能由於某些網路抖動沒有推送成功,客戶端還具備了定時向apollo服務端拉取pull數據的功能,就算推送沒成功,但是只要一定時間周期,客戶端還是會主動去拉取同步數據,保證能把最終配置同步到服務中。這個也是apollo在高可用方面上非常有特色的設計。

apollp在高可用上也做了保證,客戶端獲取到數據會把數據緩存在記憶體,還會sync到本地磁碟,就算apollo伺服器掛掉了,就算客戶端服務重啟了,也可以從本地磁碟中拉取回來數據,繼續提供對外服務,從這點來看apollo的配置中心在高可用上考慮還是比較周到的。

把配置中心配置上去後,我們就可以把hystrix還有mysql的用戶密碼,還有一些業務開關等等的配置參數放上去了。

完美,開發基本完工了,其實就幾個模塊,一個簡單的下單購物流程,當我們把系統交付給運維,運維喊道,日誌呢,做微服務怎麼可以沒有調用鏈日誌呢?

調用鏈監控&日誌

確實,微服務是一個分散式非常複雜系統,如果沒有一套調用鏈監控,如果服務之間依賴出現問題就很難進行定位。

下圖是ali在鷹眼系統給出的微服務之“熵”

 

image

 

目前個大主流互聯網公司中,ali有非常出現的鷹眼系統,點評也有一套很出名的調用鏈監控系統CAT。調用鏈監控其實最早是google提出來的,2010年google發表了一篇調用鏈的論文,論文以它內部的調用鏈系統dapper命名,這個論文中講解調用鏈在google使用的經驗和原理,大致的原理如下圖:

 

image

 

這裡可以採用ELK的方式去記錄和展示調用鏈監控日誌,當我們一條調用為一行記錄存儲下來

 

image

 

通過traceId 和 parentSpanId 就可以串聯起來為一個整體的鏈路,並可以從這個鏈路去分析錯誤或者調用延時和調用次數等等

 

image

 

目前市面主流的調用鏈選型有 zipkin,pinpoint,cat,skywalking,他們之間各有一些偏重點,值得一說的是skywalking國人出品的一款新的調用鏈工具,採用開源的基於位元組碼註入的調用鏈分析,接入段無代碼入侵,而且開源支持多種插件,UI在幾款工具來說比較功能比較強大,而且ui也比較賞心悅目,目前已經加入了apache孵化器。

採用了skywalking作為調用鏈工具

為何會採用skywaling,在低層原理的實現,這幾款產品都差不多,但在實現和使用的細節相別還是很大。

  • 首先在實現方式上,skywalking基本對於代碼做到了無入侵,採用java探針和位元組碼增強的方式,而在cat還採用了代碼埋點,而zipkin採用了攔截請求,pinpoint也是使用java探針和位元組碼增強。
  • 其次在分析的顆粒度上,skywaling是方法級,而zipkin是介面級,其他兩款也是方法級。
  • 在數據存儲上,skywalking可以採用日誌體系中比較出名的ES,其他幾款,zipkin也可以使用ES,pinpoint使用Hbase,cat使用mysql或HDFS,相對複雜,由於目前公司對ES熟悉的人才比較有保證,選擇熟悉存儲方案也是考慮技術選型的重點。
  • 還有就是性能影響,根據網上的一些性能報告,雖然未必百分百準備,但也具備參考價值,skywalking的探針對吞吐量的影響在4者中間是最效的,經過對skywalking的一些壓測也大致證明。

完美,把微服務的包打好,上傳到伺服器就可以運行了 ^ _ ^

  • 等等,微服務包都打好了,剩下就是jar包或war包一個一個上傳到伺服器上,然後用個腳本start,在以前單塊應用還好,現在微服務幾十幾百個應用,請問,運營人員怕不怕?

聽說,docker + kubernetes和微服務更配喔

docker + kubernetes

就幾個服務,先不用容器化部署了...乍一看,沒玩沒了,還有CICD,灰度發佈...容器編排...

下次再講把,先把服務部署上去吧

部署到生產,預估容量

該把服務部署上線了,一個服務上線肯定得評估下或者預估下訪問量有多少用戶,有多少訪問,這個涉及到該配置多少的機器資源,這應該怎麼去估算呢,反正程式員在家裡怎麼算都算不出來。

評估訪問量
  1. 問運營,如果是一個已經上線的產品,肯定存在已有的用戶數和訪問數據,就算存在偏差,也是可控的範圍。
  2. 問產品,確定一個什麼樣形態的產品,例如是拼團,例如是秒殺,各種處理方式都不同
評估平均訪問量qps

一天86400秒,一般認為請求大部分發生在白天,就按照40000計算,日平均訪問量=日總訪問量/40000

評估高峰qps

可以把之前每日的訪問曲線圖拉出來看看,峰值是根據業務不同而定的,例如,有些業務是白天早上10點的流量偏多,有些業務是晚上人家休閑類的流量偏多,總之,根據業務去估算出日均的峰值,類似於電商類的服務,一般峰值是日均流量的5倍左右。還有例如一些大促活動可能會更高,這個都要跟運營人員提前溝通好的,還有一些活動例如,秒殺,這個就不是靠預估出來,秒殺是另一種的考慮情況,採取的應對策略跟普通訂單是完全不同。

評估系統,單機極限qps

在上線之前需要跟測試人員一起做壓力測試,針對每個服務每台機器去做,一般來說,會把一個服務一臺機器壓到極限,在逐步的進行優化。 思考一個問題,假定單台機器最大的qps是1000,我們峰值是5000,那需要用多少台機器去抗?答案是大於等於6台,最少的容錯不得少於1台。


貌似一個非常簡單的微服務就差不多,不過貌似還是差了很多,數一下:

  1. 監控系統哪去了:(基礎設施監控,系統監控,應用監控,業務監控)
  2. 網關哪裡去了
  3. 統一的異常處理哪裡去了
  4. API文檔哪裡去了
  5. 容器化哪裡去了
  6. 服務編排哪裡去了
  7. ...


作者:陳於喆
鏈接:https://juejin.im/post/5cdfe4a16fb9a07ef63facc3


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 題目 "String painter " 給出兩個字元串s1,s2。對於每次操作可以將 s1 串中的任意一個子段變成另一個字元。問最少需要多少步操作能將s1串變為s2串。 解析 太妙了這個題,mark一下。 這個題先考慮怎麼由空串轉化s2, $f[i][j]$表示從空串到s2最少的次數, 則有$f[ ...
  • 3.9各類型數據方法補充,轉換,分類,編碼,坑中菜 3.9.1數據類型方法補充 1.str:不可變 補充方法 1. s1.capitalize():首字母大寫 2. s1.title(): 每個單詞首字母大寫 3. s1.swapcase():大小寫反轉 4. s1.center():居中 填充 5 ...
  • 1.各種斷言方法 常用斷言方法: 方法 用途 assertEqual(a, b) 核實a == b assertNotEqual(a, b) 核實a != b assertTrue(x) 核實x為True assertFalse(x) 核實x為False asseertIn(item, list) ...
  • Github有一個經過重寫的微信小程式SignalR的js類庫 https://github.com/liangshiw/SignalRMiniProgram-Client 於是我把他改成支付寶小程式的版本,上面這個項目的核心代碼基本沒有變,只是小程式開放介面改了一下,在支付寶小程式就能跑起來了 把 ...
  • App_Code 下創建的.cs文件僅僅是“內容”不是代碼。設置文件為“編譯”就可正常引用。 ...
  • 這篇文章主要講解C#中的泛型,泛型在C#中有很重要的地位,尤其是在搭建項目框架的時候。 一、什麼是泛型 泛型是C#2.0推出的新語法,不是語法糖,而是2.0由框架升級提供的功能。 我們在編程程式時,經常會遇到功能非常相似的模塊,只是它們處理的數據不一樣。但我們沒有辦法,只能分別寫多個方法來處理不同的 ...
  • 主要記錄下如何在EF 中連接Oracle s資料庫,很傻瓜式,非常簡單,但是不知道的童鞋,也會搞得很難受,我自己就是 1.創一個控制台程式,並且添加 Oracle.ManagedDataAccess.EntityFramework 2.添加完之後,會自動在App.config 中添加一堆配置信息,主 ...
  • 一、項目中一直用到了文字轉語音的功能,需求也比較簡單,就是將一段報警信息通過語音的方式播放出來,之前一直採用CS客戶端,利用微軟自帶的Speech語音播放庫就可以完成, 1.1 封裝winSpedk類代碼如下: namespace Speak { using System; using System ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...