關於微服務

来源:http://www.cnblogs.com/qq-757617012/archive/2016/09/26/5909244.html
-Advertisement-
Play Games

摘要: 微服務架構被提出很短的時間內,就被越來越多的開發人員推崇,簡單來說其主要的目的是有效的拆分應用,實現敏捷開發和部署 。本分享即嘗試介紹微服務架構的一些實施細節和要求,探詢微服務架構的由來,並最終提供我們團隊內部的一些實踐總結,希望對大家有幫助。 WHAT - 什麼是微服務 微服務簡介 這次參... ...


摘要: 微服務架構被提出很短的時間內,就被越來越多的開發人員推崇,簡單來說其主要的目的是有效的拆分應用,實現敏捷開發和部署 。本分享即嘗試介紹微服務架構的一些實施細節和要求,探詢微服務架構的由來,並最終提供我們團隊內部的一些實踐總結,希望對大家有幫助。

WHAT - 什麼是微服務
微服務簡介

這次參加JavaOne2015最大的困難就是聽Microservice相關的session,無論內容多麼水,只要題目帶microservice,必定報不上名,可見Microservice有多火。最喜歡其中一頁。關於這個典故,可以參考this,此圖適用於一切高大上的名字——技術有SOA,Agile,CLOUD,DevOps等等,古代有道,氣,八卦等等。此類名詞的最大特點就是 一解釋就懂,一問就不知,一討論就打架。
screenshot

微服務的流行,Martin功不可沒,這老頭也是個奇人,特別擅長抽象歸納和製造概念,我覺的這就是最牛逼的markting啊,感覺這也是目前國人欠缺的能力。

Martin Fowler是國際著名的OO專家,敏捷開發方法的創始人之一,現為ThoughtWorks公司的首席科學家.福勒(Martin Fowler),在面向對象分析設計、UML、模式、軟體開發方法學、XP、重構等方面,都是世界頂級的專家,現為Thought Works公司的首席科學家。Thought Works是一家從事企業應用開發和集成的公司。早在20世紀80年代,Fowler就是使用對象技術構建多層企業應用的倡導者,他著有幾本經典書籍:《企業應用架構模式》、《UML精粹》和《重構》等。—— 百度百科

先來看看傳統的web開發方式,通過對比比較容易理解什麼是Microservice Architecture。和Microservice相對應的,這種方式一般被稱為Monolithic(比較難傳神的翻譯)。所有的功能打包在一個WAR包里,基本沒有外部依賴(除了容器),部署在一個JEE容器(Tomcat,JBoss,WebLogic)里,包含了DO/DAO,Service,UI等所有邏輯。
screenshot

Monolithic比較適合小項目,優點是:

  • 開發簡單直接,集中式管理
  • 基本不會重覆開發
  • 功能都在本地,沒有分散式的管理開銷和調用開銷

它的缺點也非常明顯,特別對於互聯網公司來說(不一一列舉了):

  • 開發效率低:所有的開發在一個項目改代碼,遞交代碼相互等待,代碼衝突不斷
  • 代碼維護難:代碼功能耦合在一起,新人不知道何從下手
  • 部署不靈活:構建時間長,任何小修改必須重新構建整個項目,這個過程往往很長
  • 穩定性不高:一個微不足道的小問題,可以導致整個應用掛掉
  • 擴展性不夠:無法滿足高併發情況下的業務需求

所以,現在主流的設計一般會採用Microservice Architecture,就是基於微服務的架構。簡單來說, 微服務的目的是有效的拆分應用,實現敏捷開發和部署
screenshot

用《The art of scalability》一書里提到的scale cube比較容易理解如何拆分。你看,我們叫分庫分表,別人總結成了scale cube,這就是抽象的能力啊,把複雜的東西用最簡單的概念解釋和總結。X軸代表運行多個負載均衡器之後運行的實例,Y軸代表將應用進一步分解為微服務(分庫),數據量大時,還可以用Z軸將服務按數據分區(分表)
screenshot

微服務的具體特征

先看看最官方的定義吧

The microservice architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, often an HTTP resource API. These services are **built around business capabilities** and independently deployable by fully automated deployment machinery. There is a bare minimum of centralized management of these services , which may be written in different programming languages and use different data storage technologies.
-- James Lewis and Martin Fowler

把Martin老頭的定義大概的翻譯一下就是下麵幾條,這個定義還是太抽象是不是,那就對了,就是要務虛,都說明白了誰還找他付費咨詢啊,這麼貴。
1. 一些列的獨立的服務共同組成系統
2. 單獨部署,跑在自己的進程里
3. 每個服務為獨立的業務開發
4. 分散式的管理

Martin自己也說了,每個人對微服務都可以有自己的理解,不過大概的標準還是有一些的。

  • 分散式服務組成的系統
  • 按照業務而不是技術來劃分組織
  • 做有生命的產品而不是項目
  • Smart endpoints and dumb pipes(我的理解是強服務個體和弱通信)
  • 自動化運維(DevOps)
  • 容錯
  • 快速演化

關於微服務的更多理論基礎,可以參考康威定律

SOA vs Microservice

除了Smart endpoints and dumb pipes都很容易理解對嗎?相信很多人都會問一個問題,這是不是就是SOA換了個概念,掛羊頭賣狗肉啊,有說法把Microservice叫成Lightway SOA。也有很多傳統磚家跳出來說Microservice就是SOA。其實Martin也沒否認SOA和Microservice的關係。

我個人理解,Microservice是SOA的傳承,但一個最本質的區別就在於Smart endpoints and dumb pipes,或者說是真正的分散式的、去中心化的。Smart endpoints and dumb pipes本質就是去ESB,把所有的“思考”邏輯包括路由、消息解析等放在服務內部(Smart endpoints),去掉一個大一統的ESB,服務間輕(dumb pipes)通信,是比SOA更徹底的拆分。

HOW - 怎麼具體實踐微服務

聽上去好像都不錯,具體怎麼落地啊?這需要回答下麵幾個問題:

  • 客戶端如何訪問這些服務?
  • 服務之間如何通信?
  • 這麼多服務,怎麼找?
  • 服務掛了怎麼辦?
客戶端如何訪問這些服務?

原來的Monolithic方式開發,所有的服務都是本地的,UI可以直接調用,現在按功能拆分成獨立的服務,跑在獨立的一般都在獨立的虛擬機上的Java進程了。客戶端UI如何訪問他的?後臺有N個服務,前臺就需要記住管理N個服務,一個服務下線/更新/升級,前臺就要重新部署,這明顯不服務我們拆分的理念,特別當前臺是移動應用的時候,通常業務變化的節奏更快。另外,N個小服務的調用也是一個不小的網路開銷。還有一般微服務在系統內部,通常是無狀態的,用戶登錄信息和許可權管理最好有一個統一的地方維護管理(OAuth)。

所以,一般在後臺N個服務和UI之間一般會一個代理或者叫API Gateway,他的作用包括

  • 提供統一服務入口,讓微服務對前臺透明
  • 聚合後臺的服務,節省流量,提升性能
  • 提供安全,過濾,流控等API管理功能

我的理解其實這個API Gateway可以有很多廣義的實現辦法,可以是一個軟硬一體的盒子,也可以是一個簡單的MVC框架,甚至是一個Node.js的服務端。他們最重要的作用是為前臺(通常是移動應用)提供後臺服務的聚合,提供一個統一的服務出口,解除他們之間的耦合,不過API Gateway也有可能成為單點故障點或者性能的瓶頸。

一般用過Taobao Open Platform的就能很容易的體會,TAO就是這個API Gateway。
screenshot

服務之間如何通信?

因為所有的微服務都是獨立的Java進程跑在獨立的虛擬機上,所以服務間的通行就是IPC(inter process communication),已經有很多成熟的方案。現在基本最通用的有兩種方式。這幾種方式,展開來講都可以寫本書,而且大家一般都比較熟悉細節了,就不展開講了。

  • 同步調用
    • REST(JAX-RS)
    • RPC(Dubbo)
  • 非同步消息調用(Kafka, Notify, MetaQ)

screenshot

一般同步調用比較簡單,一致性強,但是容易出調用問題,性能體驗上也會差些,特別是調用層次多的時候。RESTful和RPC的比較也是一個很有意思的話題。一般REST基於HTTP,更容易實現,更容易被接受,服務端實現技術也更靈活些,各個語言都能支持,同時能跨客戶端,對客戶端沒有特殊的要求,只要封裝了HTTP的SDK就能調用,所以相對使用的廣一些。RPC也有自己的優點,傳輸協議更高效,安全更可控,特別在一個公司內部,如果有統一個的開發規範和統一的服務框架時,他的開發效率優勢更明顯些。就看各自的技術積累實際條件,自己的選擇了。

而非同步消息的方式在分散式系統中有特別廣泛的應用,他既能減低調用服務之間的耦合,又能成為調用之間的緩衝,確保消息積壓不會衝垮被調用方,同時能保證調用方的服務體驗,繼續乾自己該乾的活,不至於被後臺性能拖慢。不過需要付出的代價是一致性的減弱,需要接受數據最終一致性;還有就是後臺服務一般要實現冪等性,因為消息發送出於性能的考慮一般會有重覆(保證消息的被收到且僅收到一次對性能是很大的考驗);最後就是必須引入一個獨立的broker,如果公司內部沒有技術積累,對broker分散式管理也是一個很大的挑戰。

這麼多服務,怎麼找?

在微服務架構中,一般每一個服務都是有多個拷貝,來做負載均衡。一個服務隨時可能下線,也可能應對臨時訪問壓力增加新的服務節點。服務之間如何相互感知?服務如何管理?這就是服務發現的問題了。一般有兩類做法,也各有優缺點。基本都是通過zookeeper等類似技術做服務註冊信息的分散式管理。當服務上線時,服務提供者將自己的服務信息註冊到ZK(或類似框架),並通過心跳維持長鏈接,實時更新鏈接信息。服務調用者通過ZK定址,根據可定製演算法,找到一個服務,還可以將服務信息緩存在本地以提高性能。當服務下線時,ZK會發通知給服務客戶端。

  • 客戶端做:優點是架構簡單,擴展靈活,只對服務註冊器依賴。缺點是客戶端要維護所有調用服務的地址,有技術難度,一般大公司都有成熟的內部框架支持,比如Dubbo。
  • 服務端做:優點是簡單,所有服務對於前臺調用方透明,一般在小公司在雲服務上部署的應用採用的比較多。

screenshot

這麼多服務,服務掛了怎麼辦?

前面提到,Monolithic方式開發一個很大的風險是,把所有雞蛋放在一個籃子里,一榮俱榮,一損俱損。而分散式最大的特性就是網路是不可靠的。通過微服務拆分能降低這個風險,不過如果沒有特別的保障,結局肯定是噩夢。我們剛遇到一個線上故障就是一個很不起眼的SQL計數功能,在訪問量上升時,導致資料庫load彪高,影響了所在應用的性能,從而影響所有調用這個應用服務的前臺應用。所以當我們的系統是由一系列的服務調用鏈組成的時候,我們必須確保任一環節出問題都不至於影響整體鏈路。相應的手段有很多:

  • 重試機制
  • 限流
  • 熔斷機制
  • 負載均衡
  • 降級(本地緩存)

這些方法基本上都很明確通用,就不詳細說明瞭。比如Netflix的Hystrix:https://github.com/Netflix/Hystrix
screenshot

WHY - 微服務的應用

這裡有一個圖非常好的總結微服務架構需要考慮的問題,包括

  • API Gateway
  • 服務間調用
  • 服務發現
  • 服務容錯
  • 服務部署
  • 數據調用

screenshot

微服務的優點和缺點(或者說挑戰)一樣明顯。

  • 優點
    • 開發簡單
    • 技術棧靈活
    • 服務獨立無依賴
    • 獨立按需擴展
    • 可用性高
  • 缺點(挑戰)
    • 多服務運維難度
    • 系統部署依賴
    • 服務間通信成本
    • 數據一致性
    • 系統集成測試
    • 重覆工作
    • 性能監控

沒有最好的,只有適合自己的。
screenshot

  • 對於大的互聯網公司,微服務架構是血液,是習慣,每家公司都有自己的套路和架構,細節有不同,但是核心理念是通的。
  • 對於一般的公司而言,實踐微服務有非常大的技術挑戰,於是乎才有了這麼多IT供應商考慮這裡的商機。微服務比較適合未來有一定的擴展複雜度,且有很大用戶增量預期的應用,說人話就是新興的互聯網公司。創業初期,不可能買大量的機器或者很貴的機器,但是又必須考慮應對成功後的巨量的用戶,微服務架構成了最好的選擇。 screenshot
So What - 思考

看到上面的圖,不是不覺得特別的熟悉?其實我們N年前就用的滾瓜爛熟了好不好?褲子都拖了,你就給我看這個?

screenshot
from: https://github.com/Netflix/recipes-rss/wiki/Architecture

其實本來所謂的微服務就是對互聯網在應用技術的一個總結歸納,IT廠商鼓吹所有概念無非是為了生意(business),SOA是,Cloud是,Microservice也是。下麵玩笑很有意思的概括了這個情況(我加了第一條線,原圖見這裡
screenshot

所以微服對我們的思考我覺得更多的是思維上的,對已微服務架構, 技術上不是問題,意識比工具重要。

  • 按照業務 或者客戶需求組織資源(這是最難的)
  • 做有生命的產品,而不是項目
  • 頭狼戰隊,全棧化
  • 後臺服務貫徹Single Responsibility Principle
  • VM->Docker (to PE)
  • DevOps (to PE)

同時,對於開發同學,有這麼多的中間件和強大的PE支持固然是好事,我們也需要深入去瞭解這些中間件背後的原理,知其然知其所以然,設想下,如果我們是一個小公司的CTO,離開的阿裡的大環境,在有限的技術資源如何通過開源技術實施微服務?

最後,一般提到微服務都離不開DevOps和Docker,理解微服務架構是核心,devops和docker是工具,是手段。下次在抽時間再學習整理下。
screenshot

參考資料和推薦閱讀

 

學習資料:https://yq.aliyun.com/articles/2764?spm=5176.100239.blogcont57839.32.UGSga0


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Atitit.可視化與報表原理與概論 1. 信息可視化1 2. Gui可視化1 3. 報表系統(三大圖表,金字塔,組織結構圖等)1 4. 《可視化數據》目錄3 5. 可視化的具體實現(canvas,svg ,dom)4 6. 報表圖表框架4 1. 信息可視化 Chapter01 做好準備,瞭解信息可 ...
  • Atitit 游戲的原理與概論attilax總結 1. 游戲歷史2 1.1.1. 盤點PC游戲史上最重要的50款游戲2 1.1.2. 回味人類文明進程 五款經典的歷史游戲2 2. 游戲類型(主要分為6類:動作、冒險、模擬、角色扮演、休閑和其他)2 3. 《游戲設計的100個原理》((美)迪斯潘... ...
  • 前言 前段時間針對EQueue的完善終於告一段落了,實在值得慶祝,自己的付出和堅持總算有了成果。這次新版本主要為EQueue實現了集群功能,基本實現了Broker的高可用。另外還增加了很多實用的功能,對性能也做了很多優化。總之,EQueue越來越成熟了。 EQueue最新版本信息 Nuget:htt ...
  • 學習過Spring框架的人一定都會聽過Spring的IoC(控制反轉) 、DI(依賴註入)這兩個概念,對於初學Spring的人來說,總覺得IoC 、DI這兩個概念是模糊不清的,是很難理解的, IoC是什麼 Ioc—Inversion of Control,即“控制反轉”,不是什麼技術,而是一種設計思 ...
  • 透切理解面向對象三大基本特性是理解面向對象五大基本原則的基礎. 三大特性是:封裝,繼承,多態 所謂封裝: 也就是把客觀事物封裝成抽象的類,並且類可以把自己的數據和方法只讓可信的類或者對象操作,對不可信的進行信息隱藏。封裝是面向對象的特征之一,是對象和類概念的主要特性。 簡單的說,一個類就是一個封裝了 ...
  • 多態:龍生九子,各有不同 同樣都是繼承了同一個父類,但是父類中的方法並不使用任何一個子類,那麼在這就需要子類重新編寫這個方法的主體 1、需要父類同意子類可以重新編寫自己的方法 virtual - 虛方法 2、子類只能重寫父類允許重寫的方法,只能重寫虛方法 override - 重寫覆蓋虛方法 所有的 ...
  • Atitit 延遲綁定架構法attilax總結 配置文件的延遲綁定1 Api屬性與方法的回調延遲綁定1 後期綁定和前期綁定2 延遲調用2 用 Java 語言延遲綁定2 什麼是推遲綁定 C++3 配置文件的延遲綁定 通過把配置文件延遲綁定在啟動bat文件上,可以及時靈活的切換配置文件。 Api屬性與方 ...
  • Atitit java集成內嵌瀏覽器與外嵌瀏覽器attilax總結 HTML5將顛覆原生App世界。這聽起來有點危言聳聽,但若認真分析HTML5的發展史,你會發現,這個世界的發展趨勢確實就是這樣。 熟知歷史才能預知未來,先讓我們來看看HTML5為什麼誕生、這8年是怎麼過來的。 HTML5的誕生 自W ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...