【系統架構】讀《大型網站架構系列:分散式消息隊列》整理

来源:http://www.cnblogs.com/aiweixiao/archive/2016/11/18/6079155.html
-Advertisement-
Play Games

文章地址 文章地址 拓展閱讀: RabbitMQ + PHP (一)入門與安裝 RabbitMQ + PHP (二)AMQP拓展安裝 RabbitMQ + PHP (三)案例演示 RabbitMQ + PHP (一)入門與安裝 RabbitMQ + PHP (二)AMQP拓展安裝 RabbitMQ ...


文章地址 拓展閱讀:
RabbitMQ + PHP (一)入門與安裝 RabbitMQ + PHP (二)AMQP拓展安裝 RabbitMQ + PHP (三)案例演示     1. 一些辭彙和技術
1)Zookeeper註冊中心 Storm集群     2. 核心思想
1)【概述】 消息隊列中間件是分散式系統中重要的組件,主要解決應用耦合,非同步消息,流量削鋒等問題。實現高性能,高可用,可伸縮和最終一致性架構。是大型分散式系統不可缺少的中間件。 目前在生產環境,使用較多的消息隊列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等 2)【應用場景】 非同步處理,應用解耦,流量削鋒和消息通訊四個場景。   3)【消息中間件示例】 電商系統 日誌收集系統   4)【日誌系統】 ELK Static(新浪kafka日誌處理應用案例) -- Kafka:接收用戶日誌的消息隊列。   -- Logstash:做日誌解析,統一成JSON輸出給Elasticsearch。   -- Elasticsearch:實時日誌分析服務的核心技術,一個schemaless,實時的數據存儲服務,通過index組織數據,兼具強大的搜索和統計功能。   -- Kibana:基於Elasticsearch的數據可視化組件,超強的數據可視化能力是眾多公司選擇ELK stack的重要原因。   5)【Zookeeper】 Zookeeper 分散式服務框架是 Apache Hadoop 的一個子項目,它主要是用來解決分散式應用中經常遇到的一些數據管理問題,如:統一命名服務、狀態同步服務、集群管理、分散式應用配置項的管理等   6)【storm】 是一種 實現一個實時計算系統  
7)【兩種消息模式】

    -- 點對點(P2P模式) :
 
              a)每個消息只有一個消費者(Consumer)(即一旦被消費,消息就不再在消息隊列中)
               b)發送者和接收者之間在時間上沒有依賴性,也就是說當發送者發送了消息之後,不管接收者有沒有正在運行,它不會影響到消息被髮送到隊列
              c)接收者在成功接收消息之後需向隊列應答成功

      -- 發佈訂閱(Pub/sub模式)

            a)每個消息可以有多個消費者
             b)發佈者和訂閱者之間有時間上的依賴性。針對某個主題(Topic)的訂閱者,它必須創建一個訂閱者之後,才能消費發佈者的消息。
           c)為了消費消息,訂閱者必須保持運行的狀態。  
3. 常見消息隊列中間件
  1)【ActiveMQ     ActiveMQ 是Apache出品,最流行的,能力強勁的開源消息匯流排,對JAVA支持好   2)【RabbitMQ】 -- RabbitMQ是流行的開源消息隊列系統,用erlang語言開發。RabbitMQ是AMQP(高級消息隊列協議)的標準實現。支持多種客戶端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX,持久化。用於在分散式系統中存儲轉發消息,在易用性、擴展性、高可用性等方面表現不俗 -- RabbitMQ的安裝   3)【ZeroMQ】 號稱史上最快的消息隊列,它實際類似於Socket的一系列介面,他跟Socket的區別是:普通的socket是端到端的(1:1的關係),而ZMQ卻是可以N:M 的關係,人們對BSD套接字的瞭解較多的是點對點的連接,點對點連接需要顯式地建立連接、銷毀連接、選擇協議(TCP/UDP)和處理錯誤等,而ZMQ屏蔽了這些細節,讓你的網路編程更為簡單。ZMQ用於node與node間的通信,node可以是主機或者是進程。   4)【Kafka】 Kafka是一種高吞吐量的分散式發佈訂閱消息系統,它可以處理消費者規模的網站中的所有動作流數據。 這種動作(網頁瀏覽,搜索和其他用戶的行動)是在現代網路上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌數據和離線分析系統,但又要求實時處理的限制,這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理,也是為了通過集群機來提供實時的消費。     參考文檔: RabbitMQ + PHP (一)入門與安裝 RabbitMQ + PHP (二)AMQP拓展安裝 RabbitMQ + PHP (三)案例演示
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前面幾篇講解瞭如何使用rabbitMq,這一篇主要講解spring集成rabbitmq。 首先引入配置文件org.springframework.amqp,如下 一:配置消費者和生成者公共部分 二:配置生成者 三:生產者程式 其中convertAndSend方法預設第一個參數是交換機名稱,第二個參數 ...
  • 今天我們來探索python中大部分的異常報錯 首先異常是什麼,異常白話解釋就是不正常,程式裡面一般是指程式員輸入的格式不規範,或者需求的參數類型不對應,不全等等。 打個比方很多公司年終送蘋果筆記本,你程式話思維以為是(MAC)電腦筆記本,結果給你個蘋果+筆記本。。。首先類型不對,數量也不對。 先來看 ...
  • 》JavaAPI 文檔註釋可以在:類,常量,方法上聲明 文檔註釋可以被javadoc命令所解析並且根據內容生成手冊 1 package cn.fury.se_day01; 2 /** 3 * 文檔註釋可以在:類,常量,方法上聲明 4 * 文檔註釋可以被javadoc命令所解析並且根據內容生成手冊 5 ...
  • 一、算數運算符和算術表達式 +加 a+b -減 a-b *乘 a*b /除 a/b %取模 a%b **求冪 a**b 二、關係運算符和關係表達式 < ,<=,>,>=,==,!=其中< ,<=,>,>=,的運算符的優先順序大於==,!= 三、邏輯運算符和邏輯表達式 and 與a and b or 或 ...
  • 問題:在 Android 平臺下,顯示 Emoji 文字,無法顯示彩色(皆為黑色),例如 Edit 控制項,即使將 Edit.ControlType = Platform 設為平臺原生控制項,還是沒用(真機測試 Edit.ControlType 設定為 Style 與 Platform 是一樣的,而 i ...
  • 一、命名規則 1.變數名、包名、模塊名通常採用小寫,也可以使用下劃線 2.類名首字母大寫,對象名小寫。類的私有變數、私有方法以兩個下劃線作為首碼 例:class Student: #類名 student = Student(“ddd”) #對象 3.函數名通常採用小寫 例:def compareNu ...
  • 改源代碼大小 1.File→Settings→Editor→Colors&Fonts→Font 2.首先得需要Save as一個Scheme,接下來才可以修改字體,名字可以任意取 改運行字體的大小 ...
  • 本例用來展示 QTimer 的使用,如何定時的更新一個視窗部件。 1 QLCDNumber 類 QLCDNumber 是一種可將數字顯示為類似 LCD 形式的視窗部件,它同 QLabel 一樣,都繼承自 QFrame,而 QFrame 繼承自 QWidget 頭文件 digitalclock.h D ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...