為什麼Kafka的性能那麼好?

来源:https://www.cnblogs.com/wing011203/archive/2023/03/16/17223888.html
-Advertisement-
Play Games

這篇文章主要用來討論Kafka是如何做到高性能的,包括使用批處理方式處理消息,使用順序讀寫的方式使用磁碟,利用PageCache緩存數據並減少IO操作,使用零拷貝技術加速消費流程。 ...


Apache Kafka是一個高性能的消息隊列,在眾多的消息隊列產品中,Kafka的性能是處於第一梯隊的。

Kafka的高性能主要取決於以下幾方面:

  1. 使用批量處理的方式來提升系統吞吐能力
  2. 基於磁碟文件高性能順序讀寫的特性來設計的存儲結構
  3. 利用操作系統的PageCache來緩存數據,減少IO並提升讀性能
  4. 使用零拷貝技術加速消費流程

接下來,我們展開討論Kafka是如何利用上述手段提升性能。

使用批量消息提升服務端處理能力

在Kafka內部,消息都是以“批”為單位處理的,Kafka的客戶端SDK在實現消息發送邏輯的時候,採用了非同步批量發送的機制。

當我們調用send()方法發送一條消息後,無論我們是同步發送還是非同步發送,Kafka並不會立刻把這條消息發送出去,它會先把這條消息存放在記憶體中,然後選擇合適的時機把緩存的所有消息組成一批,一次性的發給Broker。

在Broker端,整個處理流程中,無論是寫入磁碟、從磁碟讀出來、還是複製到其他副本,批消息都不回被解開,一直是作為一條“批消息”進行處理的。

在消費時,消息同樣是以批為單位進行傳遞的,Consumer從Broker拉到一批消息後,在客戶端把批消息解開,再一條一條交給用戶代碼處理。

這樣,構建批消息和解開批消息分別在發送端和消費端的客戶端完成,不僅減輕了Broker的壓力,還減少了Broker處理請求的次數,提升了總體的處理能力。

使用順序讀寫提升磁碟IO性能

對於磁碟來說,一個重要特性是順序讀寫的性能要遠遠好於隨機讀寫。

Kafka利用了磁碟這個特性,它的存儲設計非常簡單,對於每個分區,它把從Producer收到的消息,順序地寫入對應的log文件中,一個文件寫完了,就開啟一個新的文件繼續順序寫下去。消費的時候,也是從某個全局的位置開始,順序地把消息讀出來。

利用PageCache加速消息讀寫

Kafka會利用PageCache加速消息讀寫。PageCache是操作系統在記憶體中給磁碟上的文件建立的緩存。無論我們使用什麼語言編寫的程式,在調用系統的API讀寫文件的時候,並不會直接去寫磁碟上的文件,應用程式實際操作的都是PageCache,也就是文件在記憶體中緩存的副本。

應用程式在寫入文件的時候,操作系統會先把數據寫入到記憶體的PageCache,然後再一批一批地寫到磁碟上。

當我們從PageCache中讀物數據時,會有兩種結果:

  1. PageCache中有數據,可以直接讀取,這樣就節省了從磁碟上讀物數據的時間。
  2. PageCache中沒有數據,操作系統會引發一個缺頁中斷,應用程式的讀取線程被阻塞,操作系統把數據從文件中複製到PageCache中,然後應用程式再從PageCache中繼續把數據讀出來,這時真正讀一次磁碟上的文件,這個讀的過程會比較慢。

用戶的應用程式在使用完某塊PageCache後,操作系統並不會立刻就清除這個PageCache,而是儘可能的利用空閑的物理記憶體保存這些pageCache,除非系統記憶體不夠,操作系統才會清理掉一部分PageCache,清理策略一般是LRC或者它的變種方法。

使用零拷貝技術加速消費流程

在服務端,處理消費的邏輯步驟如下:

  • 首先,從文件中找到消息數據,讀到記憶體中
  • 然後,把消息通過網路發送給客戶端。

這個過程中,數據實際上做了2到3次複製:

  1. 從文件複製數據到PageCache中,如果命中PageCache,這一步可以忽略。
  2. 從PageCache複製到應用程式的記憶體空間中。
  3. 從應用程式的記憶體空間複製到Socket緩衝區。

Kafka使用零拷貝技術把上述複製次數減少一次,上面的第2步和第3步的兩次複製合併成一次複製。直接從PageCache中將數據複製到Socket緩衝區,這樣不僅減少了一次數據複製,而且由於不用把數據複製到用戶記憶體空間,DMA控制器就可以直接完成數據複製,不需要CPU參與,速度更快。

如果我們遇到這種從文件讀出數據後再通過網路發送出去的場景,並且這個過程彙總你必須要對這些數據進行處理,那一定要使用零拷貝方法,可以有效提升性能。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Vue框架快速上手 前端環境準備 編碼工具:VSCode 依賴管理:NPM 項目構建:VueCli Vue框架介紹 Vue是一套用於構建用戶界面的漸進式框架。 Vue.js提供了MVVM數據綁定和一個可組合的組件系統,具有簡單、靈活的API。 其目標是通過儘可能簡單的API實現響應式的數據綁定和可組 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 你是否知道,JavaScript中有一種原生的方法來做對象的深拷貝? 本文我們要介紹的是 structuredClone 函數,它是內置在 JavaScript 運行時中的: const calendarEvent = { title: ...
  • hash 和 history 區別: 外觀上:hash的路由在url中帶有#號 功能上: hash雖然在url中,但是請求不會包裹它,對後端不會產生任何影響,改變hash不會重新載入頁面。 history是利用了html5 history interface中新增的pushState()和repla ...
  • JavaScript 實現非同步任務迴圈順序執行 需求場景:數組的元素作為非同步任務的參數,迴圈遍歷該數組,並執行非同步任務。 一、錯誤的實現 簡單的錯誤實現 // 非同步任務的參數數組 const arr = [1, 2, 3, 4]; // 非同步任務函數 function task(params, ca ...
  • 迭代器模式(Iterator Pattern):提供一種方法順序訪問一個聚合對象中的各個元素,而不需要暴露該對象的內部表示。在JavaScript中,可以使用迭代器模式來操作數組或類數組對象。 在迭代器模式中,集合對象包含一個方法,用於返回一個迭代器,該迭代器可以按順序訪問該集合中的元素。迭代器提供 ...
  • 1. 效果展示 線上查看 2. 開始前說明 效果實現參考源碼:Logo 聚集與散開 原效果代碼基於 react jsx 類組件實現。依賴舊,代碼冗餘。 我將基於此進行重構,重構目標: 基於最新依賴包,用 ts + hook 實現效果 簡化 dom 結構及樣式 支持響應式 重構應該在還原的基礎上,用更 ...
  • vue生命周期一般為8個,特殊時期為10個 beforeCreate: //發生在頁面完成初始化,組件創建之前,數據尚未掛載 created://發生在組件創建完成時,數據已掛載,可以在此調用介面查數據,防止頁面抖動。 beforeMount://發生在組件掛載之前 mounted://發生在組件掛 ...
  • 這篇文章主要聊一下緩存,如何使用緩存來加速你的系統,減少磁碟 IO。按照讀寫性質,緩存可以分為讀寫緩存和只讀緩存,兩種緩存有各自的適用場景。 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...