面試題百日百刷-kafka篇(四)

来源:https://www.cnblogs.com/demosoftware/archive/2023/04/17/17327795.html
-Advertisement-
Play Games

**鎖屏面試題百日百刷,每個工作日堅持更新面試題。**請看到最後就能獲取你想要的, 接下來的是今日的面試題: 1.為什麼kafka可以實現高吞吐?單節點kafka的吞吐量也比其他消息隊列大,為什麼? Kafka是分散式消息系統,需要處理海量的消息,Kafka的設計是把所有的消息都寫入速度低容量大的硬 ...


鎖屏面試題百日百刷,每個工作日堅持更新面試題。****請看到最後就能獲取你想要的, 接下來的是今日的面試題:

1.為什麼kafka可以實現高吞吐?單節點kafka的吞吐量也比其他消息隊列大,為什麼?

Kafka是分散式消息系統,需要處理海量的消息,Kafka的設計是把所有的消息都寫入速度低容量大的硬碟,以此來換取更強的存儲能力,但實際上,使用硬碟並沒有帶來過多的性能損失。kafka主要使用了以下幾個方式實現了超高的吞吐率

順序讀寫

kafka的消息是不斷追加到文件中的,這個特性使kafka可以充分利用磁碟的順序讀寫性能順序讀寫不需要硬碟磁頭的尋道時間,只需很少的扇區旋轉時間,所以速度遠快於隨機讀寫

零拷貝

先簡單瞭解下文件系統的操作流程,例如一個程式要把文件內容發送到網路,這個程式是工作在用戶空間,文件和網路socket屬於硬體資源,兩者之間有一個內核空間在操作系統內部,整個過程為:

在Linux kernel2.2 之後出現了一種叫做”零拷貝(zero-copy)”系統調用機制,就是跳過“用戶緩衝區”的拷貝,建立一個磁碟空間和記憶體的直接映射,數據不再複製到“用戶態緩衝區”系統上下文切換減少為2次,可以提升一倍的性能

文件分段

kafka的隊列topic被分為了多個區partition,每個partition又分為多個段segment,所以一個隊列中的消息實際上是保存在N多個片段文件中通過分段的方式,每次文件操作都是對一個小文件的操作,非常輕便,同時也增加了並行處理能力

批量發送

Kafka允許進行批量發送消息,先將消息緩存在記憶體中,然後一次請求批量發送出去比如可以指定緩存的消息達到某個量的時候就發出去,或者緩存了固定的時間後就發送出去如100條消息就發送,或者每5秒發送一次這種策略將大大減少服務端的I/O次數

數據壓縮

Kafka還支持對消息集合進行壓縮,Producer可以通過GZIP或Snappy格式對消息集合進行壓縮壓縮的好處就是減少傳輸的數據量,減輕對網路傳輸的壓力Producer壓縮之後,在Consumer需進行解壓,雖然增加了CPU的工作,但在對大數據處理上,瓶頸在網路上而不是CPU,所以這個成本很值得

2.Kafka的ISR

ISR代表In-Sync Replicas,在Kafka里表示目前處於同步狀態的那些副本(replica)。

Kafka規定一條消息只有當ISR中所有的副本都複製成功時,才能被消費。

全部內容在git上,瞭解更多請點我頭像或到我的主頁去獲得,謝謝


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 說明 使用 VLD 記憶體泄漏檢測工具輔助開發時整理的學習筆記。同系列文章目錄可見 《記憶體泄漏檢測工具》目錄 1. 使用方式 在 VS 中使用 VLD 的方法可以查看另外一篇博客:在 VS 2015 中使用 VLD。 2. 輸出報告 在 VS 中使用 VLD 時的輸出報告,與在 QT 中使用時是一致的 ...
  • .NET 實現JWT登錄認證 在ASP.NET Core應用程式中,使用JWT進行身份驗證和授權已成為一種流行的方式。JWT是一種安全的方式,用於在客戶端和伺服器之間傳輸用戶信息。 添加NuGet包 首先,我們需要添加一些NuGet包來支持JWT身份驗證。在您的ASP.NET Core項目中,打開S ...
  • 眾所周知,bash命令執行的時候會輸出信息,但有時這些信息必須要經過幾次處理之後才能得到我們想要的格式,此時應該如何處置?這就牽涉到 管道命令(pipe) 了。管道命令使用的是|這個界定符號。每個管道後面接的第一個數據必定是命令,而且這個命令必須要能夠接受標準輸出的數據才行,這樣的命令才可為管道命令... ...
  • 考點:文件的打開和讀取 打開文件的過程: 打開操作本質上是使用了open這個系統調用,參數如下圖所示。 操作系統通過文件的路徑在外存中找到了這個test.txt文件所在的目錄,繼續找該文件的目錄項(FCB),一個文件只有一個目錄項。然後將這個目錄項調到記憶體中,系統中有一個系統打開文件表,裡面存放的是 ...
  • 資源管理器右鍵添加打開cmd視窗指令 資源管理器空白處右鍵添加打開cmd視窗命令,直接打開cmd並切換到當前目錄 首先刪除該指令 添加該指令條目、名稱,然後添加具體的指令 此.reg文件必須以UTF-8-BOM編碼格式保存,否則無法設置中文名稱 Windows Registry Editor Ver ...
  • linux vi命令詳解 剛開始學著用linux,對vi命令不是很熟,在網上轉接了一篇。 vi編輯器是所有Unix及Linux系統下標準的編輯器,它的強大不遜色於任何最新的文本編輯器,這裡只是簡單地介紹一下它的用法和一小部分指 令。由於 對Unix及Linux系統的任何版本,vi編輯器是完全相同的, ...
  • GMT 和 UTC 時間有何區別?Unix 時間常式為何不處理閏秒?系統時區是如何設置的?哪些時間常式受夏時制影響?localtime 和 gmtime 是否共用內部存儲區?strftime 獲取第幾周使用的 %U/%V/%W 有何區別?linux date 和 mac date 語法有何區別?本文... ...
  • Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢出) ”問題如下: 一、報錯信息: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢出),如圖: 格式化後的報錯信息: { "timestamp": "2023-04-17 22: ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...