**鎖屏面試題百日百刷,每個工作日堅持更新面試題。**請看到最後就能獲取你想要的, 接下來的是今日的面試題: 1.為什麼kafka可以實現高吞吐?單節點kafka的吞吐量也比其他消息隊列大,為什麼? Kafka是分散式消息系統,需要處理海量的消息,Kafka的設計是把所有的消息都寫入速度低容量大的硬 ...
鎖屏面試題百日百刷,每個工作日堅持更新面試題。****請看到最後就能獲取你想要的, 接下來的是今日的面試題:
1.為什麼kafka可以實現高吞吐?單節點kafka的吞吐量也比其他消息隊列大,為什麼?
Kafka是分散式消息系統,需要處理海量的消息,Kafka的設計是把所有的消息都寫入速度低容量大的硬碟,以此來換取更強的存儲能力,但實際上,使用硬碟並沒有帶來過多的性能損失。kafka主要使用了以下幾個方式實現了超高的吞吐率
順序讀寫
kafka的消息是不斷追加到文件中的,這個特性使kafka可以充分利用磁碟的順序讀寫性能順序讀寫不需要硬碟磁頭的尋道時間,只需很少的扇區旋轉時間,所以速度遠快於隨機讀寫
零拷貝
先簡單瞭解下文件系統的操作流程,例如一個程式要把文件內容發送到網路,這個程式是工作在用戶空間,文件和網路socket屬於硬體資源,兩者之間有一個內核空間在操作系統內部,整個過程為:
在Linux kernel2.2 之後出現了一種叫做”零拷貝(zero-copy)”系統調用機制,就是跳過“用戶緩衝區”的拷貝,建立一個磁碟空間和記憶體的直接映射,數據不再複製到“用戶態緩衝區”系統上下文切換減少為2次,可以提升一倍的性能
文件分段
kafka的隊列topic被分為了多個區partition,每個partition又分為多個段segment,所以一個隊列中的消息實際上是保存在N多個片段文件中通過分段的方式,每次文件操作都是對一個小文件的操作,非常輕便,同時也增加了並行處理能力
批量發送
Kafka允許進行批量發送消息,先將消息緩存在記憶體中,然後一次請求批量發送出去比如可以指定緩存的消息達到某個量的時候就發出去,或者緩存了固定的時間後就發送出去如100條消息就發送,或者每5秒發送一次這種策略將大大減少服務端的I/O次數
數據壓縮
Kafka還支持對消息集合進行壓縮,Producer可以通過GZIP或Snappy格式對消息集合進行壓縮壓縮的好處就是減少傳輸的數據量,減輕對網路傳輸的壓力Producer壓縮之後,在Consumer需進行解壓,雖然增加了CPU的工作,但在對大數據處理上,瓶頸在網路上而不是CPU,所以這個成本很值得
2.Kafka的ISR
ISR代表In-Sync Replicas,在Kafka里表示目前處於同步狀態的那些副本(replica)。
Kafka規定一條消息只有當ISR中所有的副本都複製成功時,才能被消費。
全部內容在git上,瞭解更多請點我頭像或到我的主頁去獲得,謝謝