鎖屏面試題百日百刷，每個工作日堅持更新面試題。請看到最後就能獲取你想要的,接下來的是今日的面試題： 1.解釋一下，在數據製作過程中，你如何能從Kafka得到準確的信息？ 在數據中，為了精確地獲得Kafka的消息，你必須遵循兩件事: 在數據消耗期間避免重覆，在數據生產過程中避免重覆。 這裡有兩種方法， ...
鎖屏面試題百日百刷，每個工作日堅持更新面試題。請看到最後就能獲取你想要的,接下來的是今日的面試題：
1.解釋一下，在數據製作過程中，你如何能從Kafka得到準確的信息？
在數據中，為了精確地獲得Kafka的消息，你必須遵循兩件事: 在數據消耗期間避免重覆，在數據生產過程中避免重覆。
這裡有兩種方法，可以在數據生成時準確地獲得一個語義:
每個分區使用一個單獨的寫入器，每當你發現一個網路錯誤，檢查該分區中的最後一條消息，以查看您的最後一次寫入是否成功
在消息中包含一個主鍵(UUID或其他)，併在用戶中進行反覆制
2.解釋如何減少ISR中的擾動？broker什麼時候離開ISR？
ISR是一組與leaders完全同步的消息副本，也就是說ISR中包含了所有提交的消息。ISR應該總是包含所有的副本，直到出現真正的故障。如果一個副本從leader中脫離出來，將會從ISR中刪除。
3.Kafka為什麼需要複製？
Kafka的信息複製確保了任何已發佈的消息不會丟失，並且可以在機器錯誤、程式錯誤或更常見些的軟體升級中使用。
4.如果副本在ISR中停留了很長時間表明什麼？
如果一個副本在ISR中保留了很長一段時間，那麼它就表明，跟蹤器無法像在leader收集數據那樣快速地獲取數據。
5.請說明如果首選的副本不在ISR中會發生什麼？
如果首選的副本不在ISR中，控制器將無法將leadership轉移到首選的副本。
6.Kafka有可能在生產後發生消息偏移嗎？
在大多數隊列系統中，作為生產者的類無法做到這一點，它的作用是觸發並忘記消息。broker將完成剩下的工作，比如使用id進行適當的元數據處理、偏移量等。
作為消息的用戶，你可以從Kafka broker中獲得補償。如果你註視SimpleConsumer類，你會註意到它會獲取包括偏移量作為列表的MultiFetchResponse對象。此外，當你對Kafka消息進行迭代時，你會擁有包括偏移量和消息發送的MessageAndOffset對象。
7.請說明Kafka 的消息投遞保證（delivery guarantee）機制以及如何實現？
Kafka支持三種消息投遞語義：
① At most once 消息可能會丟，但絕不會重覆傳遞
② At least one 消息絕不會丟，但可能會重覆傳遞
③ Exactly once 每條消息肯定會被傳輸一次且僅傳輸一次，很多時候這是用戶想要的
consumer在從broker讀取消息後，可以選擇commit，該操作會在Zookeeper中存下該consumer在該partition下讀取的消息的offset，該consumer下一次再讀該partition時會從下一條開始讀取。如未commit，下一次讀取的開始位置會跟上一次commit之後的開始位置相同。
可以將consumer設置為autocommit，即consumer一旦讀到數據立即自動commit。如果只討論這一讀取消息的過程，那Kafka是確保了Exactly once。但實際上實際使用中consumer並非讀取完數據就結束了，而是要進行進一步處理，而數據處理與commit的順序在很大程度上決定了消息從broker和consumer的delivery guarantee semantic。
·讀完消息先commit再處理消息。這種模式下，如果consumer在commit後還沒來得及處理消息就crash了，下次重新開始工作後就無法讀到剛剛已提交而未處理的消息，這就對應於At most once。
·讀完消息先處理再commit消費狀態(保存offset)。這種模式下，如果在處理完消息之後commit之前Consumer crash了，下次重新開始工作時還會處理剛剛未commit的消息，實際上該消息已經被處理過了，這就對應於At least once。
·如果一定要做到Exactly once，就需要協調offset和實際操作的輸出。經典的做法是引入兩階段提交，但由於許多輸出系統不支持兩階段提交，更為通用的方式是將offset和操作輸入存在同一個地方。比如，consumer拿到數據後可能把數據放到HDFS，如果把最新的offset和數據本身一起寫到HDFS，那就可以保證數據的輸出和offset的更新要麼都完成，要麼都不完成，間接實現Exactly once。（目前就high level API而言，offset是存於Zookeeper中的，
無法存於HDFS，而low level API的offset是由自己去維護的，可以將之存於HDFS中）。
總之，Kafka預設保證At least once，並且允許通過設置producer非同步提交來實現At most once，而Exactly once要求與目標存儲系統協作，Kafka提供的offset可以較為容易地實現這種方式。
全部內容在git上,瞭解更多請點我頭像或到我的主頁去獲得，謝謝
