【HDFS篇09】集群安全模式

来源:https://www.cnblogs.com/focusbigdata/archive/2020/07/08/13268297.html
-Advertisement-
Play Games

一個微小的投入就會帶來巨大的突變 集群安全模式 為什麼出現集群安全模式呢？ ​ Namenode啟動時，首先將鏡像文件載人記憶體，並執行編輯日誌中的各項操作。一旦在內存中成功建立文件系統元數據的映像，則創建一個新的Fsimage文件和一個空的編輯日誌。此時，** Namenode開始監聽Datanod ...


一個微小的投入就會帶來巨大的突變

集群安全模式

為什麼出現集群安全模式呢？

​ Namenode啟動時，首先將鏡像文件載人記憶體，並執行編輯日誌中的各項操作。一旦在內存中成功建立文件系統元數據的映像，則創建一個新的Fsimage文件和一個空的編輯日誌。此時，** Namenode開始監聽Datanode請求**。這個過程期間， Namenode一直運行在安全模式，即NameNode的文件系統對於客戶端來說是只讀的

其實安全模式就是集群數據都還沒準備好時候的一個保護機制

DataNode啟動發生的事情

​ 系統中的數據塊的位置並不是由 NameNode維護的，而是以塊列表的形式存儲在 DataNode中。在系統的正常操作期間， NameNode會在記憶體中保留所有塊位置的映射信息。在安全模式下，各個 DataNode會向NameNode發送最新的塊列表信息， NameNode瞭解到足夠多的塊位置信息之後，即可髙效運行文件系統

這個足夠多是多少呢？99.9%

安全模式退出的判斷

如果滿足“最小副本條件”， NameNode會在30秒鐘之後就退出安全模式。所謂的最小副本條件指的是在整個文件系統中99.9%的塊滿足最小副本級別（預設值：dfs.replication.min=1）。在啟動一個剛剛格式化的HDFS集群時，因為系統中還沒有任何塊，所以 Namenode不會進入安全模式。

集群安全模式下的操作

  • hdfs dfsadmin -safemode get （功能描述：查看安全模式狀態）
  • hdfs dfsadmin -safemode enter （功能描述：進入安全模式狀態）
  • hdfs dfsadmin -safemode leave （功能描述：離開安全模式狀態）
  • hdfs dfsadmin -safemode wait （功能描述：等待安全模式狀態）

相關資料

image-20200708174358979


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • laravel 資料庫遷移時報錯
    原文地址：https://www.wjcms.net/archives/laravel%E6%95%B0%E6%8D%AE%E5%BA%93%E8%BF%81%E7%A7%BB%E6%97%B6%E6%8A%A5%E9%94%99 問題描述 [Illuminate\Database\QueryExc ...
  • python學習之路-day7
    文件讀取 讀取模式（'r'）、寫入模式寫入模式（'w'）、附加模式附加模式（'a'）或讓你能夠讀取和寫入文件的模式（'r+' 如果要寫入的文件不存在，函數open()將自動創建它。然而，以寫入（'w'）模式打開文件時千萬要小心，因為如果指定的文件已經存在，Python將在返迴文件對象前清空該文件 p ...
  • 一文快速搞定laravel數據填充與數據遷移
    原文地址：https://www.wjcms.net/archives/laravel%E5%B0%8F%E5%AE%9E%E4%BE%8B%E4%B8%80%E6%96%87%E5%BF%AB%E9%80%9F%E5%AD%A6%E4%BC%9Alaravel%E6%95%B0%E6%8D%AE% ...
  • 清空網站瀏覽記錄就行啦？看Python如何實時監控網站瀏覽記錄
    前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 需求： (1) 獲取你對象chrome前一天的瀏覽記錄中的所有網址(url)和訪問時間，並存在一個txt文件中 (2)將這個txt文件發送給指定的郵箱地址(你的郵箱) (3) ...
  • C++tcp伺服器和跨平臺客戶端
    #TcpServer #define WIN32_LEAN_AND_MEAN #define _WINSOCK_DEPRECATED_NO_WARNINGS #include <windows.h> #include <winsock2.h> #include <iostream> #include ...
  • Eclipse中JSP生成的class文件去了哪裡？
    JSP在請求的時候，會先轉化成Servlet（其實就是個java類），然後生成class文件，再提供服務。 那麼生成的java、class文件在哪呢？ 首先應該瞭解的是Tomcat在Eclipse的映射關係：Tomcat的伺服器目錄配置 可以瞭解到，Tomcat在Eclipse中提供了三種位置配置選 ...
  • Java入門基礎學習，成為一個Java程式員的必備知識
    引言 眾所周知，Java是一種面向對象的編程語言。您可以在Windows操作系統上編寫Java源代碼，而在Linux操作系統上運行編譯後的位元組碼，而無需修改源代碼。 數據類型 Java 有 2 種數據類型，一種是基本數據類型，一種是引用類型。 基本數據類型用於存儲簡單類型的數據，比如說，int、lo ...
  • Java獲取反射的三種方法
    1. 通過new對象實現反射機制（ 對象.getClass() ） 2. 通過路徑實現反射機制（ Class.forName("包名.類名") ） 3. 通過類名實現反射機制 （ 類名.Class ） class Student { private int id; String name; prot ...
一周排行
    -Advertisement-
    Play Games
  • .net 6 C#中System.IO.Path類的用法
    1. 說明 /* Performs operations on System.String instances that contain file or directory path information. These operations are performed in a cross-pla ...
  • 使用WebApi+Vue3從0到1搭建《許可權管理系統》:二、搭建JWT系統鑒權
    視頻地址：【WebApi+Vue3從0到1搭建《許可權管理系統》系列視頻：搭建JWT系統鑒權-嗶哩嗶哩】 https://b23.tv/R6cOcDO qq群:801913255 一、在appsettings.json中設置鑒權屬性 /*jwt鑒權*/ "JwtSetting": { "Issuer" ...
  • 實戰指南：使用 xUnit 和 ASP.NET Core 進行集成測試【完整教程】
    引言 集成測試可在包含應用支持基礎結構（如資料庫、文件系統和網路）的級別上確保應用組件功能正常。 ASP.NET Core 通過將單元測試框架與測試 Web 主機和記憶體中測試伺服器結合使用來支持集成測試。 簡介 集成測試與單元測試相比，能夠在更廣泛的級別上評估應用的組件，確認多個組件一起工作以生成預 ...
  • .NET Emit 入門教程：第六部分：IL 指令：9：詳解 ILGenerator 指令方法：運算操作指令（指令篇結束）
    在.NET Emit編程中，我們探討了運算操作指令的重要性和應用。這些指令包括各種數學運算、位操作和比較操作，能夠在動態生成的代碼中實現對數據的處理和操作。通過這些指令，開發人員可以靈活地進行算術運算、邏輯運算和比較操作，從而實現各種複雜的演算法和邏輯......本篇之後，將進入第七部分：實戰項目 ...
  • WPF多表頭表格實現
    前言 多表頭表格是一個常見的業務需求，然而WPF中卻沒有預設實現這個功能，得益於WPF強大的控制項模板設計，我們可以通過修改控制項模板的方式自己實現它。 一、需求分析 下圖為一個典型的統計表格，統計1-12月的數據。 此時我們有一個需求，需要將月份按季度劃分，以便能夠直觀地看到季度統計數據，以下為該需求 ...
  • gRPC入門學習之旅（七）
    如何將 ASP.NET Core MVC 項目的視圖分離到另一個項目 在當下這個年代 SPA 已是主流，人們早已忘記了 MVC 以及 Razor 的故事。但是在某些場景下 SSR 還是有意想不到效果。比如某些靜態頁面，比如追求首屏載入速度的時候。最近在項目中回歸傳統效果還是不錯。 有的時候我們希望將 ...
  • System.AggregateException: 發生一個或多個錯誤.....
    System.AggregateException: 發生一個或多個錯誤。 > Microsoft.WebTools.Shared.Exceptions.WebToolsException: 生成失敗。檢查輸出視窗瞭解更多詳細信息。 內部異常堆棧跟蹤的結尾 > (內部異常 #0) Microsoft ...
  • 精通中間件測試：Asp.Net Core實戰指南，提升應用穩定性和可靠性
    引言 在上一章節我們實戰了在Asp.Net Core中的項目實戰，這一章節講解一下如何測試Asp.Net Core的中間件。 TestServer 還記得我們在集成測試中提供的TestServer嗎？ TestServer 是由 Microsoft.AspNetCore.TestHost 包提供的。 ...
  • Case表達式
    在發現結果為真的WHEN子句時,CASE表達式的真假值判斷會終止,剩餘的WHEN子句會被忽略: CASE WHEN col_1 IN ('a', 'b') THEN '第一' WHEN col_1 IN ('a') THEN '第二' ELSE '其他' END 註意: 統一各分支返回的數據類型. ...
  • 揭秘：C#語法中“_ =” 是什麼？
    在C#編程世界中，語法的精妙之處往往體現在那些看似微小卻極具影響力的符號與結構之中。其中，“_ =” 這一組合突然出現還真不知道什麼意思。本文將深入剖析“_ =” 的含義、工作原理及其在實際編程中的廣泛應用，揭示其作為C#語法奇兵的重要角色。 一、下劃線 _：神秘的棄元符號 下劃線 _ 在C#中並非 ...
所有分類