企業生產環境集群穩定性-HA就行嗎?

来源:http://www.cnblogs.com/gnool/archive/2016/07/07/5651312.html
-Advertisement-
Play Games

在企業生產中,集群一旦運行,是要儘可能的將損失降到最低,現在所有的大數據技術都有HA,spark的、Hadoop的、HBase的等等, HA分冷備和熱備,熱備是集群自帶的,冷備就是硬體的。 這樣一種情況:晚上了,人睡著了,突然的大數據量來了,nameNode、master崩了,HA啟動了另一臺備用節 ...


在企業生產中,集群一旦運行,是要儘可能的將損失降到最低,現在所有的大數據技術都有HA,spark的、Hadoop的、HBase的等等,

HA分冷備和熱備,熱備是集群自帶的,冷備就是硬體的。

這樣一種情況:晚上了,人睡著了,突然的大數據量來了,nameNode、master崩了,HA啟動了另一臺備用節點,然而數據量依然很大,另一臺也崩了,好吧集群廢了?

咋辦?

這就是冷備的需要,進程掉了,在伺服器運行的情況下:

有一種機制可以啟動進程服務,crontab+shell

五分鐘之內檢查進程情況,沒有啟動(時間自定義)

#!/bin/bash
# author:loong
ab=`jps | awk '{print $2=="RunJar"}'`
res=0
OLD_IFS="$IFS" 
IFS=" " 
arr=($ab) 
IFS="$OLD_IFS" 
for s in ${arr[@]} 
do 
    if [ "$s" = "1" ]
    then
       ((res++))
    fi 
done
echo $res
if [ $res \> 0 ]
then
   echo "進程存在"
else
   echo "進程不存在"
   hive --service metastore &
fi

本腳本以hive進程測試成功

是想,生產環境下,上述情況是不是可以緩解,腳本寫日誌文件處理是不是也可以。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • //顯示動畫 dialog = new Dialog(context, R.style.loading); dialog.setContentView(R.layout.loadinglayout);//此處佈局為一個progressbar dialog.setCancelable(true); / ...
  • 一,效果圖。 二,工程圖。 三,代碼。 AppDelegate.m #import "AppDelegate.h" //加入頭文件 #import "RoundDiskViewController.h" @implementation AppDelegate - (BOOL)application: ...
  • Android 5.0之後Android新增加的兩個UI控制項RecyclerView,CardView。 RecyclerView可以看出是ListView的加強版,能夠更加靈活的使用、支持動畫等 CardView則是Google提供的一個卡片式視圖組件,可以定義如邊角的弧度、陰影等屬性。從本質上看 ...
  • AsyncTask定義了三種泛型類型 Params,Progress和Result。 Params 啟動任務執行的輸入參數,比如HTTP請求的URL。 Progress 後臺任務執行的百分比。 Result 後臺執行任務最終返回的結果,比如String。 Params 啟動任務執行的輸入參數,比如H ...
  • 在你的主頁面里寫上這個方法 最後用你獲取的text取代cell的一部分 ...
  • 我們在開發app過程中很多時候會需要設置系統許可權,這時就需要在應用中跳轉至系統設置頁面許可權設置頁面,以下是自己結合網上的資料總結的一些經驗: NSURL *url = [NSURL URLWithString:UIApplicationOpenSettingsURLString]; if ([[UI ...
  • 前幾天的項目需要使用CameraAPI自己定義照相機,之前用過的二維碼也要自己寫底層代碼,於是總結一下使用CameraAPI的幾點事項。現在由於JDK7.0及其以上版本的官方文檔已經不再推薦使用camera包而是camera2包,但這次還是先講camera的使用,至於camera2等以後再講。 首先 ...
  • 先不講那麼多看效果圖: 下麵來講解一些更新CODE,原理大家都知道,不廢話,直接上代碼。裡面有一些是我自己做的測試例子,所以大家可以直接刪掉就好了 第一個:activity_main.xml 1 <?xml version="1.0" encoding="utf-8"?> 2 <RelativeLa ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...