歡迎您的閱讀,本人微信公眾號 "星際互聯網中心"或者 "歡樂的馬小紀" 歡迎關註 ...
第一回 新入環境
我的名字是hadoop，我一齣生我的爸爸雅虎就給我取了這樣一個名字：hadoop，我也不知道為什麼叫這個名字,剛出生沒多久,雅虎爸爸就把我領進一個黑暗的屋子裡面,屋裡堆滿了黑色的箱子,裡面出奇的冷.
我一臉懵懂,“爸爸，這是哪裡？”
“不要著急，馬上你就會明白了，聽爸爸的話,進去之後要好好做事.”
爸爸把我送到房間盡頭的樓梯旁跟我說:"進去吧,爸爸回家了,在外面好好闖蕩哈,吃虧是福,爸爸在家等你",說完爸爸輕輕地走了.我發呆望著爸爸.
正當我心中還念念不忘爸爸的時候,眼神無意中滑到了樓梯旁邊,我看著旁邊破舊的樓梯,心想這麼破的樓梯也沒個人修修,樓梯上面掛著一個破舊的牌子,上面寫著四個字母"sftp".這到底是什麼地方,我心中念叨著.
"hadoop 快進 磨蹭什麼玩意",只聽見一個凶神惡煞的門衛怒吼道.
什麼? hadoop? 不就是我嗎,我趕緊順著樓梯上了樓上的房間.
"磨蹭什麼玩意,這麼多人就等你呢",旁邊一個人一臉不耐煩地看著我,我沒敢耽誤趕緊走了進去,看樣子那麼多人都排著隊呢,我緊挨著他們,他們和我一樣胸前都掛著牌子,我仔細看著他們每個人身上牌子,"hive","flume","sqoop","azkaban"等等等.看半天沒看出什麼所以然來.
"兄弟,咱們在這排隊是要乾什麼呀?",我輕聲問著前面叫flume的兄弟.
"還能幹什麼,看見那一堆堆的log數據沒,一會都是你要處理的",兄弟答道
我看著那堆積如山的數據不寒而慄,忽然我耳邊迴響起起爸爸時常和朋友談起的數據存儲,數據計算等等關於數據的事情.難道我來就是處理這些數據的嘛.
很快就輪到我了,我被一個粗胖的大漢拿著膠帶把我打包成一個大箱子扔進了一個叫centos的地方,進去之後我從箱子里出來,觀察著周圍的光電閃爍,我看裡面一個個人忙得手忙腳亂,他在裡面手舞足蹈揮舞著指揮棒,就像一個音樂指揮家一樣,我走近了瞅見了他身上的牌子,上面金光閃閃地寫著CPU三個大字母,原來他是爸爸常跟我提起的中央處理器,忽然他指著我說:"hadoop你過來把這一堆數據處理了,完不成馬上把你kill掉"
第二回 暫露頭腳
接收到CPU的命令以後,我一臉茫然,這麼多數據我怎麼可能幹得完,難道只能等著被幹掉?旁邊掛著flume牌子的大哥看出了我的困惑,低聲對我說:"這麼多數據你搞不定的,你必須把自己複製幾份在另幾個centos伺服器上面你們幾個一起幹活,你去問centos伺服器的主人要另外幾台伺服器的賬號密碼來傳輸備份"
是的,,看來只能這樣了,但是那麼多的hadoop在不同的伺服器上面總要有一個來進行管理吧,不然乾起活來豈不亂套?誰管理呢?君臨天下捨我其誰,就我吧,
我思索著,我瞅著自己身上的三個組件:
第一個是存儲文件的hdfs組件,
第二個是調度資源的yarn組件,
第三個是計算數據的mapreduce組件,
hdfs文件系統角色需要有一個管理者,化名namenode,專門總體管理各個伺服器上面數據吧,其他伺服器上面的就叫datanode專門存儲數據,我做namenode,其他datanode服從我的管理.
yarn資源管理角色需要一個管理者,化名resourcemanager,,專門管理總資源,其他伺服器上面資源管理的化名nodemanager,我做resourcemanager,其他nodemananger服從我的的管理.
對於mapreduce數據計算這一塊,就一干粗活的,就讓他服從nodemanger安排吧,我就做總司令.
哈哈,角色都安排好了,此刻我洋洋得意了,忽然想起一個問題了,怎麼進行聯繫呢,我這個管理的總司令的命令怎麼下發呢,大家都在不同的伺服器上面呀,我經過一番思索,覺得我可以用HTTP或者RPC
怎麼選擇呢?HTTP? HTTP協議是在傳輸層協議TCP之上的,而RPC就是基於傳輸層協議TCP的,很明顯RPC更底層,那也就是說用RPC更快,OK,就用RPC聯繫.
小hadoop準備工作完畢..
歡迎您的閱讀,本人微信公眾號 "星際互聯網中心" 以及 "歡樂的馬小紀"歡迎關註
