多伺服器終端交互利器--polysh和atnodes到高逼格日誌中心

来源:http://www.cnblogs.com/xiexj/archive/2017/10/30/7670415.html
-Advertisement-
Play Games

最近博客更新的少了,相對而言,我在自己的個人公眾號里還是挺活躍的,大家可以掃描旁邊的二維碼,或者微信搜索公眾號:“編程一生”加關註。 在分散式的年代,一個應用需要部署到多台伺服器上。那麼要查看日誌文件咋辦?一臺台的查?這年頭還真有這麼乾的。多伺服器終端交互利器有不少。最流行的是polysh。atno ...


  最近博客更新的少了,相對而言,我在自己的個人公眾號里還是挺活躍的,大家可以掃描旁邊的二維碼,或者微信搜索公眾號:“編程一生”加關註。

 

 

 

  在分散式的年代,一個應用需要部署到多台伺服器上。那麼要查看日誌文件咋辦?一臺台的查?這年頭還真有這麼乾的。多伺服器終端交互利器有不少。最流行的是polysh。atnodes據說“去哪兒”在用。

      polysh這種跨機器的,想想就知道需要做多台機器的ssh免密碼登陸,比較麻煩,所以建議一個團隊用一個公用目錄來裝,大家統一用這個賬戶來操作即可。安裝和使用方法大家自行百度吧。主要想說的是現在python腳本和shell腳本一樣,已經成了程式員的必備技能。

  而polysh是一種思維方式。如果一件事情你覺得重覆麻煩的,必然會有一個工具能代替你做事情。舉個例子,剛纔提到需要多台機器的ssh免密碼登陸。這個時候要所有伺服器的autorized_keys文件都要寫入polysh所在機器的公鑰。那麼這時候一定有簡單的辦法,就是key2nodes命令(將key寫入伺服器節點)。

  key2nodes是SSH::Batch提供的強大的的批量工具之一。其他工具還包括atnodes和tonodes。atnodes可以在目標集合上同步批量執行命令或者腳本。tonodes可以將文件批量上傳到集群制定位置。

   像查看日誌這種對系統安全危害小的,又常用的服務。既然可能多伺服器終端交互,自然可以不用登陸跳板機,用一個網頁形式來替我們完成這個功能,我們習慣上把這個叫做實時日誌。這個可能公司內部的基礎設施部門自己搭建。

  更高逼格一點的基礎設施就是日誌中心了。

  日誌中心的架構思路各個公司間總體還是差不多的。我們磁碟上有日誌,日誌有一些通用格式。日誌中心的進程會監控日誌的變更,將增量通過消息隊列收集到數據平臺。數據平臺進行數據計算,將計算結果可視化。現在所謂的大數據大多也是這種思路嘛。

  除了上面說的本地磁碟手機之外,比較常用的收集方式還有SDK上報和APP端上報。對java來說,現在比較流行的日誌組件有原生的log4j2、logback。還有scribe-log4j2來自定義ScribeAppender。還有日誌格式化工具Xmd-log4j2。

  比較簡單的實現思路上:消息隊列用kafka,上傳到ES集群,建立索引後,用kibana做可視化。我們作為使用的業務方來說,除了簡單瞭解架構,按照文檔進行相應的配置之外,還需要瞭解DSL(Domain Specific Languae),即領域專用語言。如果使用ES的話,這個DSL就是ES的語法。

 

跑題時間:

  天冷了,是低調的縮被窩的季節。

  國慶節過完happy的八天長假。上班第一天下雨,晚上照例打車可以報銷我還是一個人拉著大箱子坐地鐵,然後自己把箱子搬上沒有電梯的6樓。我問別的女孩子,你遇到這種情況會不會覺得很凄涼。MM說會啊,女孩子應該矯情一點。我當時沒有任何覺得凄涼,反而很感謝婆婆裝箱子的時候被子用塑料布包起來了。晚上睡的很暖和。

  人家說好的愛情不是雪中送炭,是錦上添花。但是所有讓人淚流滿面的電視劇都是天時地利人和。我需要的時候,你也在那裡。錦上添花的愛情聽起來很美,只是錦上添上什麼花都會很美,到底什麼來確保你是唯一。人隨著年齡的增長,自己能做的越來越多,越來越不需要別人,錦上添花可以有,雪中送炭難求。所以我覺得人應該感謝現在還年輕,一無所有的自己,起碼有機會遇到那個會在自己需要的時候出現的那個人。

  越努力越幸福。很多年前看《你給的夏天》一直記著這句話。日語的,原文是“頑張れば、幸せになれる”。這半年,我的家人在各方面都給了我巨大的支持。但是,工作上,總是一波未平一波又起。別人總是在追求更好的東西。我工作上就一個目標:不失業。做起來卻已經很難。別人換工作,經常是休息調整一下,我換工作,從來都是馬不停蹄,沒有一個工作日是處於無工作狀態。這樣,還是總是在擔心未來會怎樣。

  微信里有個“鬼腳七”的好友,前阿裡高管,已經財務自由,做著自由媒體人。人家過的自然好,我卻不想過這樣的日子。我需要對未來的擔憂,對現在的奔波,現實和理想是有碰撞的。生活太過理想化,人會很容易掉進唯心主義的漩渦。

  爸爸、媽媽因為是醫生,在小縣城裡算是收入不錯又受人尊敬的職業。但是人年紀大了,會越來越固執,覺得自己很厲害。我爸經常開口就是:“你不懂”。然後什麼什麼的。我媽五年前去世了,這麼多年我經常會做夢夢見她還活著。然後夢裡會對自己說我醒著的時候一定是弄錯了,現在才是對的,看,我媽還活著。可五年前我媽活著的時候我的日子並不好過。她在家鄉,我在外地。每周我給她打電話都需要很大的勇氣。她總想掌控我的生活,她根本不能完全考慮我的實際情況,卻要我一切都聽她的。我懷孕的時候,每次打電話都是很強硬的讓我做這做那。每次打完電話我都不開心。然後我就找藉口跟她吵一架,不跟她打電話了。最後還是男神在小鮮肉出生的時候瞞著我給我媽打了電話。我媽從那以後對我說話謹慎多了,但是最後還是因為她的固執喪失了生命。

  我要的東西很簡單,也很容易滿足。女漢子一條,像個lady一樣站在旁邊看男孩子為我做體力活,那隻是出於禮貌。就好像之前在日本的時候,因為日本的習慣,女孩子吃的太多是件不太好意思的事情。所以一個日本客人把旁邊一個女孩吃的一大堆蝦殼用餐巾紙蓋起來了。

  但是現在,我不應該只看自己已經有的,知道自己很幸運,珍惜自己擁有的。還要更多的看到自己沒有的。這樣會更謙虛、謹慎,吸收更多的東西,變成一個更不固執的自己。未來的路還很長,現在,不能止步。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...