內容簡介: 《Python自動化運維:技術與最佳實踐》一書在中國運維領域將有“劃時代”的重要意義:一方面,這是國內第一本從縱、深和實踐角度探討Python在運維領域應用的著作;一方面本書的作者是中國運維領域的“偶像級”人物,本書是他在天涯社區和騰訊近10年工作經驗的結晶。因為作者實戰經驗豐富,所以能 ...
內容簡介:
《Python自動化運維:技術與最佳實踐》一書在中國運維領域將有“劃時代”的重要意義:一方面,這是國內第一本從縱、深和實踐角度探討Python在運維領域應用的著作;一方面本書的作者是中國運維領域的“偶像級”人物,本書是他在天涯社區和騰訊近10年工作經驗的結晶。因為作者實戰經驗豐富,所以能高屋建瓴、直指痛處,圍繞Python自動化運維這個主題,不僅詳細介紹了系統基礎信息、服務監控、數據報表、系統安全等基礎模塊,而且深入講解了自動化操作、系統管理、配置管理、集群管理及大數據應用等高級功能。最重要的是,完整重現了4個來自實際生產環境的不同功能運維平臺的綜合案例,展示了完整的平臺架構及開發流程。
全書一共16章:基礎篇(1-4章)詳細介紹了系統基礎信息、業務服務監控、定製業務質量報表、系統安全等基礎和常用模塊;高級篇(5-12章)深入講解了批量運維管理器pexpect、paramiko、Fabric,集中化管理平臺Ansible、Saltstack,統一網路控制器Func等高級功能,涵蓋自動化操作、系統管理、配置管理、集群管理及大數據應用等主題;案例篇(13-16章)詳細介紹了4個來自不同平臺的運維案例,如何從零開始打造一個B/S自動化運維平臺、如何打造Linux系統安全審計功能、如何構建分散式質量監控平臺、如何構建桌面版C/S自動化運維平臺,這4個案例均來自實際生產環境。
提取碼:jl8j
目錄:
前 言
第一部分 基礎篇
第1章 系統基礎信息模塊詳解 2
1.1 系統性能信息模塊psutil 2
1.1.1 獲取系統性能信息 3
1.1.2 系統進程管理方法 6
1.2 實用的IP地址處理模塊IPy 7
1.2.1 IP地址、網段的基本處理 8
1.2.2 多網路計算方法詳解 9
1.3 DNS處理模塊dnspython 11
1.3.1 模塊功能變數名稱解析方法詳解 11
1.3.2 常見解析類型示例說明 12
1.3.3 實踐:DNS功能變數名稱輪循業務監控 14
第2章 業務服務監控詳解 17
2.1 文件內容差異對比方法 17
2.1.1 示例1:兩個字元串的差異對比 17
2.1.2 生成美觀的對比HTML格式文檔 19
2.1.3 示例2:對比Nginx配置文件差異 19
2.2 文件與目錄差異對比方法 21
2.2.1 模塊常用方法說明 21
2.2.2 實踐:校驗源與備份目錄差異 25
2.3 發送電子郵件模塊smtplib 27
2.3.1 smtplib模塊的常用類與方法 27
2.3.2 定製個性化的郵件格式方法 28
2.3.3 定製常用郵件格式示例詳解 29
2.4 探測Web服務質量方法 34
2.4.1 模塊常用方法說明 35
2.4.2 實踐:實現探測Web服務質量 36
第3章 定製業務質量報表詳解 39
3.1 數據報表之Excel操作模塊 39
3.1.1 模塊常用方法說明 41
3.1.2 實踐:定製自動化業務流量報表周報 48
3.2 Python與rrdtool的結合模塊 50
3.2.1 rrdtool模塊常用方法說明 51
3.2.2 實踐:實現網卡流量圖表繪製 53
3.3 生成動態路由軌跡圖 56
3.3.1 模塊常用方法說明 56
3.3.2 實踐:實現TCP探測目標服務路由軌跡 57
第4章 Python與系統安全 60
4.1 構建集中式的病毒掃描機制 60
4.1.1 模塊常用方法說明 61
4.1.2 實踐:實現集中式的病毒掃描 61
4.2 實現高效的埠掃描器 64
4.2.1 模塊常用方法說明 64
4.2.2 實踐:實現高效的埠掃描 66
第二部分 高級篇
第5章 系統批量運維管理器pexpect詳解 70
5.1 pexpect的安裝 70
5.2 pexpect的核心組件 71
5.2.1 spawn類 71
5.2.2 run函數 74
5.2.3 pxssh類 75
5.3 pexpect應用示例 76
5.3.1 實現一個自動化FTP操作 76
5.3.2 遠程文件自動打包並下載 77
第6章 系統批量運維管理器paramiko詳解 79
6.1 paramiko的安裝 79
6.2 paramiko的核心組件 81
6.2.1 SSHClient類 81
6.2.2 SFTPClient類 82
6.3 paramiko應用示例 85
6.3.1 實現密鑰方式登錄遠程主機 85
6.3.2 實現堡壘機模式下的遠程命令執行 85
6.3.3 實現堡壘機模式下的遠程文件上傳 88
第7章 系統批量運維管理器Fabric詳解 91
7.1 Fabric的安裝 91
7.2 fab的常用參數 92
7.3 fabfile的編寫 93
7.3.1 全局屬性設定 93
7.3.2 常用API 94
7.3.3 示例1:查看本地與遠程主機信息 95
7.3.4 示例2:動態獲取遠程目錄列表 96
7.3.5 示例3:網關模式文件上傳與執行 97
7.4 Fabric應用示例 98
7.4.1 示例1:文件打包、上傳與校驗 98
7.4.2 示例2:部署LNMP業務服務環境 99
7.4.3 示例3:生產環境代碼包發佈管理 101
第8章 從“零”開發一個輕量級WebServer 104
8.1 Yorserver介紹 104
8.1.1 功能特點 104
8.1.2 配置文件 105
8.2 功能實現方法 106
8.2.1 HTTP緩存功能 107
8.2.2 HTTP壓縮功能 111
8.2.3 HTTP SSL功能 111
8.2.4 目錄列表功能 114
8.2.5 動態CGI功能 114
第9章 集中化管理平臺Ansible詳解 118
9.1 YAML語言 119
9.1.1 塊序列描述 120
9.1.2 塊映射描述 120
9.2 Ansible的安裝 121
9.2.1 業務環境說明 121
9.2.2 安裝EPEL 122
9.2.3 安裝Ansible 122
9.2.4 Ansible配置及測試 122
9.2.5 配置Linux主機SSH無密碼訪問 123
9.3 定義主機與組規則 124
9.3.1 定義主機與組 124
9.3.2 定義主機變數 125
9.3.3 定義組變數 125
9.3.4 分離主機與組特定數據 126
9.4 匹配目標 127
9.5 Ansible常用模塊及API 127
9.6 playbook介紹 132
9.6.1 定義主機與用戶 132
9.6.2 任務列表 133
9.6.3 執行playbook 134
9.7 playbook角色與包含聲明 135
9.7.1 包含文件,鼓勵復用 135
9.7.2 角色 136
9.8 獲取遠程主機系統信息:Facts 141
9.9 變數 142
9.9.1 Jinja2過濾器 143
9.9.2 本地Facts 143
9.9.3 註冊變數 144
9.10 條件語句 145
9.11 迴圈 146
9.12 示例講解 147
第10章 集中化管理平臺Saltstack詳解 155
10.1 Saltstack的安裝 156
10.1.1 業務環境說明 156
10.1.2 安裝EPEL 156
10.1.3 安裝Saltstack 156
10.1.4 Saltstack防火牆配置 157
10.1.5 更新Saltstack配置及安裝校驗 157
10.2 利用Saltstack遠程執行命令 158
10.3 Saltstack常用模塊及API 161
10.4 grains組件 166
10.4.1 grains常用操作命令 167
10.4.2 定義grains數據 167
10.5 pillar組件 170
10.5.1 pillar的定義 171
10.5.2 pillar的使用 173
10.6 state介紹 174
10.6.1 state的定義 174
10.6.2 state的使用 175
10.7 示例:基於Saltstack實現的配置集中化管理 177
10.7.1 環境說明 177
10.7.2 主控端配置說明 177
10.7.3 配置pillar 179
10.7.4 配置state 180
10.7.5 校驗結果 183
第11章 統一網路控制器Func詳解 185
11.1 Func的安裝 186
11.1.1 業務環境說明 186
11.1.2 安裝Func 186
11.2 Func常用模塊及API 189
11.2.1 選擇目標主機 190
11.2.2 常用模塊詳解 190
11.3 自定義Func模塊 194
11.4 非Python API介面支持 198
11.5 Func的Facts支持 199
第12章 Python大數據應用詳解 202
12.1 環境說明 202
12.2 Hadoop部署 203
12.3 使用Python編寫MapReduce 207
12.3.1 用原生Python編寫MapReduce詳解 208
12.3.2 用Mrjob框架編寫MapReduce詳解 212
12.4 實戰分析 216
12.4.1 示例場景 216
12.4.2 網站訪問流量統計 217
12.4.3 網站HTTP狀態碼統計 219
12.4.4 網站分鐘級請求數統計 220
12.4.5 網站訪問來源IP統計 221
12.4.6 網站文件訪問統計 222
第三部分 案例篇
第13章 從零開始打造B/S自動化運維平臺 226
13.1 平臺功能介紹 226
13.2 系統構架設計 227
13.3 資料庫結構設計 228
13.3.1 資料庫分析 228
13.3.2 數據字典 228
13.3.3 資料庫模型 229
13.4 系統環境部署 230
13.4.1 系統環境說明 230
13.4.2 系統平臺搭建 230
13.4.3 開發環境優化 233
13.5 系統功能模塊設計 235
13.5.1 前端數據載入模塊 235
13.5.2 數據傳輸模塊設計 237
13.5.3 平臺功能模塊擴展 240
第14章 打造Linux系統安全審計功能 245
14.1 平臺功能介紹 245
14.2 系統構架設計 246
14.3 資料庫結構設計 247
14.3.1 資料庫分析 247
14.3.2 數據字典 247
14.4 系統環境部署 248
14.4.1 系統環境說明 248
14.4.2 上報主機配置 248
14.5 伺服器端功能設計 252
14.5.1 Django配置 252
14.5.2 功能實現方法 253
第15章 構建分散式質量監控平臺 256
15.1 平臺功能介紹 256
15.2 系統構架設計 257
15.3 資料庫結構設計 258
15.3.1 資料庫分析 258
15.3.2 數據字典 258
15.3.3 資料庫模型 259
15.4 系統環境部署 260
15.4.1 系統環境說明 260
15.4.2 數據採集角色 260
15.4.3 rrdtool作業 261
15.5 伺服器端功能設計 263
15.5.1 Django配置 263
15.5.2 業務增加功能 264
15.5.3 業務報表功能 266
第16章 構建桌面版C/S自動化運維平臺 269
16.1 平臺功能介紹 269
16.2 系統構架設計 270
16.3 資料庫結構設計 271
16.3.1 資料庫分析 271
16.3.2 數據字典 272
16.3.3 資料庫模型 272
16.4 系統環境部署 273
16.4.1 系統環境說明 273
16.4.2 系統環境搭建 273
16.5 系統功能模塊設計 274
16.5.1 用戶登錄模塊 274
16.5.2 系統配置功能 275
16.5.3 伺服器分類模塊 277
16.5.4 系統升級功能 280
16.5.5 客戶端模塊編寫 284
16.5.6 執行功能模塊 287
16.5.7 平臺程式發佈 289