從史上八大MySQL事故中學到的經驗

来源:http://www.cnblogs.com/hzdx/archive/2016/12/27/6225578.html
-Advertisement-
Play Games

本文列舉了史上八大MySQL宕機事件原因、影響以及人們從中學到的經驗,文中用地震級數來類比宕機事件的嚴重性和後果,排在最嚴重層級前兩位的是由於亞馬遜AWS宕機故障(相當於地震十級和九級)。一、Percona網站宕機事件震級:3 發生時長:2011年7月11日 持續時長:數日 地點:加州Pleasan ...


本文列舉了史上八大MySQL宕機事件原因、影響以及人們從中學到的經驗,文中用地震級數來類比宕機事件的嚴重性和後果,排在最嚴重層級前兩位的是由於亞馬遜AWS宕機故障(相當於地震十級和九級)。

一、Percona網站宕機事件

震級:3 
發生時長:2011年7月11日 
持續時長:數日 
地點:加州Pleasanton(幸福屯) 
宕機原因:Percona網站主伺服器上的3塊硬碟損壞,同時因為人員變更,導致未能如預期地恢復,多個網站資產因此下線數小時到數天不等,影響其軟體下載及交易。 
經驗:備份不一定永遠正常,不應該對其抱有過多期待。

二、GitHub服務中斷

震級:4 
發生時間:2012年9月10-11日 
持續時長:1:46小時 
地點:加州聖弗朗西斯科 
宕機原因:GitHub將一對古老的、基於DRBD的MySQL伺服器替換成一個擁有3個節點的集群。在合併到新系統時,“活動的”資料庫自動出現了多個故障轉移(failover),同時又因為集群管理軟體的錯誤操作導致性能下降,最終造成網站宕機。 
經驗:GitHub修改了Pacemaker配置來保證故障轉移僅僅可以被運維人員控制。

三、Journal Space所有數據丟失及網站關閉 

震級:5 
發生時間:2009年1月5日 
持續時長:無限期 
宕機原因:Journal Space是一個擁有6年曆史的博客平臺,基於MySQL開發,其唯一的資料庫備份機器由RAID系統維護。最終網站的數據因前員工的報複行為被重寫,最終導致所有用戶數據丟失以及網站關閉。 
經驗:永遠不要把驅動器鏡像當做備份——它能防範物理故障帶來的問題,但是不提供時間點恢復功能。

四、PHPFog共用資料庫運行中斷 

震級:6 
發生時間:2012年10月8日 
持續時長:8小時 
地點:俄勒岡州波特蘭 
宕機原因:PHPFog將用戶數據合併到一個新的共用資料庫服務上,但是在合併過程中遭受過多的堆疊連接,最終共用資料庫停止響應,因此在共用資料庫從快照中恢復前一直處於服務不穩定狀態。從問題發生到解決一共歷時8小時。
經驗:這一事件後,PHPFog加速Amazon RDS用戶遷移活動。

五、Couch Surfing因MySQL資料庫故障導致服務關閉

震級:7 
發生時間:2006年6月 
地點:加州聖弗朗西斯科 
持續時長:1個月 
宕機原因:流行社交網站Couch Surfing曾擁有90000名用戶,在2006年遭遇了一場嚴重的硬碟問題,在試圖恢複數據時發現資料庫增值備份遭遇問題。其MySQL資料庫以及應用關鍵部分丟失,因此創始人最終關閉了這項服務,隨後用戶社區又將它重啟。 
經驗:任何MySQL系統必須有一個以上備份伺服器;每天都必須驗證MySQL備份進程。

六、magnolia因丟失主資料庫和備份導致最終無法完全恢復 

震級:7 
發生時間:2009年1月30日 
地點:加州聖弗朗西斯科 
持續時長:無限期 
宕機原因:Magnolia和Delicious一樣,是一個流行的書簽服務,基於MySQL資料庫。該服務在由於硬碟損壞以及備份系統的錯誤,丟失了主資料庫和備份,最終無法完全恢復。 
經驗:確保硬體的可靠性非常重要;備份系統是否可行必須得到充分的驗證。 

七、Amazon RDS宕機事件 

震級:9 
發生時間:2012年6月29日 
持續時長:3小時 
地點:弗吉尼亞州北部 
用戶影響:亞馬遜EC2雲計算服務以及包括Netflix公司、Heroku、Pinterest、 Quora、HootSuite和Instagram等。 
宕機原因:一個被稱為derecho的強雷暴天氣系統通過弗吉尼亞州北部,使得亞馬遜在該地區的設施失去了動力,發電機不能正常運行,消耗應急電源的不間斷電源(電源)系統,從而導致運行在Amazon RDS上的大概上千個MySQL資料庫宕機。 
經驗:擴大7*24小時工程師支持團隊規模,發生電源系統故障、UPS啟動之前完全支持手動操作開啟發電機開關。

八、Amazon RDS宕機事件 

震級:10 
發生時間:2011年4月21日 
持續時長:48小時 
地點:弗吉尼亞州北部 
用戶影響:導致使用AWS平臺的Reddit、Foursquare、Hootsuite、Quora以及其他多家社交網路服務商成為“受害者” 。 
宕機原因:亞馬遜修改網路設置,同時在對主網路升級擴容過程中,工程師不慎將主網數據全部切換到從網,由於從網帶寬較小,而它的設計目的並非用於主網容災或備份,因此導致網路堵塞,所有EBS(Elastic Block Store)節點通信全部中斷,導致存儲著數據和日誌的MySQL資料庫宕機,其中運行在一個可用區域里41%的MySQL資料庫宕機24小時,14.6%宕機48小時。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在研發中總會遇到一些莫名的需求,本著存在即合理的態度跟大家分享一下"模態Model視圖跳轉和Push視圖跳轉的需求實現",本文僅僅傳授研發技術不傳授產品以及UE的思想,請大家合理對待;推薦乾貨:一鍵合成APP引導頁,包含不同狀態下的引導頁操作方式,同時支持動態圖片引導頁和靜態圖片引導頁以及視頻引導頁 ...
  • 實現攔截 的`pop`操作有兩種方式: 自定義實現返回按鈕,即設置 來實現自定義的返回操作。 創建 的`Category navigationBar: shouldPopItem:`的邏輯。 UIViewController+BackButtonHandler.h: UIViewController ...
  • 轉載地址:http://www.jb51.net/article/77206.htm 這篇文章主要介紹了Android和JavaScript相互調用的方法,實例分析了Android的WebView執行JavaScript及JavaScript訪問Android的技巧,需要的朋友可以參考下: 本文實例 ...
  • 普通分頁 數據分頁在網頁中十分多見,分頁一般都是limit start,offset,然後根據頁碼page計算start 這種分頁在幾十萬的時候分頁效率就會比較低了,MySQL需要從頭開始一直往後計算,這樣大大影響效率 我們可以用explain分析下語句,沒有用到任何索引,MySQL執行的行數是16 ...
  • Mysql提供的函數是在是太多了, 很多我都見過, 別說用了. 園子裡面, 有人弄了一個比較全的. MYSQL函數 我這裡會將他寫的完全拷貝下來, 中間會插入一些自己項目中使用過的心得 一、數學函數 數學函數, 說實話, 我暫時還真沒怎麼用過, 就是在系統中做統計的時候, 也沒用過. 能在程式中處理 ...
  • SQLServer定時作業任務:即資料庫自動按照定時執行的作業任務,具有周期性不需要人工干預的特點 創建步驟:(使用最高許可權的賬戶登錄--sa) 一、啟動SQL Server代理(SQL Server Agent) 二、新建作業 三、設置作業常規屬性 四、設置作業步驟 五、設置作業計劃 六、點擊"確 ...
  • 資料庫分為關係型資料庫(關係型資料庫強調的是 表跟表建立在誰跟誰有關係的基礎上進行設計 ;你是他的,他是她的,她是它的;基本最終都能找到一個數據 是誰的。這就是關係型資料庫了) 以前傳統的資料庫都是關係型資料庫 Oracle、SQLServer、Sybase、Informix、access、DB2、 ...
  • 在資料庫操作中, 尤其是碰到一些複雜一些的系統, 不可避免的, 會用到函數/自定義函數, 或者存儲過程. 實際項目中, 自定義函數和存儲過程是越少越好, 因為這個東西多了, 也是一個非常難以維護的地方. 一、自定義函數 1. 例子 mysql提供的函數, 不在這一篇講了, 這裡主要貼一下自定義函數. ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...