《大型網站技術架構》筆記

来源:http://www.cnblogs.com/zewen/archive/2016/09/21/5891340.html
-Advertisement-
Play Games

最近又把《大型網站技術架構》看了一遍.而中間讀了一本《電腦操作系統》的教材後,感覺對大型網站的技術架構有更深的瞭解。在此結合對這兩本書的理解做一些筆記 傳統的OS(Operator System)有四個基本的功能: a) 進程式控制制 b) 進程同步 c) 進程通信 d) 調度 2.存儲器管理 a) ...


最近又把《大型網站技術架構》看了一遍.而中間讀了一本《電腦操作系統》的教材後,感覺對大型網站的技術架構有更深的瞭解。在此結合對這兩本書的理解做一些筆記

傳統的OS(Operator System)有四個基本的功能:

  1. 處理機管理:以進程為基本單位,對其創建和撤銷

      a)         進程式控制制

      b)         進程同步

      c)         進程通信

      d)         調度

  2.存儲器管理

      a)         記憶體分配

      b)         記憶體保護

      c)         地址映射

      d)         記憶體擴充

  3.設備管理:完成I/O請求.提高CPU和I/O設備的利用率,提高I/O速度.方便用戶使用I/O設備

      a)         緩衝    如果在I/O和CPU之間引入緩衝區,則可有效的緩和它倆速度不匹配的矛盾,提高CPU的吞吐量,進而提高系統的吞吐量

      b)         設備分配

      c)         設備處理:設備處理器又被成為設備驅動程式

  4.文件管理

      a)         文件存儲空間的管理

      b)         目錄管理

      c)         文件的讀/寫管理和保護

 

架構的演變過程

一、起初的網站直接用LAMP(Linux+Apache+MySQL+PHP)部署在一臺伺服器上

這樣會造成:

  1. 用戶所有的請求都由這台伺服器的多線程處理
  2. 所有的記憶體都在此伺服器上(記憶體的獲取速度比磁碟讀取快N倍.最好把經常需要讀取的數據放在記憶體中)
  3. 請求的處理(數據的處理:mysql中的數據都是通過磁碟存取的,這時候務必會涉及I/O處理)
  4. 用戶上傳的所有文件都在此伺服器上

綜上所述:

  1. 這台伺服器必須要有足夠多的CPU處理器來同事處理用戶的請求
  2. 必須有足夠大的記憶體存儲空間
  3. 磁碟存取的速度必須夠快(例如固態硬碟)
  4. 硬碟必須足夠大來存儲文件

 除此之外,還有一些其他的問題.例如網路寬頻等

如我的博客伺服器上行100k/s ,10個人就沒人10K,2M的圖片就得20秒,如果100人的話..

綜上所述,需對單一伺服器進行分開部署:

  1. 請求伺服器(多處理器.專門處理用戶的請求)
  2. 緩存伺服器(記憶體足夠大.用於存儲經常訪問的數據.如用redis)
  3. 資料庫伺服器(採用固態硬碟)
  4. 文件伺服器(足夠大的硬碟空間)

通過分開部署.每台伺服器都發揮自己的特長,大大提高了效率

 

 而衡量一個網站的優越性,經常會考慮到一下五點

  1. 高性能

    a)         載入頁面時,將靜態文件部署到CDN第三方供應商伺服器.以減少向伺服器請求資源.

    b)         使用緩存.命中資源便立即返回,減少資料庫讀取操作(磁碟讀取數據的速度比緩存慢N倍)

    c)         採用分散式.不同業務採用單獨的伺服器分開(避免請求集中化)

    d)         進行分散式集群.通過負載均衡演算法把請求分發到集群伺服器中的某台(一般用nginx反向代理伺服器進行集群)

    e)         分散式緩存.讓所有的緩存集中在這些專門做緩存的伺服器(如redis)

    f)          將資料庫的讀寫分離.(後期業務做大還有分庫的可能)

    g)         採用消息隊列(也就是非同步)把次要的事件加到消息隊列不用等待返回結果立即響應用戶.最典型的例子就是12306的訂單郵件提醒,一般買到票後好一段時間後才收到.這就是把郵箱提醒功能加到消息隊列中

  2.可用性

    a)         對於用戶而言,網站7*24小時可用不間斷.這個是理想狀態,一般來說4個9(99.99%)就差不多了

    b)         任意一臺伺服器的宕機都不會造成網站不可用.並且集群伺服器之間有互相備份的功能,任何一臺伺服器宕機後不會影響應用的整體可用或者導致數據丟失

  3.可拓展性

    a)         當增加功能時只是增加開放介面,而不會對原有的功能產生影響,達到松耦合的效果

    b)         增值性業務的拓展.也是不會影響到其他業務

    c)         網站可收縮性的主要手段是事件驅動架構和分散式服務

  4.可伸縮性

    a)         向集群中增加或減少伺服器的時候可以平滑過渡.用戶的請求依然可以高命中.

        所以緩存路由演算法非常重要(一般來說會用nginx負載均衡.的用輪詢演算法.像哈希求餘等效果不好)

  5.安全性

    a)         能夠防禦XSS攻擊

    b)         腳本註入的方式

    c)         發無效的源地址tcp包


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java中的Bigdecimal類型運算 雙精度浮點型變數double可以處理16位有效數。在實際應用中,需要對更大或者更小的數進行運算和處理。Java在java.math包中提 供的API類BigDecimal,用來對超過16位有效位的數進行精確的運算。表5.7中列出了BigDecimal類的主要 ...
  • C - NP-Hard Problem Crawling in process... Crawling failed Time Limit:2000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64u C - NP-Hard Problem D ...
  • 運算符 1、算數運算: 2、比較運算: 3、賦值運算: 4、邏輯運算: 5、成員運算: 基本數據類型 1、數字 int(整型) 在32位機器上,整數的位數為32位,取值範圍為-2**31~2**31-1,即-2147483648~2147483647 在64位系統上,整數的位數為64位,取值範圍為- ...
  • 1.項目功能展示 (1)註冊 (2)修改地址與級別信息,點擊修改 (3)再添加一位成員,進行刪除 點擊第二行的刪除 (4)登錄模塊測試 輸入資料庫中沒有的信息: 輸入資料庫中存在的信息: 2. Web.xml Spring提供了ContextLoaderListener,該監聽器實現了Servlet ...
  • Lambda表達式 lambda expression是一個匿名函數,Lambda表達式基於數學中的λ演算得名,直接對應於其中的lambda抽象(lambda abstraction),是一個匿名函數,即沒有函數名的函數。表達式使用 Lambda 運算符 =>,該運算符讀為“goes to”。語法如 ...
  • 第一次寫博客,寫的不好休怪哈。 版本1:最簡單的單例模式 方法一: 方法二: 兩點:1)保證所有構造函數不被外部所調用;2)利用屬性或者方法調用對象。 缺點:無法保證線程的安全性,多個線程的情況下可能創建多個對象。 版本2:線程安全的單例模式 缺點:無論對象是否已經被創建,都要進行加鎖,增加了不必要 ...
  • 什麼是Ring Buffer?顧名思義,就是一個記憶體環,每一次讀寫操作都迴圈利用這個記憶體環,從而避免頻繁分配和回收記憶體,減輕GC壓力,同時由於Ring Buffer可以實現為無鎖的隊列,從而整體上大幅提高系統性能。 ...
  • Atitit利用反射獲取子類 集合 以及繼承樹 想從父類往下找子類的確是不可能的,要知道只要類不是final的話誰都有繼承它的自由不需要事前通知父類。Eclipse實現不是重父類開始找而是重子類往回找,然後在逐個匹配。 很簡單,遍歷源代碼目錄下的所有類文件,根據類定義行通過字元串匹配找出繼承該類的所 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...