linux進程調度

来源:https://www.cnblogs.com/luxiaolong-lxl/archive/2018/12/27/process.html
-Advertisement-
Play Games

為什麼要有進程優先順序？這似乎不用過多的解釋，畢竟自從多任務操作系統誕生以來，進程執行占用cpu的能力就是一個必須要可以人為控制的事情。因為有的進程相對重要，而有的進程則沒那麼重要。 本文作者：鄒立巍 Linux系統技術專家。目前在騰訊SNG社交網路運營部 計算資源平臺組，負責內部私有雲平臺的建設和架 ...


為什麼要有進程優先順序？這似乎不用過多的解釋，畢竟自從多任務操作系統誕生以來，進程執行占用cpu的能力就是一個必須要可以人為控制的事情。因為有的進程相對重要，而有的進程則沒那麼重要。

本文作者：鄒立巍

Linux系統技術專家。目前在騰訊SNG社交網路運營部 計算資源平臺組，負責內部私有雲平臺的建設和架構規劃設計。

曾任新浪動態應用平臺系統架構師，負責微博、新浪博客等重點業務的內部私有雲平臺架構設計和運維管理工作。

進程優先順序起作用的方式從發明以來基本沒有什麼變化，無論是只有一個cpu的時代，還是多核cpu時代，都是通過控制進程占用cpu時間的長短來實現的。就是說在同一個調度周期中，優先順序高的進程占用的時間長些，而優先順序低的進程占用的短些。

從這個角度看，進程優先順序其實也跟cgroup的cpu限制一樣，都是一種針對cpu占用的QOS機制。我曾經一直很困惑一點，為什麼已經有了優先順序，還要再設計一個針對cpu的cgroup？得到的答案大概是因為，優先順序這個值不能很直觀的反饋出資源分配的比例吧？

不過這不重要，實際上從內核目前的進程調度器cfs的角度說，同時實現cpushare方式的cgroup和優先順序這兩個機制完全是相同的概念，並不會因為增加一個機制而提高什麼實現成本。既然如此，而cgroup又顯得那麼酷，那麼何樂而不為呢？

在系統上我們最熟悉的優先順序設置方式是nice和renice命令。那麼我們首先解釋一個概念，什麼是：

 

NICE值

nice值應該是熟悉Linux/UNIX的人很瞭解的概念了，我們都知它是反應一個進程“優先順序”狀態的值，其取值範圍是-20至19，一共40個級別。這個值越小，表示進程”優先順序”越高，而值越大“優先順序”越低。我們可以通過nice命令來對一個將要執行的命令進行nice值設置，方法是：

  1. [root@zorrozou-pc0 zorro]#nice-n 10bash

這樣我就又打開了一個bash，並且其nice值設置為10，而預設情況下，進程的優先順序應該是從父進程繼承來的，這個值一般是0。我們可以通過nice命令直接查看到當前shell的nice值

  1. [root@zorrozou-pc0 zorro]#nice
  2. 10

對比一下正常情況：

  1. [root@zorrozou-pc0 zorro]#exit

推出當前nice值為10的bash，打開一個正常的bash：

  1. [root@zorrozou-pc0 zorro]#bash
  2. [root@zorrozou-pc0 zorro]#nice
  3. 0

另外，使用renice命令可以對一個正在運行的進程進行nice值的調整，我們也可以使用比如top、ps等命令查看進程的nice值，具體方法我就不多說了，大家可以參閱相關manpage。

需要大家註意的是，我在這裡都在使用nice值這一稱謂，而非優先順序（priority）這個說法。當然，nice和renice的man手冊中， 也說的是priority這個概念，但是要強調一下，請大家真的不要混淆了系統中的這兩個概念，一個是nice值，一個是priority值，他們有著千 絲萬縷的關係，但對於當前的Linux系統來說，它們並不是同一個概念。

我們看這個命令：

  1. [root@zorrozou-pc0 zorro]#ps-l
  2. F S UID PID PPID C PRI NI ADDR SZ WCHAN TTY TIME CMD
  3. 4 S 0692457760800-17952 poll_s pts/500:00:00sudo
  4. 4 S 0692569240800-4435 wait pts/500:00:00bash
  5. 0 R 01297169250800-8514- pts/500:00:00ps

大家是否真的明白其中PRI列和NI列的具體含義有什麼區別？同樣的，如果是top命令：

  1. Tasks:1587 total,7 running,1570 sleeping,0 stopped,10 zombie
  2. Cpu(s):13.0%us,6.9%sy,0.0%ni,78.6%id,0.0%wa,0.0%hi,1.5%si,0.0%st
  3. Mem:132256952k total,107483920k used,24773032k free,2264772k buffers
  4. Swap:2101192k total,508k used,2100684k free,88594404k cached
  5. PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
  6. 3001 root 200232m21m4500 S 12.90.00:15.09 python
  7. 11541 root 200174562400888 R 7.40.00:00.06top

大家是否搞清楚了這其中PR值和NI值的差別？如果沒有，那麼我們可以首先搞清楚什麼是nice值。

nice值雖然不是priority，但是它確實可以影響進程的優先順序。

在英語中，如果我們形容一個人nice，那一般說明這個人的人緣比較好。什麼樣的人人緣好？往往是謙讓、有禮貌的人。比如，你跟一個nice的人一 起去吃午飯，點了兩個一樣的飯，先上了一份後，nice的那位一般都會說：“你先吃你先吃！”，這就是人緣好，這人nice！但是如果另一份上的很晚，那 麽這位nice的人就要餓著了。這說明什麼？越nice的人搶占資源的能力就越差，而越不nice的人搶占能力就越強。這就是nice值大小的含義，nice值越低，說明進程越不nice，搶占cpu的能力就越強，優先順序就越高。在原來使用O1調度的Linux上，我們還會把nice值叫做靜態優先順序，這也基本符合nice值的特點，就是��nice值設定好了之後，除非我們用renice去改它，否則它是不變的。而priority的值在之前內核的O1調度器上表現是會變化的，所以也叫做動態優先順序。

 

優先順序和實時進程

簡單瞭解nice值的概念之後，我們再來看看什麼是priority值，就是ps命令中看到的PRI值或者top命令中看到的PR值。本文為了區分這些概念，以後統一用nice值表示NI值，或者叫做靜態優先順序，也就是用nice和renice命令來調整的優先順序；而使用priority值表示PRI和PR值，或者叫動態優先順序。我們也統一將“優先順序”這個詞的概念規定為表示priority值的意思。

在內核中，進程優先順序的取值範圍是通過一個巨集定義的，這個巨集的名稱是MAX_PRIO，它的值為140。而這個值又是由另外兩個值相加組成的，一個 是代表nice值取值範圍的NICE_WIDTH巨集，另一個是代表實時進程（realtime）優先順序範圍的MAX_RT_PRIO巨集。說白了就 是，Linux實際上實現了140個優先順序範圍，取值範圍是從0-139，這個值越小，優先順序越高。nice值的-20到19，映射到實際的優先順序範圍是 100-139。新產生進程的預設優先順序被定義為：

  1. #define DEFAULT_PRIO (MAX_RT_PRIO + NICE_WIDTH /2)

實際上對應的就是nice值的0。正常情況下，任何一個進程的優先順序都是這個值，即使我們通過nice和renice命令調整了進程的優先順序，它的 取值範圍也不會超出100-139的範圍，除非這個進程是一個實時進程，那麼它的優先順序取值才會變成0-99這個範圍中的一個。這裡隱含了一個信息，就是 說當前的Linux是一種已經支持實時進程的操作系統。

什麼是實時操作系統，我們就不再這裡詳細解釋其含義以及在工業領域的應用了，有興趣的可以參考一下實時操作系統的維基百科。簡單來說，實時操作系統需要保證相關的實時進程在較短的時間內響應，不會有較長的延時，並且要求最小的中斷延時和進程切換延時。對於這樣的需求，一般的進程調度演算法，無論是O1還是CFS都是無法滿足的，所以內核在設計的時候，將實時進程單獨映射了100個優先順序，這些優先順序都要高與正常進程的優先順序（nice值），而實時進程的調度演算法也不同，它們採用更簡單的調度演算法來減少調度開銷。總的來說，Linux系統中運行的進程可以分成兩類：

  1. 實時進程
  2. 非實時進程

它們的主要區別就是通過優先順序來區分的。所有優先順序值在0-99範圍內的，都是實時進程，所以這個優先順序範圍也可以叫做實時進程優先順序，而 100-139範圍內的是非實時進程。在系統中可以使用chrt命令來查看、設置一個進程的實時優先順序狀態。我們可以先來看一下chrt命令的使用：

  1. [root@zorrozou-pc0 zorro]# chrt
  2. Showor change the real-time scheduling attributes of a process.
  3. Set policy:
  4. chrt [options]<priority><command>[<arg>...]
  5. chrt [options]-p <priority><pid>
  6. Get policy:
  7. chrt [options]-p <pid>
  8. Policy options:
  9. -b,--batch set policy to SCHED_OTHER
  10. -f,--fifo set policy to SCHED_FIFO
  11. -i,--idle set policy to SCHED_IDLE
  12. -o,--other set policy to SCHED_OTHER
  13. -r,--rr set policy to SCHED_RR (default)
  14. Scheduling flag:
  15. -R,--reset-on-fork set SCHED_RESET_ON_FORK for FIFO or RR
  16. Other options:
  17. -a,--all-tasks operate on all the tasks (threads)for a given pid
  18. -m,--max show min and max valid priorities
  19. -p,--pid operate on existing given pid
  20. -v,--verbose display status information
  21. -h,--help display this help andexit
  22. -V,--version output version information andexit
  23. Formore details see chrt(1).

我們先來關註顯示出的Policy options部分，會發現系統給個種進程提供了5種調度策略。但是這裡並沒有說明的是，這五種調度策略是分別給兩種進程用的，對於實時進程可以用的調度 策略是：SCHED_FIFO、SCHED_RR，而對於非實時進程則是：SCHED_OTHER、SCHED_OTHER、SCHED_IDLE。

系統的整體優先順序策略是：如果系統中存在需要執行的實時進程，則優先執行實時進程。直到實時進程退出或者主動讓出CPU時，才會調度執行非實時進程。實時進程可以指定的優先順序範圍為1-99，將一個要執行的程式以實時方式執行的方法為：

  1. [root@zorrozou-pc0 zorro]# chrt 10bash
  2. [root@zorrozou-pc0 zorro]# chrt -p $$
  3. pid 14840's current scheduling policy: SCHED_RR
  4. pid 14840's current scheduling priority:10

可以看到，新打開的bash已經是實時進程，預設調度策略為SCHED_RR，優先順序為10。如果想修改調度策略，就加個參數：

  1. [root@zorrozou-pc0 zorro]# chrt -f 10bash
  2. [root@zorrozou-pc0 zorro]# chrt -p $$
  3. pid 14843's current scheduling policy: SCHED_FIFO
  4. pid 14843's current scheduling priority:10

剛纔說過，SCHED_RR和SCHED_FIFO都是實時調度策略，只能給實時進程設置。對於所有實時進程來說，優先順序高的（就是 priority數字小的）進程一定會保證先於優先順序低的進程執行。SCHED_RR和SCHED_FIFO的調度策略只有當兩個實時進程的優先順序一樣的 時候才會發生作用，其區別也是顧名思義：

SCHED_FIFO:以先進先出的隊列方式進行調度，在優先順序一樣的情況下，誰先執行的就先調度誰，除非它退出或者主動釋放CPU。

SCHED_RR:以時間片輪轉的方式對相同優先順序的多個進程進行處理。時間片長度為100ms。

這就是Linux對於實時進程的優先順序和相關調度演算法的描述。整體很簡單，也很實用。而相對更麻煩的是非實時進程，它們才是Linux上進程的主要分類。對於非實時進程優先順序的處理，我們首先還是要來介紹一下它們相關的調度演算法：O1和CFS。

 

O1調度

O1調度演算法是在Linux 2.6開始引入的，到Linux 2.6.23之後內核將調度演算法替換成了CFS。雖然O1演算法已經不是當前內核所預設使用的調度演算法了，但是由於大量線上的伺服器可能使用的Linux版 本還是老版本，所以我相信很多伺服器還是在使用著O1調度器，那麼費一點口舌簡單交代一下這個調度器也是有意義的。這個調度器的名字之所以叫做O1，主要 是因為其演算法的時間複雜度是O1。

O1調度器仍然是根據經典的時間片分配的思路來進行整體設計的。簡單來說，時間片的思路就是將CPU的執行時間 分成一小段一小段的，假如是5ms一段。於是多個進程如果要“同時”執行，實際上就是每個進程輪流占用5ms的cpu時間，而從1s的時間尺度上看，這些 進程就是在“同時”執行的。當然，對於多核系統來說，就是把每個核心都這樣做就行了。而在這種情況下，如何支持優先順序呢？實際上就是將時間片分配成大小不 等的若幹種，優先順序高的進程使用大的時間片，優先順序小的進程使用小的時間片。這樣在一個周期結速後，優先順序大的進程就會占用更多的時間而因此得到特殊待 遇。O1演算法還有一個比較特殊的地方是，即使是相同的nice值的進程，也會再根據其CPU的占用情況將其分成兩種類型：CPU消耗型和IO消耗性。 典型的CPU消耗型的進程的特點是，它總是要一直占用CPU進行運算，分給它的時間片總是會被耗盡之後，程式才可能發生調度。比如常見的各種算數運算程 序。而IO消耗型的特點是，它經常時間片沒有耗盡就自己主動先釋放CPU了，比如vi，emacs這樣的編輯器就是典型的IO消耗型進程。

為什麼要這樣區分呢？因為IO消耗型的進程經常是跟人交互的進程，比如shell、編輯器等。當系統中既有這種進程，又有CPU消耗型進程存在，並 且其nice值一樣時，假設給它們分的時間片長度是一樣的，都是500ms，那麼人的操作可能會因為CPU消耗型的進程一直占用CPU而變的卡頓。可以想 象，當bash在等待人輸入的時候，是不占CPU的，此時CPU消耗的程式會一直運算，假設每次都分到500ms的時間片，此時人在bash上敲入一個字 符的時候，那麼bash很可能要等個幾百ms才能給出響應，因為在人敲入字元的時候，別的進程的時間片很可能並沒有耗盡，所以系統不會調度bash程度進 行處理。為了提高IO消耗型進程的響應速度，系統將區分這兩類進程，並動態調整CPU消耗的進程將其優先順序降低，而IO消耗型的將其優先順序變高，以降低 CPU消耗進程的時間片的實際長度。已知nice值的範圍是-20 - 19，其對應priority值的範圍是100－139，對於一個預設nice值為0的進程來說，其初始priority值應該是120，隨著其不斷執 行，內核會觀察進程的CPU消耗狀態，並動態調整priority值，可調整的範圍是+-5。就是說，最��其優先順序可以唄自動調整到115，最低到 125。這也是為什麼nice值叫做靜態優先順序而priority值叫做動態優先順序的原因。不過這個動態調整的功能在調度器換成CFS之後就不需要了，因 為CFS換了另外一種CPU時間分配方式，這個我們後面再說。

再簡單瞭解了O1演算法按時間片分配CPU的思路之後，我們再來結合進程的狀態簡單看看其演算法描述。我們都知道進程有5種狀態：

  • S（Interruptible sleep）：可中斷休眠狀態。
  • D（Uninterruptible sleep）：不可中斷休眠狀態。
  • R（Running or runnable）：執行或者在可執行隊列中。
  • Z（Zombie process）：僵屍。
  • T（Stopped）：暫停。

在CPU調度時，主要只關心R狀態進程，因為其他狀態進程並不會被放倒調度隊列中進行調度。調度隊列中的進程一般主要有兩種情況，一種是進程已經被 調度到CPU上執行，另一種是進程正在等待被調度。出現這兩種狀態的原因應該好理解，因為需要執行的進程數可能多於硬體的CPU核心數，比如需要執行的進 程有8個而CPU核心只有4個，此時cpu滿載的時候，一定會有4個進程處在“等待”狀態，因為此時有另外四個進程正在占用CPU執行。

根據以上情況我們可以理解，系統當下需要同時進行調度處理的進程數（R狀態進程數）和系統CPU的比值，可以一定程度的反應系統的“繁忙”程度。需 要調度的進程越多，核心越少，則意味著系統越繁忙。除了進程執行本身需要占用CPU以外，多個進程的調度切換也會讓系統繁忙程度增加的更多。所以，我們往 往會發現，R狀態進程數量在增長的情況下，系統的性能表現會下降。系統中可以使用uptime命令查看系統平均負載指數（load average）：

  1. [zorro@zorrozou-pc0 ~]$ uptime
  2. 16:40:56 up 2:12,1 user, load average:0.05,0.11,0.16

其中load average中分別顯示的是1分鐘，5分鐘，15分鐘之內的平均負載指數（可以簡單認為是相映時間範圍內的R狀態進程個數）。但是這個命令顯示的數字是 絕對個數，並沒有表示出不同CPU核心數的實際情況。比如，如果我們的1分鐘load average為16，而CPU核心數為32的話，那麼這個系統的其實並不繁忙。但是如果CPU個數是8的話，那可能就意味著比較忙了。但是實際情況往往 可能比這更加複雜，比如進程消耗類型也會對這個數字的解讀有影響。總之，這個值的絕對高低並不能直觀的反饋出來當前系統的繁忙程度，還需要根據系統的其它 指標綜合考慮。

O1調度器在處理流程上大概是這樣進行調度的：

  1. 首先，進程產生（fork）的時候會給一個進程分配一個時間片長度。這個新進程的時間片一般是父進程的一半，而父進程也會因此減少它的時間片長度 為原來的一半。就是說，如果一個進程產生了子進程，那麼它們將會平分當前時間片長度。比如，如果父進程時間片還剩100ms，那麼一個fork產生一個子 進程之後，子進程的時間片是50ms，父進程剩餘的時間片是也是50ms。這樣設計的目的是，為了防止進程通過fork的方式讓自己所處理的任務一直有時 間片。不過這樣做也會帶來少許的不公平，因為先產生的子進程獲得的時間片將會比後產生的長，第一個子進程分到父進程的一半，那麼第二個子進程就只能分到 1/4。對於一個長期工作的進程組來說，這種影響可以忽略，因為第一輪時間片在耗盡後，系統會在給它們分配長度相當的時間片。
  2. 針對所有R狀態進程，O1演算法使用兩個隊列組織進程，其中一個叫做活動隊列，另一個叫做過期隊列。活動隊列中放的都是時間片未被耗盡的進程，而過期隊列中放時間片被耗盡的進程。
  3. 如1所述，新產生的進程都會先獲得一個時間片，進入活動隊列等待調度到CPU執行。而內核會在每個tick間隔期間對正在CPU上執行的進程進行 檢查。一般的tick間隔時間就是cpu時鐘中斷間隔，每秒鐘會有1000個，即頻率為1000HZ。每個tick間隔周期主要檢查兩個內容：1、當前正 在占用CPU的進程是不是時間片已經耗盡了？2、是不是有更高優先順序的進程在活動隊列中等待調度？如果任何一種情況成立，就把則當前進程的執行狀態終止， 放到等待隊列中，換當前在等待隊列中優先順序最高的那個進程執行。

以上就是O1調度的基本調度思路，當然實際情況是，還要加上SMP（對稱多處理）的邏輯，以滿足多核CPU的需求。目前在我的archlinux上可以用以下命令查看內核HZ的配置：

  1. [zorro@zorrozou-pc0 ~]$ zgrep CONFIG_HZ /proc/config.gz
  2. # CONFIG_HZ_PERIODIC isnotset
  3. # CONFIG_HZ_100 isnotset
  4. # CONFIG_HZ_250 isnotset
  5. CONFIG_HZ_300=y
  6. # CONFIG_HZ_1000 isnotset
  7. CONFIG_HZ=300

我們發現我當前系統的HZ配置為300，而不是一般情況下的1000。大家也可以思考一下，配置成不同的數字（100、250、300、1000），對系統的性能到底會有什麼影響？

 

CFS完全公平調度

O1已經是上一代調度器了，由於其對多核、多CPU系統的支持性能並不好，並且內核功能上要加入cgroup等因素，Linux在2.6.23之後 開始啟用CFS作為對一般優先順序(SCHED_OTHER)進程調度方法。在這個重新設計的調度器中，時間片，動態、靜態優先順序以及IO消耗，CPU消耗 的概念都不再重要。CFS採用了一種全新的方式，對上述功能進行了比較完善的支持。

其設計的基本思路是，我們想要實現一個對所有進程完全公平的調度器。又是那個老問題：如何做到完全公平？答案跟上一篇IO調度中CFQ的思路類似： 如果當前有n個進程需要調度執行，那麼調度器應該再一個比較小的時間範圍內，把這n個進程全都調度執行一遍，並且它們平分cpu時間，這樣就可以做到所有 進程的公平調度。那麼這個比較小的時間就是任意一個R狀態進程被調度的最大延時時間，即：任意一個R狀態進程，都一定會在這個時間範圍內被調度相應。這個 時間也可以叫做調度周期，其英文名字叫做：sched_latency_ns。進程越多，每個進程在周期內被執行的時間就會被平分的越小。調度器只需要對 所有進程維護一個累積占用CPU時間數，就可以衡量出每個進程目前占用的CPU時間總量是不是過大或者過小，這個數字記錄在每個進程的vruntime 中。所有待執行進程都以vruntime為key放到一個由紅黑樹組成的隊列中，每次被調度執行的進程，都是這個紅黑樹的最左子樹上的那個進程，即 vruntime時間最少的進程，這樣就保證了所有進程的相對公平。

在基本驅動機制上CFS跟O1一樣，每次時鐘中斷來臨的時候，都會進行隊列調度檢查，判斷是否要進程調度。當然還有別的時機需要調度檢查，發生調度的時機可以總結為這樣幾個：

  1. 當前進程的狀態轉換時。主要是指當前進程終止退出或者進程休眠的時候。
  2. 當前進程主動放棄CPU時。狀態變為sleep也可以理解為主動放棄CPU，但是當前內核給了一個方法，可以使用sched_yield()在不發生狀態切換的情況下主動讓出CPU。
  3. 當前進程的vruntime時間大於每個進程的理想占用時間時（delta_exec > ideal_runtime）。這裡的ideal_runtime實際上就是上文說的sched_latency_ns／進程數n。當然這個值並不是一定 這樣得出，下文會有更詳細解釋。
  4. 當進程從中斷、異常或系統調用返回時，會發生調度檢查。比如時鐘中斷。

 

CFS的優先順序

當然，CFS中還需要支持優先順序。在新的體系中，優先順序是以時間消耗（vruntime增長）的快慢來決定的。就是說，對於CFS來說，衡量的時間 累積的絕對值都是一樣紀錄在vruntime中的，但是不同優先順序的進程時間增長的比率是不同的，高優先順序進程時間增長的慢，低優先順序時間增長的快。比 如，優先順序為19的進程，實際占用cpu為1秒，那麼在vruntime中就記錄1s。但是如果是-20優先順序的進程，那麼它很可能實際占CPU用 10s，在vruntime中才會紀錄1s。CFS真實實現的不同nice值的cpu消耗時間比例在內核中是按照“每差一級cpu占用時間差10%左右” 這個原則來設定的。這裡的大概意思是說，如果有兩個nice值為0的進程同時占用cpu，那麼它們應該每人占50%的cpu，如果將其中一個進程的 nice值調整為1的話，那麼此時應保證優先順序高的進程比低的多占用10%的cpu，就是nice值為0的占55%，nice值為1的占45%。那麼它們 占用cpu時間的比例為55:45。這個值的比例約為1.25。就是說，相鄰的兩個nice值之間的cpu占用時間比例的差別應該大約為1.25。根據這 個原則，內核對40個nice值做了時間計算比例的對應關係，它在內核中以一個數組存在：

  1. staticconstint prio_to_weight[40]={
  2. /* -20 */88761,71755,56483,46273,36291,
  3. /* -15 */29154,23254,18705,14949,11916,
  4. /* -10 */9548,7620,6100,4904,3906,
  5. /* -5 */3121,2501,1991,1586,1277,
  6. /* 0 */1024,820,655,526,423,
  7. /* 5 */335,272,215,172,137,
  8. /* 10 */110,87,70,56,45,
  9. /* 15 */36,29,23,18,15,
  10. };

我們看到，實際上nice值的最高優先順序和最低優先順序的時間比例差距還是很大的，絕不僅僅是例子中的十倍。由此我們也可以推導出每一個nice值級別計算vruntime的公式為：

  1. delta vruntime ＝ delta Time*1024/ load

這個公式的意思是說，在nice值為0的時候（對應的比例值為1024），計算這個進程vruntime的實際增長時間值（delta vruntime）為：CPU占用時間（delta Time）* 1024 / load。在這個公式中load代表當前sched_entity的值，其實就可以理解為需要調度的進程（R狀態進程）個數。load越大，那麼每個進程 所能分到的時間就越少。CPU調度是內核中會頻繁進行處理的一個時間，於是上面的delta vruntime的運算會被頻繁計算。除法運算會占用更多的cpu時間，所以內核編程中的一個原則就是，儘可能的不用除法。內核中要用除法的地方，基本都 用乘法和位移運算來代替，所以上面這個公式就會變成：

  1. delta vruntime ＝ delta time*1024*(2^32/(load *2^32))=(delta time*1024*Inverse（load）)>>32

內核中為了方便不同nice值的Inverse(load)的相關計算，對做好了一個跟prio_to_weight數組一一對應的數組，在計算中可以直接拿來使用，減少計算時的CPU消耗：

  1. staticconst u32 prio_to_wmult[40]={
  2. /* -20 */48388,59856,76040,92818,118348,
  3. /* -15 */147320,184698,229616,287308,360437,
  4. /* -10 */449829,563644,704093,875809,1099582,
  5. /* -5 */1376151,1717300,2157191,2708050,3363326,
  6. /* 0 */4194304,5237765,6557202,8165337,10153587,
  7. /* 5 */12820798,15790321,19976592,24970740,31350126,
  8. /* 10 */39045157,49367440,61356676,76695844,95443717,
  9. /* 15 */119304647,148102320,186737708,238609294,286331153,
  10. };

具體計算細節不在這裡細解釋了，有興趣的可以自行閱讀代碼：kernel/shced/fair.c（Linux 4.4）中的__calc_delta（）函數實現。

根據CFS的特性，我們知道調度器總是選擇vruntime最小的進程進行調度。那麼如果有兩個進程的初始化vruntime時間一樣時，一個進程 被選擇進行調度處理，那麼只要一進行處理，它的vruntime時間就會大於另一個進程，CFS難道要馬上換另一個進程處理麽？出於減少頻繁切換進程所帶 來的成本考慮，顯然並不應該這樣。CFS設計了一個sched_min_granularity_ns參數，用來設定進程被調度執行之後的最小CPU占用 時間。

  1. [zorro@zorrozou-pc0 ~]$ cat/proc/sys/kernel/sched_min_granularity_ns
  2. 2250000

一個進程被調度執行後至少要被執行這麼長時間才會發生調度切換。

我們知道無論到少個進程要執行，它們都有一個預期延遲時間，即：sched_latency_ns，系統中可以通過如下命令來查看這個時間：

  1. [zorro@zorrozou-pc0 ~]$ cat/proc/sys/kernel/sched_latency_ns
  2. 18000000

在這種情況下，如果需要調度的進程個數為n，那麼平均每個進程占用的CPU時間為sched_latency_ns／n。顯然，每個進程實際占用的 CPU時間會因為n的增大而減小。但是實現上不可能讓它無限的變小，所以sched_min_granularity_ns的值也限定了每個進程可以獲得 的執行時間周期的最小值。當進程很多，導致使用了sched_min_granularity_ns作為最小調度周期時，對應的調度延時也就不在遵循 sched_latency_ns的限制，而是以實際的需要調度的進程個數n * sched_min_granularity_ns進行計算。當然，我們也可以把這理解為CFS的”時間片”，不過我們還是要強調，CFS是沒有跟O1類 似的“時間片“的概念的，具體區別大家可以自己琢磨一下。

 

新進程的VRUNTIME值

CFS是通過vruntime最小值來選擇需要調度的進程的，那麼可以想象，在一個已經有多個進程執行了相對較長的系統中，這個隊列中的 vruntime時間紀錄的數值都會比較長。如果新產生的進程直接將自己的vruntime值設置為0的話，那麼它將在執行開始的時間內搶占很多的CPU 時間，直到自己的vruntime追趕上其他進程後才可能調度其他進程，這種情況顯然是不公平的。所以CFS對每個CPU的執行隊列都維護一個 min_vruntime值，這個值紀錄了這個CPU執行隊列中vruntime的最小值，當隊列中出現一個新建的進程時，它的初始化vruntime將 不會被設置為0，而是根據min_vruntime的值為基礎來設置。這樣就保證了新建進程的vruntime與老進程的差距在一定範圍內，不會因為 vruntime設置為0而在進程開始的時候占用過多的CPU。

新建進程獲得的實際vruntime值跟一些設置有關，比如：

  1. [zorro@zorrozou-pc0 ~]$ cat/proc/sys/kernel/sched_child_runs_first
  2. 0

這個文件是fork之後是否讓子進程優先於父進程執行的開關。0為關閉，1為打開。如果這個開關打開，就意味著子進程創建後，保證子進程在父進程之 前被調度。另外，在源代碼目錄下的kernel/sched/features.h文件中，還規定了一系列調度器屬性開關。而其中：

  1. /*
  2. * Place new tasks ahead so that they do not starve already running
  3. * tasks
  4. */
  5. SCHED_FEAT(START_DEBIT,true)

這個參數規定了新進程啟動之後第一次運行會有延時。這意味著新進程的vruntime設置要比預設值大一些，這樣做的目的是防止應用通過不停的 fork來儘可能多的獲得執行時間。子進程在創建的時候，vruntime的定義的步驟如下，首先vruntime被設置為min_vruntime。然 後判斷START_DEBIT位是否被值為true，如果是則會在min_vruntime的基礎上增大一些，增大的時間實際上就是一個進程的調度延時時 間，即上面描述過的calc_delta_fair()函數得到的結果。這個時間設置完畢之後，就檢查sched_child_runs_first開關 是否打開，如果打開（值被設置為1），就比較新進程的vruntime和父進程的vruntime哪個更小，並將新進程的vruntime設置為更小的那 個值，而父進程的vruntime設置為更大的那個值，以此保證子進程一定在父進程之前被調度。

 

IO消耗型進程的處理

根據前文，我們知道除了可能會一直占用CPU時間的CPU消耗型進程以外，還有一類叫做IO消耗類型的進程，它們的特點是基本不占用CPU，主要行 為是在S狀態等待響應。這類進程典型的是vim，bash等跟人交互的進程，以及一些壓力不大的，使用了多進程（線程）的或select、poll、 epoll的網路代理程式。如果CFS採用預設的策略處理這些程式的話，相比CPU消耗程式來說，這些應用由於絕大多數時間都處在sleep狀態，它們的 vruntime時間基本是不變的，一旦它們進入了調度隊列，將會很快被選擇調度執行。對比O1調度演算法，這種行為相當於自然的提高了這些IO消耗型進程 的優先順序，於是就不需要特殊對它們的優先順序進行“動態調整”了。

但這樣的預設策略也是有問題的，有時CPU消耗型和IO消耗型進程的區分不是那麼明顯，有些進程可能會等一會，然後調度之後也會長時間占用CPU。 這種情況下，如果休眠的時候進程的vruntime保持不變，那麼等到休眠被喚醒之後，這個進程的vruntime時間就可能會比別人小很多，從而導致不 公平。所以對於這樣的進程，CFS也會對其進行時間補償。補償方式為，如果進程是從sleep狀態被喚醒的，而且 GENTLE_FAIR_SLEEPERS屬性的值為true，則vruntime被設置為sched_latency_ns的一半和當前進程的 vruntime值中比較大的那個。sched_latency_ns的值可以在這個文件中進行設置：

  1. [zorro@zorrozou-pc0 ~]$ cat/proc/sys/kernel/sched_latency_ns
  2. 18000000

因為系統中這種調度補償的存在，IO消耗型的進程總是可以更快的獲得響應速度。這是CFS處理與人交互的進程時的策略，即：通過提高響應速度讓人的 操作感受更好。但是有時候也會因為這樣的策略導致整體性能受損。在很多使用了多進程（線程）或select、poll、epoll的網路代理程式，一般是 由多個進程組成的進程組進行工作，典型的如apche、nginx和php-fpm這樣的處理程式。它們往往都是由一個或者多個進程使用 nanosleep()進行周期性的檢查是否有新任務，如果有責喚醒一個子進程進行處理，子進程的處理可能會消耗CPU，而父進程則主要是sleep等待 喚醒。這個時候，由於系統對sleep進程的補償策略的存在，新喚醒的進程就可能會打斷正在處理的子進程的過程，搶占CPU進行處理。當這種打斷很多很頻 繁的時候，CPU處理的過程就會因為頻繁的進程上下文切換而變的很低效，從而使系統整體吞吐量下降。此時我們可以使用開關禁止喚醒搶占的特性。

  1. [root@zorrozou-pc0 zorro]#cat/sys/kernel/debug/sched_features
  2. GENTLE_FAIR_SLEEPERS START_DEBIT NO_NEXT_BUDDY LAST_BUDDY CACHE_HOT_BUDDY WAKEUP_PREEMPTION NO_HRTICK NO_DOUBLE_TICK LB_BIAS NONTASK_CAPACITY TTWU_QUEUE RT_PUSH_IPI NO_FORCE_SD_OVERLAP RT_RUNTIME_SHARE NO_LB_MIN ATTACH_AGE_LOAD

上面顯示的這個文件的內容就是系統中用來控制kernel/sched/features.h這個文件所列內容的開關文件，其中WAKEUP_PREEMPTION表示：目前的系統狀態是打開sleep喚醒進程的搶占屬性的。可以使用如下命令關閉這個屬性：

  1. [root@zorrozou-pc0 zorro]#echo NO_WAKEUP_PREEMPTION >/sys/kernel/debug/sched_features
  2. [root@zorrozou-pc0 zorro]#cat/sys/kernel/debug/sched_features
  3. GENTLE_FAIR_SLEEPERS START_DEBIT NO_NEXT_BUDDY LAST_BUDDY CACHE_HOT_BUDDY NO_WAKEUP_PREEMPTION NO_HRTICK NO_DOUBLE_TICK LB_BIAS NONTASK_CAPACITY TTWU_QUEUE RT_PUSH_IPI NO_FORCE_SD_OVERLAP RT_RUNTIME_SHARE NO_LB_MIN ATTACH_AGE_LOAD

其他相關參數的調整也是類似這樣的方式。其他我沒講到的屬性的含義，大家可以看kernel/sched/features.h文件中的註釋。

系統中還提供了一個sched_wakeup_granularity_ns配置文件，這個文件的值決定了喚醒進程是否可以搶占的一個時間粒度條 件。預設CFS的調度策略是，如果喚醒的進程vruntime小於當前正在執行的進程，那麼就會發生喚醒進程搶占的情況。而 sched_wakeup_granularity_ns這個參數是說，只有在當前進程的vruntime時間減喚醒進程的vruntime時間所得的差 大於sched_wakeup_granularity_ns時，才回發生搶占。就是說sched_wakeup_granularity_ns的值越 大，越不容易發生搶占。

 

CFS和其他調度策略

SCHED_BATCH

在上文中我們說過，CFS調度策略主要是針對chrt命令顯示的SCHED_OTHER範圍的進程，實際上就是一般的非實時進程。我們也已經知道， 這樣的一般進程還包括另外兩種：SCHED_BATCH和SCHED_IDLE。在CFS的實現中，集成了對SCHED_BATCH策略的支持，並且其功 能和SCHED_OTHER策略幾乎是一致的。唯一的區別在於，如果一個進程被用chrt命令標記成SCHED_OTHER策略的話，CFS將永遠認為這 個進程是CPU消耗型的進程，不會對其進行IO消耗進程的時間補償。這樣做的唯一目的是，可以在確認進程是CPU消耗型的進程的前提下，對其儘可能的進行 批處理方式調度（batch），以減少進程切換帶來的損耗，提高吞度量。實際上這個策略的作用並不大，內核中真正的處理區別隻是在標記為 SCHED_BATCH時進程在sched_yield主動讓出cpu的行為發生是不去更新cfs的隊列時間，這樣就讓這些進程在主動讓出CPU的時候 （執行sched_yield）不會紀錄其vruntime的更新，從而可以繼續優先被調度到。對於其他行為，並無不同。

SCHED_IDLE

如果一個進程被標記成了SCHED_IDLE策略，調度器將認為這個優先順序是很低很低的，比nice值為19的優先順序還要低。系統將只在CPU空閑的時候才會對這樣的進程進行調度執行。若果存在多個這樣的進程，它們之間的調度方式跟正常的CFS相同。

SCHED_DEADLINE

最新的Linux內核還實現了一個最新的調度方式叫做SCHED_DEADLINE。跟IO調度類似，這個演算法也是要實現一個可以在最終期限到達前讓進程可以調度執行的方法，保證進程不會餓死。目前大多數系統上的chrt還沒給配置介面，暫且不做深入分析。

另外要註意的是，SCHED_BATCH和SCHED_IDLE一樣，只能對靜態優先順序（即nice值）為0的進程設置。操作命令如下：

  1. [zorro@zorrozou-pc0 ~]$ chrt -i 0bash
  2. [zorro@zorrozou-pc0 ~]$ chrt -p $$
  3. pid 5478's current scheduling policy: SCHED_IDLE
  4. pid 5478's current scheduling priority:0
  5. [zorro@zorrozou-pc0 ~]$ chrt -b 0bash
  6. [zorro@zorrozou-pc0 ~]$ chrt -p $$
  7. pid 5502's current scheduling policy: SCHED_BATCH
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 今天我給你們推薦一本書《Linux就該這麼學》！！！
    本書是由全國多名紅帽架構師（RHCA）基於最新Linux系統共同編寫的高質量Linux技術自學教程，極其適合用於Linux技術入門教程或講課輔助教材，目前是國內最值得去讀的Linux教材，也是最有價值的Linux實驗手冊。 章節包括有： 第0章 咱們先來談談學習方法和紅帽系統。 第1章 部署虛擬環境 ...
  • Llinux，NFS服務搭建（文件共用）
    NFS配置文件許可權參數說明（/etc/exports） 1、rw ：表示可讀寫許可權。 2、ro ：表示只讀許可權。 3、sync ：請求或寫入數據時，數據同步寫入到NFS Server的硬碟後才返回。（優點：數據安全不會丟。缺點：性能比啟用該參數要差）。 4、async ：寫入時數據會先寫到記憶體緩衝區 ...
  • 001.Heartbeat簡介
    一 Heartbeat簡介 1.1 概述 Heartbeat是Linux-HA項目中的一個組件，也是當前開源HA項目中最成功的一個例子，它提供了所有HA軟體所需要的基本功能，如心跳檢測和資源接管、監測群集中的系統服務、在群集中的節點間轉移共用IP地址的所有者等。heartbeat最核心的功能包括兩個 ...
  • Linux 中使用 firewalld
    firewalld 是一種動態防火牆管理解決方案。Centos 7 預設使用 firewalld。firewalld 是對 iptables 的一個封裝，可以讓你更容易地管理 iptables 規則。它並不是 iptables 的替代品，雖然 iptables 命令仍可用於 firewalld，但建... ...
  • 配置Apache虛擬主機
    Apache伺服器可以配置多個虛擬主機，從而為多個站點提供服務，其實質就是根據不同的策略，訪問不同的文件系統目錄。apache提供3種虛擬主機的策略，1.基於埠的虛擬主機；2.基於功能變數名稱的虛擬主機；3.基於IP的虛擬主機。 ...
  • UNIX系統高級編程——第四章-文件和目錄-總結
    文件系統： 以UNIX系統V文件系統為例： 磁碟分為區，每個分區都有自己的文件系統： ​ i節點是固定長度的記錄項，包含了文件的相關信息。目錄項包含文件名和i節點號。stat結構中除文件名和i節點編號之外的數據都包含在i節點中 在進行文件索引的時候會首先找到目錄項，根據目錄項的i節點號找到i節點，i ...
  • 【linux】如何開放防火牆埠
    linux預設大部分埠的是關閉的。而我們在開發、部署環境時，需要用到大量的服務，如mysql、tomcat、redis、zk等，需要開放指定的埠號。 以mysql埠3306為例 首先編輯伺服器的埠開放配置 在編輯器加入以下代碼，其中3306可以根據需要開放的埠進行替換 添加後的效果如下： ...
  • Fatal error: Call to undefined function json_decode()解決辦法
    最近搭建測試伺服器，訪問網站查看報錯日誌出現如下錯誤： Fatal error: Call to undefined function json_decode() 出現該問題原因是安裝PHP時沒有安裝json擴展所致。 1、首先進入php安裝包的ext中的json目錄，如下圖所示： 2、執行phpi ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類