YARN資源調度策略之Capacity Scheduler

背景

yarn預設使用的是最簡單的FIFO調度器，即一個default隊列，所有用戶共用，分配資源也是先到先得，沒有優先順序之分。有時一兩個任務就把資源全占了，其他任務吃不到資源造成饑餓，顯然這樣的資源分配是不合理的（在當今社會主義之中，我們要共同富裕啊）。yarn還有兩種資源調度器，capacity schedule和fair schedule，本文主要研究下capacity schedule。

什麼是capacity schedule

Capacity Schedule調度器以隊列為單位劃分資源。簡單通俗點來說，就是一個個隊列有獨立的資源，隊列的結構和資源是可以進行配置的，如下圖：

default隊列占30%資源，analyst和dev分別占40%和30%資源；類似的，analyst和dev各有兩個子隊列，子隊列在父隊列的基礎上再分配資源。

隊列以分層方式組織資源,設計了多層級別的資源限制條件以更好的讓多用戶共用一個Hadoop集群，比如隊列資源限制、用戶資源限制、用戶應用程式數目限制。隊列里的應用以FIFO方式調度，每個隊列可設定一定比例的資源最低保證和使用上限，同時，每個用戶也可以設定一定的資源使用上限以防止資源濫用。而當一個隊列的資源有剩餘時，可暫時將剩餘資源共用給其他隊列。

特性

Capacity調度器具有以下的幾個特性：
● 層次化的隊列設計，這種層次化的隊列設計保證了子隊列可以使用父隊列設置的全部資源。這樣通過層次化的管理，更容易合理分配和限制資源的使用。
● 容量保證，隊列上都會設置一個資源的占比，這樣可以保證每個隊列都不會占用整個集群的資源。
● 安全，每個隊列又嚴格的訪問控制。用戶只能向自己的隊列裡面提交任務，而且不能修改或者訪問其他隊列的任務。
● 彈性分配，空閑的資源可以被分配給任何隊列。當多個隊列出現爭用的時候，則會按照比例進行平衡。
● 多租戶租用，通過隊列的容量限制，多個用戶就可以共用同一個集群，同時保證每個隊列分配到自己的容量，提高利用率。
● 操作性，yarn支持動態修改調整容量、許可權等的分配，可以在運行時直接修改。還提供給管理員界面，來顯示當前的隊列狀況。管理員可以在運行時，添加一個隊列；但是不能刪除一個隊列。管理員還可以在運行時暫停某個隊列，這樣可以保證當前的隊列在執行過程中，集群不會接收其他的任務。如果一個隊列被設置成了stopped，那麼就不能向他或者子隊列上提交任務了。
● 基於資源的調度，協調不同資源需求的應用程式，比如記憶體、CPU、磁碟等等。

配置

開啟調度器

在ResourceManager中配置它要使用的調度器，配置方式是修改conf/yarn-site.xml，設置屬性：

<property>
    <name>yarn.resourcemanager.scheduler.class</name>   
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

配置隊列

調度器的核心就是隊列的分配和使用了，修改conf/capacity-scheduler.xml可以配置隊列。
Capacity調度器預設有一個預定義的隊列——root,所有的隊列都是它的子隊列。隊列的分配支持層次化的配置，使用.來進行分割，比如yarn.scheduler.capacity.<queue-path>.queues

下麵是配置的樣例，比如root下麵有三個子隊列:

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>a,b,c</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.a.queues</name>
  <value>a1,a2</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.b.queues</name>
  <value>b1,b2,b3</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

隊列屬性

yarn.scheduler.capacity.<queue-path>.capacity

它是隊列的資源容量占比(百分比)。系統繁忙時，每個隊列都應該得到設置的量的資源；當系統空閑時，該隊列的資源則可以被其他的隊列使用。同一層的所有隊列加起來必須是100%。

yarn.scheduler.capacity.<queue-path>.maximum-capacity

隊列資源的使用上限。由於系統空閑時，隊列可以使用其他的空閑資源，因此最多使用的資源量則是該參數控制。預設是-1，即禁用。

yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent

每個任務占用的最少資源。比如，你設置成了25%。那麼如果有兩個用戶提交任務，那麼每個任務資源不超過50%。如果3個用戶提交任務，那麼每個任務資源不超過33%。如果4個用戶提交任務，那麼每個任務資源不超過25%。如果5個用戶提交任務，那麼第五個用戶需要等待才能提交。預設是100，即不去做限制。

yarn.scheduler.capacity.<queue-path>.user-limit-factor

每個用戶最多使用的隊列資源占比，如果設置為50.那麼每個用戶使用的資源最多就是50%。

運行和提交應用限制

yarn.scheduler.capacity.maximum-applications / yarn.scheduler.capacity.<queue-path>.maximum-applications

設置系統中可以同時運行和等待的應用數量。預設是10000.

yarn.scheduler.capacity.maximum-am-resource-percent / yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent

設置有多少資源可以用來運行app master，即控制當前激活狀態的應用。預設是10%。

隊列管理

yarn.scheduler.capacity.<queue-path>.state

隊列的狀態，可以使RUNNING或者STOPPED.如果隊列是STOPPED狀態，那麼新應用不會提交到該隊列或者子隊列。同樣，如果root被設置成STOPPED，那麼整個集群都不能提交任務了。現有的應用可以等待完成，因此隊列可以優雅的退出關閉。

yarn.scheduler.capacity.root.<queue-path>.acl_submit_applications

訪問控制列表ACL控制誰可以向該隊列提交任務。如果一個用戶可以向該隊列提交，那麼也可以提交任務到它的子隊列。

yarn.scheduler.capacity.root.<queue-path>.acl_administer_queue

設置隊列的管理員的ACL控制，管理員可以控制隊列的所有應用程式。同樣，它也具有繼承性。

註意：ACL的設置是user1,user2 group1,group2這種格式。如果是則代表任何人。空格表示任何人都不允許。預設是.

其他屬性

yarn.scheduler.capacity.resource-calculator

資源計算方法，預設是org.apache.hadoop.yarn.util.resource.DefaultResourseCalculator,它只會計算記憶體。DominantResourceCalculator則會計算記憶體和CPU。

yarn.scheduler.capacity.node-locality-delay

調度器嘗試進行調度的次數。一般都是跟集群的節點數量有關。預設40（一個機架上的節點數）
一旦設置完這些隊列屬性，就可以在web ui上看到了。可以訪問下麵的連接：
xxx:8088/scheduler

修改隊列配置

如果想要修改隊列或者調度器的配置，可以修改

vi $HADOOP_CONF_DIR/capacity-scheduler.xml

修改完成後，需要執行下麵的命令：

$HADOOP_YARN_HOME/bin/yarn rmadmin -refreshQueues

註意：

• 隊列不能被刪除，只能新增。
• 更新隊列的配置需要是有效的值
• 同層級的隊列容量限制相加需要等於100%。
• 如果希望自己的任務調度到queue1隊列，只需在啟動任務時指定：mapreduce.job.queuename參數為queue1即可，預設為default隊列