併發模型之Master-Worker設計模式

来源:http://www.cnblogs.com/Dylansuns/archive/2017/05/13/6847853.html
-Advertisement-
Play Games

一、Master-Worker設計模式 Master-Worker模式是常用的並行設計模式。它的核心思想是,系統有兩個進程協議工作:Master進程和Worker進程。Master進程負責接收和分配任務,Worker進程負責處理子任務。當各個Worker進程將子任務處理完後,將結果返回給Master ...


一、Master-Worker設計模式

Master-Worker模式是常用的並行設計模式。它的核心思想是,系統有兩個進程協議工作:Master進程和Worker進程。Master進程負責接收和分配任務,Worker進程負責處理子任務。當各個Worker進程將子任務處理完後,將結果返回給Master進程,由Master進行歸納和彙總,從而得到系統結果。

Master-Worker模式的好處是,它能將大任務分解成若幹個小任務,併發執行,從而提高系統性能。而對於系統請求者Client來說,任務一旦提交,Master進程就會立刻分配任務並立即返回,並不會等系統處理完全部任務再返回,其處理過程是非同步的。

二、Master-Worker設計模式代碼實現

1、創建Task任務對象

 1 package com.ietree.basicskill.mutilthread.designpattern.masterworker;
 2 
 3 /**
 4  * Created by Root on 5/12/2017.
 5  */
 6 public class Task {
 7 
 8     private int id;
 9 
10     private String name;
11 
12     private int price;
13 
14     public int getId() {
15         return id;
16     }
17 
18     public void setId(int id) {
19         this.id = id;
20     }
21 
22     public String getName() {
23         return name;
24     }
25 
26     public void setName(String name) {
27         this.name = name;
28     }
29 
30     public int getPrice() {
31         return price;
32     }
33 
34     public void setPrice(int price) {
35         this.price = price;
36     }
37 }

2、實現Worker對象

 1 package com.ietree.basicskill.mutilthread.designpattern.masterworker;
 2 
 3 import java.util.concurrent.ConcurrentHashMap;
 4 import java.util.concurrent.ConcurrentLinkedQueue;
 5 
 6 /**
 7  * Created by Root on 5/12/2017.
 8  */
 9 public class Worker implements Runnable {
10 
11     private ConcurrentLinkedQueue<Task> workQueue;
12     private ConcurrentHashMap<String, Object> resultMap;
13 
14     public void setWorkerQueue(ConcurrentLinkedQueue<Task> workQueue) {
15         this.workQueue = workQueue;
16     }
17 
18     public void setResultMap(ConcurrentHashMap<String, Object> resultMap) {
19         this.resultMap = resultMap;
20     }
21 
22     @Override
23     public void run() {
24         while (true) {
25             Task input = this.workQueue.poll();
26             if (input == null) {
27                 break;
28             }
29             // 真正的去做業務處理
30             //Object output = handle(input);
31             // 改造
32             Object output = MyWorker.handle(input);
33             // 返回處理結果集
34             this.resultMap.put(Integer.toString(input.getId()), output);
35         }
36     }
37 
38 //    private Object handle(Task input) {
39 //        Object output = null;
40 //        try {
41 //            // 表示處理task任務的耗時,可能是數據的加工,也可能是操作資料庫......
42 //            Thread.sleep(500);
43 //            output = input.getPrice();
44 //        } catch (InterruptedException e) {
45 //            e.printStackTrace();
46 //        }
47 //        return output;
48 //    }
49 
50     // 優化,考慮讓繼承類去自己實現具體的業務處理
51     public static Object handle(Task input) {
52         return null;
53     }
54 
55 }

3、為了使程式更靈活,將具體的業務執行邏輯抽離,在具體的Worker對象去實現,如這裡的MyWorker對象

 1 package com.ietree.basicskill.mutilthread.designpattern.masterworker;
 2 
 3 /**
 4  * Created by Root on 5/13/2017.
 5  */
 6 public class MyWorker extends Worker {
 7 
 8     public static Object handle(Task input) {
 9         Object output = null;
10         try {
11             // 表示處理task任務的耗時,可能是數據的加工,也可能是操作資料庫......
12             Thread.sleep(500);
13             output = input.getPrice();
14         } catch (InterruptedException e) {
15             e.printStackTrace();
16         }
17         return output;
18     }
19 
20 }

4、Master類

 1 package com.ietree.basicskill.mutilthread.designpattern.masterworker;
 2 
 3 import java.util.HashMap;
 4 import java.util.Map;
 5 import java.util.concurrent.ConcurrentHashMap;
 6 import java.util.concurrent.ConcurrentLinkedQueue;
 7 
 8 /**
 9  * Created by Root on 5/12/2017.
10  */
11 public class Master {
12 
13     // 1、使用一個ConcurrentLinkedQueue集合來裝載所有需要執行的任務
14     private ConcurrentLinkedQueue<Task> workQueue = new ConcurrentLinkedQueue<Task>();
15 
16     // 2、使用HashMap來裝載所有的worker對象
17     private HashMap<String, Thread> workers = new HashMap<String, Thread>();
18 
19     // 3、使用一個容器承裝每一個worker併發執行任務的結果集
20     private ConcurrentHashMap<String, Object> resultMap = new ConcurrentHashMap<String, Object>();
21 
22     // 4、構造方法
23     public Master(Worker worker, int workerCount) {
24         // 每一個worker對象都需要有Master的引用,workQueue用於任務的領取,resultMap用於任務的提交
25         worker.setWorkerQueue(this.workQueue);
26         worker.setResultMap(this.resultMap);
27 
28         for (int i = 0; i < workerCount; i++) {
29             workers.put("子節點" + Integer.toString(i), new Thread(worker));
30         }
31     }
32 
33     // 5、提交方法
34     public void submit(Task task) {
35         this.workQueue.add(task);
36     }
37 
38     // 6、需要有一個執行的方法(啟動應用程式,讓所有的worker工作)
39     public void execute() {
40         for (Map.Entry<String, Thread> me : workers.entrySet()) {
41             me.getValue().start();
42         }
43     }
44 
45     // 7、判斷線程是否執行完畢
46     public boolean isComplete() {
47         for (Map.Entry<String, Thread> me : workers.entrySet()) {
48             // 判斷所有的線程狀態是否屬於已停止狀態
49             if (me.getValue().getState() != Thread.State.TERMINATED) {
50                 return false;
51             }
52         }
53         return true;
54     }
55 
56     // 8、返回結果集數據
57     public int getResult() {
58         int ret = 0;
59         for (Map.Entry<String, Object> me : resultMap.entrySet()) {
60             // 彙總邏輯
61             ret += (Integer) me.getValue();
62         }
63         return ret;
64     }
65 
66 }

5、測試,具體調用實現

 1 package com.ietree.basicskill.mutilthread.designpattern.masterworker;
 2 
 3 import java.util.Random;
 4 
 5 /**
 6  * Created by Root on 5/13/2017.
 7  */
 8 public class MasterWorkerTest {
 9 
10     public static void main(String[] args) {
11 
12 //        Master master = new Master(new Worker(), 10);
13         // 改造
14 //        Master master = new Master(new MyWorker(), 10);
15         // 改造(獲取當前機器可用線程數)
16         System.out.println("我的機器可用Processors數量:" + Runtime.getRuntime().availableProcessors());
17         Master master = new Master(new MyWorker(), Runtime.getRuntime().availableProcessors());
18 
19         Random r = new Random();
20         for (int i = 1; i <= 10; i++) {
21             Task t = new Task();
22             t.setId(i);
23             t.setName("任務" + i);
24             t.setPrice(r.nextInt(1000));
25             master.submit(t);
26         }
27         master.execute();
28 
29         long start = System.currentTimeMillis();
30 
31         while (true) {
32             if (master.isComplete()) {
33                 long end = System.currentTimeMillis() - start;
34                 int ret = master.getResult();
35                 System.out.println("最終的結果:" + ret + ",執行耗時:" + end);
36                 break;
37             }
38         }
39     }
40 
41 }

程式輸出:

我的機器可用Processors數量:20
最終的結果:4473,執行耗時:500

從上面的運行結果來看,程式最終執行時間幾乎就等於一個線程單獨運行的時間,在此註意的是,同時執行的線程數是根據你執行此程式的機器配置決定的。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Given an array of integers, return indices of the two numbers such that they add up to a specific target. You may assume that each input would have ex ...
  • 輸出python3.x : print() 函數 >>> print('hello, world')使用print()函數或語句可以接受多個字元串,用逗號“,”隔開,就可以連成一串輸出。print()函數或語句會依次列印每個字元串,遇到逗號“,”會輸出一個空格>>> print('hello', ' ...
  • 一、java 開發環境的搭建 這裡主要說的是在windows 環境下怎麼配置環境。 1.首先安裝JDK java的sdk簡稱JDK ,去其官方網站下載最近的JDK即可。。http://www.oracle.com/technetwork/java/javase/downloads/jdk7-down ...
  • ———————————————————————相關文章———————————————————————————— 【Linux】nginx常用命令 【nginx】詳細配置說明 ———————————————————————相關文章———————————————————————————— 1.Nginx ...
  • ———————————————————————相關文章———————————————————————————— Centos之安裝Nginx及註意事項 【nginx】詳細配置說明 ———————————————————————相關文章———————————————————————————— ngin ...
  • int btn = (Button) findViewById(View.getId());//這句話中的btn不能用來和按鈕鍵Button的id號去比較 如果想存儲Button,可以這樣做: Stack<Button> btnStack = Stack<Button>();//創建一個存儲Butt ...
  • 前言:用於處理Java基本數據的轉換及進位轉換操作工具 一、實現功能 1、int預byte互轉 2、int與byte[]互轉 3、short與byte互轉 4、short與byte[]互轉 5、16位short與byte[]互轉 6、long預byte[]互轉 7、byte[]與inputstrea ...
  • Implement wildcard pattern matching with support for '?' and '*'. ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...