Java7提供的Fork/Join框架實現高併發程式,你會使用嗎?

来源:https://www.cnblogs.com/huaweiyun/archive/2022/12/20/16994086.html
-Advertisement-
Play Games

摘要:Fork/Join框架位於J.U.C(java.util.concurrent)中,是Java7中提供的用於執行並行任務的框架,其可以將大任務分割成若幹個小任務,最終彙總每個小任務的結果後得到最終結果。 本文分享自華為雲社區《如何使用Java7提供的Fork/Join框架實現高併發程式?》,作 ...


摘要:Fork/Join框架位於J.U.C(java.util.concurrent)中,是Java7中提供的用於執行並行任務的框架,其可以將大任務分割成若幹個小任務,最終彙總每個小任務的結果後得到最終結果。

本文分享自華為雲社區《如何使用Java7提供的Fork/Join框架實現高併發程式?》,作者:冰 河。

Fork/Join框架位於J.U.C(java.util.concurrent)中,是Java7中提供的用於執行並行任務的框架,其可以將大任務分割成若幹個小任務,最終彙總每個小任務的結果後得到最終結果。基本思想和Hadoop的MapReduce思想類似。

主要採用的是工作竊取演算法(某個線程從其他隊列里竊取任務來執行),並行分治計算中的一種Work-stealing策略

為什麼需要使用工作竊取演算法呢?

假如我們需要做一個比較大的任務,我們可以把這個任務分割為若幹互不依賴的子任務,為了減少線程間的競爭,於是把這些子任務分別放到不同的隊列里,併為每個隊列創建一個單獨的線程來執行隊列里的任務,線程和隊列一一對應,比如A線程負責處理A隊列里的任務。但是有的線程會先把自己隊列里的任務幹完,而其他線程對應的隊列里還有任務等待處理。幹完活的線程與其等著,不如去幫其他線程幹活,於是它就去其他線程的隊列里竊取一個任務來執行。而在這時它們會訪問同一個隊列,所以為了減少竊取任務線程和被竊取任務線程之間的競爭,通常會使用雙端隊列,被竊取任務線程永遠從雙端隊列的頭部拿任務執行,而竊取任務的線程永遠從雙端隊列的尾部拿任務執行。

工作竊取演算法的優點

充分利用線程進行並行計算,並減少了線程間的競爭

工作竊取演算法的缺點

在某些情況下還是存在競爭,比如雙端隊列里只有一個任務時。並且該演算法會消耗更多的系統資源,比如創建多個線程和多個雙端隊列。

Fork/Join框架局限性

對於Fork/Join框架而言,當一個任務正在等待它使用Join操作創建的子任務結束時,執行這個任務的工作線程查找其他未被執行的任務,並開始執行這些未被執行的任務,通過這種方式,線程充分利用它們的運行時間來提高應用程式的性能。為了實現這個目標,Fork/Join框架執行的任務有一些局限性,如下所示。

  • 任務只能使用Fork和Join操作來進行同步機制,如果使用了其他同步機制,則在同步操作時,工作線程就不能執行其他任務了。比如,在Fork/Join框架中,使任務進行了睡眠,那麼,在睡眠期間內,正在執行這個任務的工作線程將不會執行其他任務了。
  • 在Fork/Join框架中,所拆分的任務不應該去執行IO操作,比如:讀寫數據文件
  • 任務不能拋出檢查異常,必須通過必要的代碼來出來這些異常

Fork/Join框架的核心類

Fork/Join框架的核心是兩個類:ForkJoinPool和ForkJoinTask。ForkJoinPool負責實現工作竊取演算法、管理工作線程、提供關於任務的狀態以及執行信息。ForkJoinTask主要提供在任務中執行Fork和Join操作的機制。

示例代碼

示例代碼如下:

package io.binghe.concurrency.example.aqs;
import lombok.extern.slf4j.Slf4j;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.Future;
import java.util.concurrent.RecursiveTask;
@Slf4j
public class ForkJoinTaskExample extends RecursiveTask<Integer> {
 public static final int threshold = 2;
 private int start;
 private int end;
 public ForkJoinTaskExample(int start, int end) {
 this.start = start;
 this.end = end;
 }
 @Override
 protected Integer compute() {
 int sum = 0;
 //如果任務足夠小就計算任務
 boolean canCompute = (end - start) <= threshold;
 if (canCompute) {
 for (int i = start; i <= end; i++) {
                sum += i;
 }
 } else {
 // 如果任務大於閾值,就分裂成兩個子任務計算
 int middle = (start + end) / 2;
 ForkJoinTaskExample leftTask = new ForkJoinTaskExample(start, middle);
 ForkJoinTaskExample rightTask = new ForkJoinTaskExample(middle + 1, end);
 // 執行子任務
 leftTask.fork();
 rightTask.fork();
 // 等待任務執行結束合併其結果
 int leftResult = leftTask.join();
 int rightResult = rightTask.join();
 // 合併子任務
            sum = leftResult + rightResult;
 }
 return sum;
 }
 public static void main(String[] args) {
 ForkJoinPool forkjoinPool = new ForkJoinPool();
 //生成一個計算任務,計算1+2+3+4
 ForkJoinTaskExample task = new ForkJoinTaskExample(1, 100);
 //執行一個任務
 Future<Integer> result = forkjoinPool.submit(task);
 try {
            log.info("result:{}", result.get());
 } catch (Exception e) {
 log.error("exception", e);
 }
 }
}

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.引入openpyxl庫 安裝openpyxl庫:pip install openpyxl 引入openpyxl庫:from openpyxl import load_worbook 2.代碼實現 from openpyxl import load_workbook #打開Excel wb = l ...
  • 在我們描述堆之前,我們首先要明白一個概念,什麼是樹? 樹的概念及結構 1.樹的概念 樹是一種非線性的數據結構,它是由n(n>=0)個有限結點組成一個具有層次關係的集合。把它叫做樹是因為它看起來像一棵倒掛的樹,也就是說它是根在上,而葉在下的。 有一個特殊的結點,稱為根結點,根節點沒有前驅結點。除根節點 ...
  • 項目地址 這個項目是很久以前的,當時go能力有限,寫的不盡人意。剛好最近有加密文件的需求,所以就完善了相關邏輯。 之前的方案還依賴 Seek(offset int64, whence int) (int64, error) ,看了go很多源碼,都說Seek不可靠。所以目前改為純Reader和Writ ...
  • 書接上回,上一回我們按照“低耦合高內聚”的組織架構方針對項目的整體結構進行了優化,本回將會繼續編寫業務,那就是用戶的登錄邏輯,將之前用戶管理模塊中添加的用戶賬號進行賬號和密碼的校驗,校驗通過後留存當前登錄用戶的信息,過程中使用圖形驗證碼強制進行人機交互,防止賬號的密碼被暴力破解。 登錄邏輯 首先在邏 ...
  • 區塊鏈技術並不是什麼高級概念,它並不比量子力學、泡利不相容原則、哥德巴赫猜想更難以理解,但卻也不是什麼類似“時間就是金錢”這種婦孺皆知的淺顯道理。區塊鏈其實是一套統籌組織記錄的方法論,或者說的更準確一些,一種“去中心化”的組織架構系統。 去中心化 眾所周知,任何一個公司、組織、或者是機構,都遵循同一 ...
  • Java新手天坑! 想寫一篇新手避坑向的文章很久了,最近來到園子,終於有機會發表這篇文章了(文筆和技術都不咋地,大佬見諒,適用於剛入坑沒多久的新手群體) 在java中,經過一段學習的人對數組操作應該是瞭如指掌了,但是剛剛入門的小白來說,數組卻存在著一個隱藏的大坑,我們先用Python示例一下: #l ...
  • 我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 四川省德昌縣人民檢察院起訴書指控 ...
  • JZ48 最長不含重覆字元的子字元串 描述 請從字元串中找出一個最長的不包含重覆字元的子字元串,計算該最長子字元串的長度。 示例1 輸入:"abcabcbb" 返回值:3 說明:因為無重覆字元的最長子串是"abc",所以其長度為 3。 方法1 思路 維護一個數組,想裡面添加元素,直至出現第一個重覆元 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...