JAVA中的Fork/Join框架

来源:http://www.cnblogs.com/chenpi/archive/2016/06/13/5581198.html
-Advertisement-
Play Games

看了下Java Tutorials中的fork/join章節,整理下。 什麼是fork/join框架 fork/join框架是ExecutorService介面的一個實現,可以幫助開發人員充分利用多核處理器的優勢,編寫出並行執行的程式,提高應用程式的性能;設計的目的是為了處理那些可以被遞歸拆分的任務 ...


看了下Java Tutorials中的fork/join章節,整理下。

什麼是fork/join框架

  fork/join框架是ExecutorService介面的一個實現,可以幫助開發人員充分利用多核處理器的優勢,編寫出並行執行的程式,提高應用程式的性能;設計的目的是為了處理那些可以被遞歸拆分的任務。

  fork/join框架與其它ExecutorService的實現類相似,會給線程池中的線程分發任務,不同之處在於它使用了工作竊取演算法,所謂工作竊取,指的是對那些處理完自身任務的線程,會從其它線程竊取任務執行。

  fork/join框架的核心是ForkJoinPool類,該類繼承了AbstractExecutorService類。ForkJoinPool實現了工作竊取演算法並且能夠執行 ForkJoinTask任務。

基本使用方法

  在使用fork/join框架之前,我們需要先對任務進行分割,任務分割代碼應該跟下麵的偽代碼類似:

if (任務足夠小){
  直接執行該任務;
}
else{ 將任務一分為二; 執行這兩個任務並等待結果;
}

  首先,我們會在ForkJoinTask的子類中封裝以上代碼,不過一般我們會使用更加具體的ForkJoinTask類型,如 RecursiveTask(可以返回一個結果)或RecursiveAction

  當寫好ForkJoinTask的子類後,創建該對象,該對象代表了所有需要完成的任務;然後將這個任務對象傳給ForkJoinPool實例的invoke()去執行即可。

例子-圖像模糊

  為了更加直觀的理解fork/join框架是如何工作的,可以看一下下麵這個例子。假定我們有一個圖像模糊的任務需要完成,原始圖像數據可以用一個整型數組表示,每一個整型元素包含了一個像素點的顏色值(RBG,存放在整型元素的不同位中)。目標圖像同樣是由一個整型數組構成,每個整型元素包含RBG顏色信息;

  執行模糊操作需要遍歷原始圖像整型數組的每個元素,並對其周圍的像素點做均值操作(RGB均值),然後將結果存放到目標數組中。由於圖像是一個大數組,這個處理操作會花費一定的時間。但是有了fork/join框架,我們可以充分利用多核處理器進行並行計算。如下是一個可能的代碼實現(圖像做水平方向的模糊操作):

Tips:該例子僅僅是闡述fork/join框架的使用,並不推薦使用該方法做圖像模糊,圖像邊緣處理也沒做判斷

public class ForkBlur extends RecursiveAction {
    private static final long serialVersionUID = -8032915917030559798L;
    private int[] mSource;
    private int mStart;
    private int mLength;
    private int[] mDestination;
    private int mBlurWidth = 15; // Processing window size, should be odd.
 
    public ForkBlur(int[] src, int start, int length, int[] dst) {
        mSource = src;
        mStart = start;
        mLength = length;
        mDestination = dst;
    }
 
    // Average pixels from source, write results into destination.
    protected void computeDirectly() {
        int sidePixels = (mBlurWidth - 1) / 2;
        for (int index = mStart; index < mStart + mLength; index++) {
            // Calculate average.
            float rt = 0, gt = 0, bt = 0;
            for (int mi = -sidePixels; mi <= sidePixels; mi++) {
                int mindex = Math.min(Math.max(mi + index, 0), mSource.length - 1);
                int pixel = mSource[mindex];
                rt += (float) ((pixel & 0x00ff0000) >> 16) / mBlurWidth;
                gt += (float) ((pixel & 0x0000ff00) >> 8) / mBlurWidth;
                bt += (float) ((pixel & 0x000000ff) >> 0) / mBlurWidth;
            }
 
            // Re-assemble destination pixel.
            int dpixel = (0xff000000)
                    | (((int) rt) << 16)
                    | (((int) gt) << 8)
                    | (((int) bt) << 0);
            mDestination[index] = dpixel;
        }
    }
...

  現在,我們開始編寫compute()的實現方法,該方法分成兩部分:直接執行模糊操作和任務的劃分;一個數組長度閾值sThreshold可以幫助我們決定任務是直接執行還是進行劃分;

    @Override
    protected void compute() {
        if (mLength < sThreshold) {
            computeDirectly();
            return;
        }
 
        int split = mLength / 2;
 
        invokeAll(new ForkBlur(mSource, mStart, split, mDestination),
                new ForkBlur(mSource, mStart + split, mLength - split, 
                mDestination));
    }

接下來按如下步驟即可完成圖像模糊任務啦:

1、創建圖像模糊任務

ForkBlur fb = new ForkBlur(src, 0, src.length, dst);

2、創建ForkJoinPool

ForkJoinPool pool = new ForkJoinPool();

3、執行圖像模糊任務

pool.invoke(fb);

完整代碼如下:

/*
* Copyright (c) 2010, 2013, Oracle and/or its affiliates. All rights reserved.
*
* Redistribution and use in source and binary forms, with or without
* modification, are permitted provided that the following conditions
* are met:
*
*   - Redistributions of source code must retain the above copyright
*     notice, this list of conditions and the following disclaimer.
*
*   - Redistributions in binary form must reproduce the above copyright
*     notice, this list of conditions and the following disclaimer in the
*     documentation and/or other materials provided with the distribution.
*
*   - Neither the name of Oracle or the names of its
*     contributors may be used to endorse or promote products derived
*     from this software without specific prior written permission.
*
* THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS
* IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
* THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
* PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE COPYRIGHT OWNER OR
* CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
* EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
* PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
* PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
* LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
* NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
* SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
*/
 
import java.awt.image.BufferedImage;
import java.io.File;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.RecursiveAction;
import javax.imageio.ImageIO;
 
/**
 * ForkBlur implements a simple horizontal image blur. It averages pixels in the
 * source array and writes them to a destination array. The sThreshold value
 * determines whether the blurring will be performed directly or split into two
 * tasks.
 *
 * This is not the recommended way to blur images; it is only intended to
 * illustrate the use of the Fork/Join framework.
 */
public class ForkBlur extends RecursiveAction {
    private static final long serialVersionUID = -8032915917030559798L;
    private int[] mSource;
    private int mStart;
    private int mLength;
    private int[] mDestination;
    private int mBlurWidth = 15; // Processing window size, should be odd.
 
    public ForkBlur(int[] src, int start, int length, int[] dst) {
        mSource = src;
        mStart = start;
        mLength = length;
        mDestination = dst;
    }
 
    // Average pixels from source, write results into destination.
    protected void computeDirectly() {
        int sidePixels = (mBlurWidth - 1) / 2;
        for (int index = mStart; index < mStart + mLength; index++) {
            // Calculate average.
            float rt = 0, gt = 0, bt = 0;
            for (int mi = -sidePixels; mi <= sidePixels; mi++) {
                int mindex = Math.min(Math.max(mi + index, 0), mSource.length - 1);
                int pixel = mSource[mindex];
                rt += (float) ((pixel & 0x00ff0000) >> 16) / mBlurWidth;
                gt += (float) ((pixel & 0x0000ff00) >> 8) / mBlurWidth;
                bt += (float) ((pixel & 0x000000ff) >> 0) / mBlurWidth;
            }
 
            // Re-assemble destination pixel.
            int dpixel = (0xff000000)
                    | (((int) rt) << 16)
                    | (((int) gt) << 8)
                    | (((int) bt) << 0);
            mDestination[index] = dpixel;
        }
    }
    protected static int sThreshold = 10000;
 
    @Override
    protected void compute() {
        if (mLength < sThreshold) {
            computeDirectly();
            return;
        }
 
        int split = mLength / 2;
 
        invokeAll(new ForkBlur(mSource, mStart, split, mDestination),
                new ForkBlur(mSource, mStart + split, mLength - split, 
                mDestination));
    }
 
    // Plumbing follows.
    public static void main(String[] args) throws Exception {
        String srcName = "C:\\test6.jpg";
        File srcFile = new File(srcName);
        BufferedImage image = ImageIO.read(srcFile);
         
        System.out.println("Source image: " + srcName);
         
        BufferedImage blurredImage = blur(image);
         
        String dstName = "C:\\test6_out.jpg";
        File dstFile = new File(dstName);
        ImageIO.write(blurredImage, "jpg", dstFile);
         
        System.out.println("Output image: " + dstName);
         
    }
 
    public static BufferedImage blur(BufferedImage srcImage) {
        int w = srcImage.getWidth();
        int h = srcImage.getHeight();
 
        int[] src = srcImage.getRGB(0, 0, w, h, null, 0, w);
        int[] dst = new int[src.length];
 
        System.out.println("Array size is " + src.length);
        System.out.println("Threshold is " + sThreshold);
 
        int processors = Runtime.getRuntime().availableProcessors();
        System.out.println(Integer.toString(processors) + " processor"
                + (processors != 1 ? "s are " : " is ")
                + "available");
 
        ForkBlur fb = new ForkBlur(src, 0, src.length, dst);
 
        ForkJoinPool pool = new ForkJoinPool();
 
        long startTime = System.currentTimeMillis();
        pool.invoke(fb);
        long endTime = System.currentTimeMillis();
 
        System.out.println("Image blur took " + (endTime - startTime) + 
                " milliseconds.");
 
        BufferedImage dstImage =
                new BufferedImage(w, h, BufferedImage.TYPE_INT_ARGB);
        dstImage.setRGB(0, 0, w, h, dst, 0, w);
 
        return dstImage;
    }
}
View Code

測試了一下,執行效果如下:

Source image: C:\test6.jpg
Array size is 120000
Threshold is 10000
4 processors are available
Image blur took 10 milliseconds.
Output image: C:\test6_out.jpg

 

 JDK中使用fork/join的例子

  除了我們上面提到的使用fork/join框架並行執行圖像模糊任務之外,在JAVA SE中,也已經利用fork/join框架實現了一些非常有用的特性。其中一個實現是在JAVA SE8 中java.util.Arrays 類的parallelSort()方法。這些方法和sort()方法類似,但是可以通過fork/join框架並行執行。對於大數組排序,在多核處理器系統中,使用並行排序方法比順序排序更加高效。當然,關於這些排序方法是如何利用fork/join框架不在本篇文章討論範圍,更多信息可以查看JAVA API文檔。
  另一個fork/join框架的實現是在JAVA SE8中的java.util.streams包內,與Lambda表達式相關,更多信息,可以查看https://docs.oracle.com/javase/tutorial/java/javaOO/lambdaexpressions.html鏈接。

 

參考鏈接:https://docs.oracle.com/javase/tutorial/essential/concurrency/forkjoin.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文參考Roslyn項目中的Issue:#259. 1. C# 7.0 新特性1: 基於Tuple的“多”返回值方法 簡而言之,【本地方法】就是在方法體內部定義一個方法。 其實咋眼一看,這個新特新並沒有什麼新意,因為目前大量C#的項目中,都可以使用delegate或基於delegate變形的各種方案 ...
  • 如果一個頁面中有很長的列表/內容,很多應用都會在用戶向下滾動時隱藏頁面的頭,給用戶留出更多的閱讀空間,同時提供一個方便的吸頂工具欄,比如淘寶中的店鋪頁面。 下麵是一個比較簡單的實現,如果有同學有更好的實現,歡迎留言,讓我們共同進步。 首先假設我們的頁面整體包含3部分; 結構代碼如下,為了區別清楚,我 ...
  • 最近看到滿大街的二維碼掃碼有驚喜,對二維碼也有過一些瞭解,想看看到底是什麼原理,在網上找了一些資料,自己弄了一個實例,採用的是MVC,貼出來分享一下 一維碼生成 Controller 1 <div class="col-md-4"> 2 <h2>一維碼生成</h2> 3 <div><input ty ...
  • 以前寫過一篇《單頁面多類型的多附件上傳》的文章,但是在實際項目中,這樣的並不多見,相比之下,多附件上傳卻經常用到。 而每次使用都要複製粘貼相關的代碼,雖然不麻煩,但用起來卻不太方便,一旦忘記某段代碼沒複製過來,頁面就會報錯。 於是,就想把現在用的這些代碼,變成一個用戶自定義控制項,這樣再次使用的時候就 ...
  • Web Service 是什麼? Web Service 也叫作XML Web Service,是一種網路化的,分散式的軟體系統,通常通過Http交付,可以跨編程語言和操作系統進行遠程調用操作,通常情況下,Web Service包括服務本身和客戶端,後者也被稱為消費者或請求者,可以通過網路訪問部署在 ...
  • 這裡就簡單介紹下log4Net對寫入日誌文件的一些瞭解,寫入資料庫類似,就不在一一介紹了。 首先去log4net下載. 然後我們新建一個控制台應用程式,並引入log4net.dll程式集,log4net/bin/net/4.5/release/log4net.dll 接下來,我們在app.confi ...
  • 最近在學習Linq to Sql,於是自己做了一個例子。但是,當用到Linq to Sql來更新數據的時候,我傻眼了。 網上一搜索,全是這樣的。那我就想了,要是一個表有幾十個欄位,那不是要寫死人???於是乎我就開始想這個各種辦法偷懶: 結果報錯,不能用。然後看到說attach(entity)方法預設 ...
  • 1.安裝.Net Core https://www.microsoft.com/net/core#windows 2.創建一個.Net Core項目,win+R調出控制台,輸入下麵命令 mkdir aspnetcoreapp cd aspnetcoreapp dotnet new 輸入完成後,會在對 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...