FP並行演算法的幾個相關方向

来源:http://www.cnblogs.com/XiaoErDuoFancy/archive/2016/09/04/5839515.html
-Advertisement-
Play Games

1 集群系統中的 FP-tree 並行演算法(many for one一個任務 還是 雲計算one for many多個任務?) 電腦集群系統利用網路把一組具有高性能的工作站或者 PC 機按一定的結構連接起來, 從而形成了高效的並行的計算處理系統。 各節點之間使用消息傳遞實現通信,集群系統通常用於改 ...


1 集群系統中的 FP-tree 並行演算法(many for one一個任務 還是 雲計算one for many多個任務?)


    電腦集群系統利用網路把一組具有高性能的工作站或者 PC 機按一定的結構連接起來, 從而形成了高效的並行的計算處理
系統。 各節點之間使用消息傳遞實現通信,集群系統通常用於改進單個電腦的計算速度與可靠性。
     FP-growth 演算法在挖掘每個條件模式庫的過程是彼此獨立進行的,相互之間沒有數據和信息交換。 這一互相獨立的特點可以把
FP-growth 演算法轉換為並行演算法,如果將每個條件模式庫的挖掘看成一個子任務,那麼總的頻繁模式挖掘任務就能夠被劃分為數目
與頻繁項數目相等的若幹個子任務。

     然後將這些子任務分配給電腦集群中的各個節點分別執行,電腦集群的各個節點完成各
自的子任務後,將計算結果傳送到中央節點,由中央節點形成統一的計算結果。

 

 

2 劃分 FP-tree 為小 FP-tree 的並行計算方法


     對於給定的關聯規則挖掘任務,如何將其分解成多個相互獨立的子任務? 從而進行並行分散式處理。 下麵將分析的一種方法是
將 FP-tree 劃分成小 FP-tree,然後進行並行計算。

需要證明全部局部樹的組合和全局樹的等價性。

具體方法是:根據 FP-tree 相應的 HeaderTable 各個項首碼路徑的總長度,將 Header Table 分組,構造結點數量大致相等的小
FP 樹。 構建小 FP 樹的方法是,分別提取 Header Table 節點鏈結點位置,找出對應結點的條件模式基,之後用同一組 Header Table 包
含的所有條件模式基產生出新的 FP 樹和 Header Table,在為某部分 Header Table 構造新 FP 樹和新 Header Table 時,不用將這部分
Header Table 包含的項以外的項放進新 Header Table。 這樣便將大 FP-tree 劃分為多個小 FP-tree 方便多進程或多台機器並行處理。


3 劃分資料庫事務的並行 FP-Growth 演算法(基於Hadoop平臺,可以自動分佈,每個map預設64MB。待續詳細。)


在並行 FP-Growth 演算法當中,一種演算法是將資料庫里的記錄按照數量進行等分,然後在多個進程上進行並行計算。
該演算法基本步驟如下:
1) 劃分資料庫中的事務,將個數近乎相等的事務指定到相應處理進程;
2) 各進程分別計算項的計數,然後彙總得到頻繁 1-項集;
3) 每個處理進程按照分配的事務得到頻繁模式樹,全局頻繁 1-項集列表裡的每個項皆由一個結點鏈和每個局部的 FP-tree 中
的結點相連;
4) 在全局 1-頻繁項集列表、多顆局部 FP-tree 以及它們之間的相互連接組成的並行頻繁模式樹上面 ,進而可以進行並行頻繁
模式的挖掘。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 使用Saprk SQL 操作Hive的數據 前提準備: 1、啟動Hdfs,hive的數據存儲在hdfs中; 2、啟動hive -service metastore,元數據存儲在遠端,可以遠程訪問; 3、在spark的conf目錄下增加hive-site.xml配置文件,文件內容: 編寫Scala測試 ...
  • 1 begin 2 3 declare @i int ; 4 5 set @i=77541214; 6 7 update dbo.test set code='AMHD'+CONVERT(varchar,@i),@i=@i+1; 8 9 end ...
  • 《原創,僅供學習交流》 在關聯規則的研究中,有很多串列的演算法,經典的是Apriori演算法和FP_growth演算法。也有很多並行演算法, 如CD( count distribution ) 、DD ( data distribution ) 、CaD( candidate distribution)、F ...
  • 基於這段時間折騰redis遇到了各種問題,想著整理一下。本文主要介紹基於Spring+Mybatis以註解的形式整合Redis。廢話少說,進入正題。 首先準備Redis,我下的是Windows版,下載後直接啟動redis-server就行了,見下圖: 一,先上jar包 二,創建實體類 三,dao介面 ...
  • 接上篇:捲積神經網路對圖片分類-上 5 池層(Pooling Layers) 池層通常用在捲積層之後,池層的作用就是簡化捲積層里輸出的信息, 減少數據維度,降低計算開銷,控制過擬合。 如之前所說,一張28X28的輸入圖片,經過5X5的過濾器後會得到一個24X24的特征圖像,繼續簡化這個24X24特征 ...
  • 在設計一個新系統的Table Schema的時候,不僅需要滿足業務邏輯的複雜需求,而且需要考慮如何設計schema能夠更快的增加數據和刪除數據。 模擬一個場景: ID是自增的ID欄位(Identity),用以唯一標識一個Product,在業務邏輯上要求以Name欄位是唯一,通過Name能夠確定一個P ...
  • 企業的信息化管理是一條漫長而崎嶇的道理,當然這裡也不乏創新的火花。關於信息化建設隨企業所處環境、行業的不同而不同。那作為一個成熟的企業,在如今這個大數據浪潮下,對於未來的信息化有何建設性的想法呢?這裡分享某醫葯集團的數據化管理實踐。 ...
  • 在一資料庫版本為(標準版)Oracle Database 10g Release 10.2.0.4.0 - 64bit Production 的伺服器上調整 sga_target時,遇到命令執行了非常久都沒有執行完成的異常情況,覺得非常詫異、不解,因為一般調整sga_targt命令非常快速,檢查了告... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...