實驗1：基於Weka的典型數據挖掘應用

来源:https://www.cnblogs.com/xgbt/archive/2020/07/14/13296844.html
-Advertisement-
Play Games

#一、實驗目標 理解數據挖掘的基本概念，掌握基於Weka工具的基本數據挖掘（分類、回歸、聚類、關聯規則分析）過程。 #二、實驗內容 下載並安裝Java環境（JDK 7.0 64位）。 下載並安裝Weka 3.7版。 基於Weka的數據分類。 基於Weka的數據回歸。 基於Weka的數據聚類。 基於W ...


一、實驗目標

理解數據挖掘的基本概念，掌握基於Weka工具的基本數據挖掘（分類、回歸、聚類、關聯規則分析）過程。

二、實驗內容

  1. 下載並安裝Java環境（JDK 7.0 64位）。
  2. 下載並安裝Weka 3.7版。
  3. 基於Weka的數據分類。
  4. 基於Weka的數據回歸。
  5. 基於Weka的數據聚類。
  6. 基於Weka的關聯規則分析。

三、實驗步驟

1.下載並安裝Java環境（JDK 7.0 64位）

(1)搜索JDK 7.0 64位版的下載，下載到本地磁碟並安裝。

(2)配置系統環境變數PATH，在末尾補充JDK安裝目錄的bin子目錄，以便於在任意位置都能執行Java程式。

2.下載並安裝Weka 3.7版

3.基於Weka的數據分類

(1)讀取“電費回收數據.csv”（逗號分隔列），作為原始數據。

讀取文件後，將一些對數據分析無用的屬性刪除。
首先，刪除CONS_NO（用戶編號），用戶編號是用來標識用戶的，對數據分析沒用。
然後，發現TQSC（欠費時長）為YMD（年月日）與RCVED_DATE（實收日期）之差，故刪去YMD與RCVED_DATE。
其次，CUISHOU_COUNT（催收次數）全為0，刪去；YM（年月）對數據分析無用，刪去。

(2) 數據預處理：

a)將數值型欄位規範化至[0,1]區間。

在Filter中選擇weka.filters.unsupervised.attribute.Normalize，進行歸一化。歸一化的數據如下圖所示。

b)調用特征選擇演算法（Select attributes），選擇關鍵特征。

評價策略使用CfsSubsetEval，它根據屬性子集中每一個特征的預測能力以及它們之間的關聯性進行評估。
搜索方法使用BestFirst。
得到兩個關鍵特征，分別為RCVED_AMT（實收金額）與TQSC（欠費時長）。

(3)分別使用決策樹（J48）、隨機森林（RandomForest）、神經網路（MultilayerPerceptron）、朴素貝葉斯（NaiveBayes）等演算法對數據進行分類，取60%作為訓練集，記錄各演算法的查準率（precision）、查全率（recall）、混淆矩陣與運行時間。

對數據進行分類，首先要對其進行離散化。
在Filter中選擇weka.filters.unsupervised.attribute.Discretize，進行離散化。

對數據分類，需要數據為Nominal類型，但此時IS_BAD還是Number類型，在Filter中選擇weka.filters.unsupervised.attribute.NumericToNominal進行類型轉換。

（a）決策樹（J48）

查準率：0.838
查全率：0.807
混淆矩陣：
運行時間：2.27s

（b）隨機森林（RandomForest）

查準率：0.837
查全率：0.807
混淆矩陣：
運行時間：67.04s

（c）神經網路（MultilayerPerceptron）

查準率：0.837
查全率：0.807
混淆矩陣：
運行時間：14713.98s

（d）朴素貝葉斯（NaiveBayes）

查準率：0.837
查全率：0.807
混淆矩陣：
運行時間：0.57s

4.基於Weka的回歸分析

(1)讀取“配網搶修數據.csv”，作為原始數據。

讀取文件後，將一些對數據分析無用的屬性刪除，如：YMD（年月日）、REGION_ID（地區編號）

(2)數據預處理：

a)將數值型欄位規範化至[0,1]區間。

在Filter中選擇weka.filters.unsupervised.attribute.Normalize，進行歸一化。歸一化的數據如下圖所示。

b)調用特征選擇演算法（Select attributes），選擇關鍵特征。

評價策略使用CfsSubsetEval，搜索方法使用BestFirst。
得到三個關鍵特征，分別為HIGH_TEMP（開始氣溫）、MAX_VALUE（負荷最大值）和MIN_VALUE（負荷最小值）。

(3)分別使用隨機森林（RandomForest）、神經網路（MultilayerPerceptron）、線性回歸（LinearRegression）等演算法對數據進行回歸分析，取60%作為訓練集，記錄各演算法的均方根誤差（RMSE，Root Mean Squared Error）、相對誤差（relative absolute error）與運行時間。

對數據進行回歸分析前，先進行離散化。
在Filter中選擇weka.filters.unsupervised.attribute.Discretize，進行離散化。

（a）隨機森林（RandomForest）

均方根誤差：152.2666
相對誤差：27.9604%
運行時間：0.26s

（b）神經網路（MultilayerPerceptron）

均方根誤差：185.7892
相對誤差：41.9412%
運行時間：33.85s

（c）線性回歸（LinearRegression）

均方根誤差：141.7254
相對誤差：26.9541 %
運行時間：0.19s

5.基於Weka的數據聚類

(1)讀取“移動客戶數據.tsv”（TAB符分隔列），作為原始數據。

刪除無關屬性，SUM_MONTH、USER_ID、MSISDN、CUS_ID。

(2)數據預處理：

(a)將數值型欄位規範化至[0,1]區間。

在Filter中選擇weka.filters.unsupervised.attribute.Normalize，進行歸一化。歸一化的數據如下圖所示。

(b)調用特征選擇演算法（Select attributes），選擇關鍵特征。

選擇特征前，還要把數據中的2個string屬性的刪掉，才能使用CfsSubsetEval成功選擇特征

評價策略使用CfsSubsetEval，搜索方法使用BestFirst。
共有20個關鍵特征，分別為
BRAND_ID
AVG_3_CALL_DUR60
CUR_CALL_RATE
AVG_3_PTP_CNT
AVG_GNET_DATA
AVG_TNET_DATA
OTHER_10_INTELLIGENT_RATE
GEN_AMOUNT
INCREMENT_LLM_RATE
CUR_BALANCE
ONUSE_BALANCE
BINGDING_LEAVE_MONTH
PAD_CHNNL_CNT
CHNL_TYPE
CHANGE_INURE_DATE
IS_LIKE_INTELLIGENT
IS_LIKE_BRAND
TS_NET_CNT
JSTX_CNT
JSTX_DATA

(3)分別使用K均值（SimpleKMeans）、期望值最大化（EM）、層次聚類（HierarchicalClusterer）等演算法對數據進行聚類，記錄各演算法的聚類質量（sum of squared errors）與運行時間。

（a）K均值（SimpleKMeans）

聚類質量: 138999.20953835524
運行時間：1.18s

（b）期望值最大化（EM）

聚類質量:

運行時間：6892.63s

（c）層次聚類（HierarchicalClusterer）

爆了記憶體，暫時找不到解決方法。

聚類質量:
運行時間：

6.基於Weka的關聯規則分析

(1)讀取“配網搶修數據.csv”，作為原始數據。

讀取文件後，將一些對數據分析無用的屬性刪除，如：YMD（年月日）、REGION_ID（地區編號）

(2)數據預處理：

a)將數值型欄位規範化至[0,1]區間。

在Filter中選擇weka.filters.unsupervised.attribute.Normalize，進行歸一化。歸一化的數據如下圖所示。

b)調用特征選擇演算法（Select attributes），選擇關鍵特征。

評價策略使用CfsSubsetEval，搜索方法使用BestFirst。
得到三個關鍵特征，分別為HIGH_TEMP（開始氣溫）、MAX_VALUE（負荷最大值）和MIN_VALUE（負荷最小值）。

(3)使用Apriori演算法對數值型欄位進行關聯規則分析，記錄不同置信度（confidence）下演算法生成的規則集。

（a）置信度為0.9

  1. MAX_VALUE='(-inf-0.1]' 1718 ==> AVG_VALUE='(-inf-0.1]' 1718 conf:(1) lift:(1) lev:(0) [0] conv:(1)
  2. WIND_VELOCITY='(0.9-inf)' 1190 ==> MAX_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  3. WIND_VELOCITY='(0.9-inf)' 1190 ==> AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [0] conv:(0.69)
  4. WIND_VELOCITY='(0.9-inf)' AVG_VALUE='(-inf-0.1]' 1190 ==> MAX_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  5. WIND_VELOCITY='(0.9-inf)' MAX_VALUE='(-inf-0.1]' 1190 ==> AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [0] conv:(0.69)
  6. WIND_VELOCITY='(0.9-inf)' 1190 ==> MAX_VALUE='(-inf-0.1]' AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  7. MIN_VALUE='(0.2-0.3]' 913 ==> MAX_VALUE='(-inf-0.1]' 913 conf:(1) lift:(1) lev:(0) [1] conv:(1.06)
  8. MIN_VALUE='(0.2-0.3]' 913 ==> AVG_VALUE='(-inf-0.1]' 913 conf:(1) lift:(1) lev:(0) [0] conv:(0.53)
  9. MIN_VALUE='(0.2-0.3]' AVG_VALUE='(-inf-0.1]' 913 ==> MAX_VALUE='(-inf-0.1]' 913 conf:(1) lift:(1) lev:(0) [1] conv:(1.06)
  10. MAX_VALUE='(-inf-0.1]' MIN_VALUE='(0.2-0.3]' 913 ==> AVG_VALUE='(-inf-0.1]' 913 conf:(1) lift:(1) lev:(0) [0] conv:(0.53)

（b）置信度為0.6

  1. MAX_VALUE='(-inf-0.1]' 1718 ==> AVG_VALUE='(-inf-0.1]' 1718 conf:(1) lift:(1) lev:(0) [0] conv:(1)
  2. WIND_VELOCITY='(0.9-inf)' 1190 ==> MAX_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  3. WIND_VELOCITY='(0.9-inf)' 1190 ==> AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [0] conv:(0.69)
  4. WIND_VELOCITY='(0.9-inf)' AVG_VALUE='(-inf-0.1]' 1190 ==> MAX_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  5. WIND_VELOCITY='(0.9-inf)' MAX_VALUE='(-inf-0.1]' 1190 ==> AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [0] conv:(0.69)
  6. WIND_VELOCITY='(0.9-inf)' 1190 ==> MAX_VALUE='(-inf-0.1]' AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  7. AVG_VALUE='(-inf-0.1]' 1719 ==> MAX_VALUE='(-inf-0.1]' 1718 conf:(1) lift:(1) lev:(0) [0] conv:(1)
  8. MAX_VALUE='(-inf-0.1]' 1718 ==> WIND_VELOCITY='(0.9-inf)' 1190 conf:(0.69) lift:(1) lev:(0) [1] conv:(1)
  9. MAX_VALUE='(-inf-0.1]' AVG_VALUE='(-inf-0.1]' 1718 ==> WIND_VELOCITY='(0.9-inf)' 1190 conf:(0.69) lift:(1) lev:(0) [1] conv:(1)
  10. MAX_VALUE='(-inf-0.1]' 1718 ==> WIND_VELOCITY='(0.9-inf)' AVG_VALUE='(-inf-0.1]' 1190 conf:(0.69) lift:(1) lev:(0) [1] conv:(1)

（c）置信度為0.3

  1. MAX_VALUE='(-inf-0.1]' 1718 ==> AVG_VALUE='(-inf-0.1]' 1718 conf:(1) lift:(1) lev:(0) [0] conv:(1)
  2. WIND_VELOCITY='(0.9-inf)' 1190 ==> MAX_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  3. WIND_VELOCITY='(0.9-inf)' 1190 ==> AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [0] conv:(0.69)
  4. WIND_VELOCITY='(0.9-inf)' AVG_VALUE='(-inf-0.1]' 1190 ==> MAX_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  5. WIND_VELOCITY='(0.9-inf)' MAX_VALUE='(-inf-0.1]' 1190 ==> AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [0] conv:(0.69)
  6. WIND_VELOCITY='(0.9-inf)' 1190 ==> MAX_VALUE='(-inf-0.1]' AVG_VALUE='(-inf-0.1]' 1190 conf:(1) lift:(1) lev:(0) [1] conv:(1.38)
  7. AVG_VALUE='(-inf-0.1]' 1719 ==> MAX_VALUE='(-inf-0.1]' 1718 conf:(1) lift:(1) lev:(0) [0] conv:(1)
  8. MAX_VALUE='(-inf-0.1]' 1718 ==> WIND_VELOCITY='(0.9-inf)' 1190 conf:(0.69) lift:(1) lev:(0) [1] conv:(1)
  9. MAX_VALUE='(-inf-0.1]' AVG_VALUE='(-inf-0.1]' 1718 ==> WIND_VELOCITY='(0.9-inf)' 1190 conf:(0.69) lift:(1) lev:(0) [1] conv:(1)
  10. MAX_VALUE='(-inf-0.1]' 1718 ==> WIND_VELOCITY='(0.9-inf)' AVG_VALUE='(-inf-0.1]' 1190 conf:(0.69) lift:(1) lev:(0) [1] conv:(1)

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 如何使用VSCode發佈博客到博客園
    隨著markdown格式筆記的流行,現在很多程式員都開始使用markdown來編輯自己的博客.然而,博客園的markdown格式編輯器使用體驗真的一言難盡.不過幸好,在網上找到某個大神分享的VSCode擴展,這個擴展支持VSCode本地編寫博客並直接在博客園上保存博客草稿,非常的方便. ...
  • 設計模式中的那些工廠
    設計模式中的那些工廠 Intro 設計模式中有幾個工廠模式，聊一聊這幾個工廠模式的各自用法和使用示例，工廠模式包含簡單工廠，抽象工廠，工廠方法，這些均屬於創建型模式， 所謂創建型模式，就是說這幾個設計模式是用來創建對象的。 簡單工廠 首先來說一說，最簡單的簡單工廠 簡單工廠模式是由一個工廠對象決定創 ...
  • XAML(上)
    理解XAML XAML(extensible application markup language)發音為“zammel”，是用於實例化.net對象的標記語言。 XAML扮演的角色 對於WPF應用XAML不是必須的，編程人員可以在後端直接編寫代碼構建界面 基於XAML可以單獨實現在前臺編寫UI的功 ...
  • NetCore實現Transitional自定義註解事物
    之前實現了NetCore實現自定義IOC容器註入，在Controller使用事物的過程中思考是否能夠像Spring一樣通過自定義註解實現事物管理，思路圖如下 事物的動作拆分只需要根據當前執行線程劃分Connection對象並開啟事物即可，重點是在Emit代碼織入過程中對異常捕捉的處理 處理過程中主要 ...
  • 整理 Linux下列出目錄內容的命令
    在 Linux 中，有非常多的命令可以讓我們用來執行各種各樣的任務。當我們想要像使用文件瀏覽器一樣列出一個目錄下的內容時，大家第一時間想到的是 ls 命令。但只有 ls 命令能實現這個目的嗎？顯然不是。 下麵，良許就給大家介紹Linux下列出目錄內容的一些命令，一起來看看吧。 ls Linux 中最 ...
  • 008.Nginx靜態資源
    一 Nginx靜態資源概述 1.1 靜態資源類型 Nginx作為靜態資源Web伺服器部署配置, 傳輸非常高效, 常常用於靜態資源處理，請求以及動靜分離。通常非伺服器動態運行生成的文件屬於靜態資源。 類型 種類 瀏覽器端渲染 HTML、CSS、JS 圖片 JPEG、GIF、PNG 視頻 FLV、MP4 ...
  • Failed to start nginx - high performance web server.
    報這個錯，我們可以去查看錯誤日誌，進入如下目錄 錯誤信息如下： 解決辦法，在/data/下創建 wwwlogs目錄，重啟nginx即可 systemctl restart nginx 成功啟動！！！ ...
  • docker基礎：管理命令
    容器是一種清理級、可移植、自包含的軟體打包技術，使應用程式可以在幾乎任何地方以相同的方式運行。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類