1.3預處理與熱圖

来源:https://www.cnblogs.com/yudanqu/archive/2018/10/11/9770607.html
-Advertisement-
Play Games

在數據分析當中的東西還是很多的,我在這裡只是啟髮式的介紹一下,瞭解到這方面的東西之後,使用的時候可以更快的找到解決辦法,希望能對大家有所幫助。 這次,依然是使用的sklearn中的iris數據集,對其進行通過熱圖來展示。 預處理 sklearn.preprocessing是機器學習庫中預處理的模塊, ...


  在數據分析當中的東西還是很多的,我在這裡只是啟髮式的介紹一下,瞭解到這方面的東西之後,使用的時候可以更快的找到解決辦法,希望能對大家有所幫助。

  這次,依然是使用的sklearn中的iris數據集,對其進行通過熱圖來展示。

  預處理

  sklearn.preprocessing是機器學習庫中預處理的模塊,可以對數據進行標準化處理,正則化等等,根據需求來使用。在這裡利用它的標準化方法對數據進行整理。其他的方法可以自行查詢。


  • Standardization標準化:將特征數據的分佈調整成標準正態分佈,也叫高斯分佈,也就是使得數據的均值為0,方差為1。
  • 標準化的原因在於如果有些特征的方差過大,則會主導目標函數從而使參數估計器無法正確地去學習其他特征。
  • 標準化的過程為兩步:去均值的中心化(均值變為0);方差的規模化(方差變為1)。
  • 在sklearn.preprocessing中提供了一個scale的方法,可以實現以上功能。

  下麵舉個例子來看一下:

 1 from sklearn import preprocessing
 2 import numpy as np
 3 
 4 # 創建一組特征數據,每一行表示一個樣本,每一列表示一個特征
 5 xx = np.array([[1., -1., 2.],
 6               [2., 0., 0.],
 7               [0., 1., -1.]])
 8 
 9 # 將每一列特征標準化為標準正太分佈,註意,標準化是針對每一列而言的
10 xx_scale = preprocessing.scale(xx)
11 
12 xx_scale

  經過對每列數據進行標準化處理之後的結果是:

array([[ 0.        , -1.22474487,  1.33630621],
       [ 1.22474487,  0.        , -0.26726124],
       [-1.22474487,  1.22474487, -1.06904497]])

  可以看到,裡面的數據發生了變化,數值比較小,也許有人可以一眼看出來,看不出來也沒有關係,Python可以很方便的計算他們的一些統計量。

1 # 測試一下xx_scale每列的均值方差
2 print('均值:', xx_scale.mean(axis=0))  # axis=0指列,axis=1指行
3 print('方差:', xx_scale.std(axis=0))

  上面已經介紹了標準化的是要將它轉換成什麼樣,結果的確吻合,按列求均值和方差的結果為:

均值: [0. 0. 0.]
方差: [1. 1. 1.]

  當然對於標準化其方差和均值也不是一定要一起進行,比如有時候僅僅希望利於其中一個方法,也是有辦法的:

  • with_mean,with_std.這兩個都是布爾型的參數,預設情況下都是true,但也可以自定義成false.即不要均值中心化或者不要方差規模化為1.

  熱圖

  關於熱圖在這裡只簡單提一下,因為網上關於它的資料已經很多很詳細了。

  在熱圖中,數據以矩陣的形式存在,屬性範圍用顏色的漸變來表示,在這裡,使用pcolor繪製熱圖。

  小慄子

  還是從導庫開始,然後載入數據集,對數據進行處理,然後繪製圖像,並對圖像做一些標註裝飾等等。我習慣在代碼中做註釋,如果有不明白的,可以留言,我會及時回覆。

 1 # 導入後續所需要的庫
 2 from sklearn.datasets import load_iris
 3 from sklearn.preprocessing import scale
 4 import numpy as np
 5 import matplotlib.pyplot as plt
 6 
 7 # 載入數據集
 8 data = load_iris()
 9 x = data['data']
10 y = data['target']
11 col_names = data['feature_names']
12 
13 # 數據預處理
14 # 根據平均值對數據進行縮放
15 x = scale(x, with_std=False)
16 x_ = x[1:26,] # 選取其中25組數據
17 y_labels = range(1, 26)
18 
19 # 繪製熱圖
20 plt.close('all')
21 plt.figure(1)
22 fig, ax = plt.subplots()
23 ax.pcolor(x_, cmap=plt.cm.Greens, edgecolors='k')
24 ax.set_xticks(np.arange(0, x_.shape[1])+0.5) # 設置橫縱坐標
25 ax.set_yticks(np.arange(0, x_.shape[0])+0.5)
26 ax.xaxis.tick_top() # x軸提示顯示在圖形上方
27 ax.yaxis.tick_left() # y軸提示顯示在圖形的左側
28 ax.set_xticklabels(col_names, minor=False, fontsize=10) # 傳遞標簽數據
29 ax.set_yticklabels(y_labels, minor=False, fontsize=10)
30 plt.show()

  那麼繪製出的圖像是什麼樣子的呢:

  上面簡單的幾步就把這些數據繪製出直觀的圖像,當然,在真正使用的時候不會這麼簡單,還需要多擴充知識。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在前面,我們學習了標準文檔流,但在實際製作的過程中,用標準文檔流書寫顯然是不現實的,因此,我們來瞭解幾種脫離標準文檔流的方法: 1.float 浮動 float:left/right;(左浮/右浮) 效果:元素都加浮動,後面的元素緊跟前面的元素併排排列 第一個加了float,脫離了標準文檔流,對於瀏 ...
  • 安裝 新建一個文件夾 i18n ,內新建 en.js zh.js index.js 三個文件 準備翻譯信息 en.js zh.js index.js 創建Vue-i18n實例 i18n 掛載到 vue 根實例 main.js 簡單的使用 about.vue 註意: 比如說上面的hi 你要通過這種形式 ...
  • 在h5中實現一些小標簽、按鈕的時候,很容易發現部分安卓機型上的字體顯示有問題,總會向上偏移2px左右。這是設置padding或line-height無法修複的,與rem也無關,即使在字體大於12px時依然存在。下圖來自於網友的分享,從左到右依次是顯示正常的蘋果、顯示正常的安卓、顯示異常的安卓: 可能 ...
  • IndexedDB 瀏覽器資料庫,是一個非關係型資料庫,數據形式使用的是json,IndexedDB適合存儲大量數據,它的API是非同步調用的,當然他的api 也相對複雜。 當然瀏覽器數據存儲 還有LocalStorage,Cookies,web SQL等 為什麼還再來一個indexedDB。 之前我 ...
  • var date = new Date(); //Sat Sep 29 2018 10:44:43 GMT+0800 (中國標準時間) ]new Date().toLocaleString(); // 可根據本地時間把 Date 對象轉換為字元串,並返回結果。 "2018/9/29 上午10:45: ...
  • 這篇文章本來是想模塊導入導出和事件迴圈一起寫的,但是感覺一起寫的話會太長了,所以就分開兩篇文章寫吧。下一篇會重點介紹一下js中的事件迴圈,js代碼到底是以何種順序去執行的呢?我相信你看懂了事件迴圈再去看node對你的幫助是非常大的。 講模塊系統之前先認識一下node.js中的全局對象。 node.j ...
  • 教程所示圖片使用的是 github 倉庫圖片,網速過慢的朋友請移步 "《webpack4 系列教程(十二):處理第三方 JavaScript 庫》原文地址" 。或者來我的小站看更多內容: "godbmw.com" 0. 課程介紹和資料 " 本節課源碼" " 所有課程源碼" 本節課的代碼目錄如下: 本 ...
  • 商品,黃金交易流程最基礎、最核心的環節,無商品不電商。商品數據無處不在,商家(採銷、供應商)發佈管理、供應商下採購單、倉儲配送、促銷、搜索、商詳頁展現、購物支付、財務結算、售後服務等,都離不開商品。商品信息要準確傳導於京東整個供應鏈的各節點,必須要有一套穩健、可靠的商品服務體系支撐。 原本並沒有統一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...