在數據分析當中的東西還是很多的,我在這裡只是啟髮式的介紹一下,瞭解到這方面的東西之後,使用的時候可以更快的找到解決辦法,希望能對大家有所幫助。 這次,依然是使用的sklearn中的iris數據集,對其進行通過熱圖來展示。 預處理 sklearn.preprocessing是機器學習庫中預處理的模塊, ...
在數據分析當中的東西還是很多的,我在這裡只是啟髮式的介紹一下,瞭解到這方面的東西之後,使用的時候可以更快的找到解決辦法,希望能對大家有所幫助。
這次,依然是使用的sklearn中的iris數據集,對其進行通過熱圖來展示。
預處理
sklearn.preprocessing是機器學習庫中預處理的模塊,可以對數據進行標準化處理,正則化等等,根據需求來使用。在這裡利用它的標準化方法對數據進行整理。其他的方法可以自行查詢。
- Standardization標準化:將特征數據的分佈調整成標準正態分佈,也叫高斯分佈,也就是使得數據的均值為0,方差為1。
- 標準化的原因在於如果有些特征的方差過大,則會主導目標函數從而使參數估計器無法正確地去學習其他特征。
- 標準化的過程為兩步:去均值的中心化(均值變為0);方差的規模化(方差變為1)。
- 在sklearn.preprocessing中提供了一個scale的方法,可以實現以上功能。
下麵舉個例子來看一下:
1 from sklearn import preprocessing
2 import numpy as np
3
4 # 創建一組特征數據,每一行表示一個樣本,每一列表示一個特征
5 xx = np.array([[1., -1., 2.],
6 [2., 0., 0.],
7 [0., 1., -1.]])
8
9 # 將每一列特征標準化為標準正太分佈,註意,標準化是針對每一列而言的
10 xx_scale = preprocessing.scale(xx)
11
12 xx_scale
經過對每列數據進行標準化處理之後的結果是:
array([[ 0. , -1.22474487, 1.33630621],
[ 1.22474487, 0. , -0.26726124],
[-1.22474487, 1.22474487, -1.06904497]])
可以看到,裡面的數據發生了變化,數值比較小,也許有人可以一眼看出來,看不出來也沒有關係,Python可以很方便的計算他們的一些統計量。
1 # 測試一下xx_scale每列的均值方差
2 print('均值:', xx_scale.mean(axis=0)) # axis=0指列,axis=1指行
3 print('方差:', xx_scale.std(axis=0))
上面已經介紹了標準化的是要將它轉換成什麼樣,結果的確吻合,按列求均值和方差的結果為:
均值: [0. 0. 0.]
方差: [1. 1. 1.]
當然對於標準化其方差和均值也不是一定要一起進行,比如有時候僅僅希望利於其中一個方法,也是有辦法的:
- with_mean,with_std.這兩個都是布爾型的參數,預設情況下都是true,但也可以自定義成false.即不要均值中心化或者不要方差規模化為1.
熱圖
關於熱圖在這裡只簡單提一下,因為網上關於它的資料已經很多很詳細了。
在熱圖中,數據以矩陣的形式存在,屬性範圍用顏色的漸變來表示,在這裡,使用pcolor繪製熱圖。
小慄子
還是從導庫開始,然後載入數據集,對數據進行處理,然後繪製圖像,並對圖像做一些標註裝飾等等。我習慣在代碼中做註釋,如果有不明白的,可以留言,我會及時回覆。
1 # 導入後續所需要的庫
2 from sklearn.datasets import load_iris
3 from sklearn.preprocessing import scale
4 import numpy as np
5 import matplotlib.pyplot as plt
6
7 # 載入數據集
8 data = load_iris()
9 x = data['data']
10 y = data['target']
11 col_names = data['feature_names']
12
13 # 數據預處理
14 # 根據平均值對數據進行縮放
15 x = scale(x, with_std=False)
16 x_ = x[1:26,] # 選取其中25組數據
17 y_labels = range(1, 26)
18
19 # 繪製熱圖
20 plt.close('all')
21 plt.figure(1)
22 fig, ax = plt.subplots()
23 ax.pcolor(x_, cmap=plt.cm.Greens, edgecolors='k')
24 ax.set_xticks(np.arange(0, x_.shape[1])+0.5) # 設置橫縱坐標
25 ax.set_yticks(np.arange(0, x_.shape[0])+0.5)
26 ax.xaxis.tick_top() # x軸提示顯示在圖形上方
27 ax.yaxis.tick_left() # y軸提示顯示在圖形的左側
28 ax.set_xticklabels(col_names, minor=False, fontsize=10) # 傳遞標簽數據
29 ax.set_yticklabels(y_labels, minor=False, fontsize=10)
30 plt.show()
那麼繪製出的圖像是什麼樣子的呢:
上面簡單的幾步就把這些數據繪製出直觀的圖像,當然,在真正使用的時候不會這麼簡單,還需要多擴充知識。