數據的預處理是數據分析,或者機器學習訓練前的重要步驟。通過數據預處理,可以 提高數據質量,處理數據的缺失值、異常值和重覆值等問題,增加數據的準確性和可靠性 整合不同數據,數據的來源和結構可能多種多樣,分析和訓練前要整合成一個數據集 提高數據性能,對數據的值進行變換,規約等(比如無量綱化),讓演算法更加 ...
數據的預處理是數據分析,或者機器學習訓練前的重要步驟。
通過數據預處理,可以
- 提高數據質量,處理數據的缺失值、異常值和重覆值等問題,增加數據的準確性和可靠性
- 整合不同數據,數據的來源和結構可能多種多樣,分析和訓練前要整合成一個數據集
- 提高數據性能,對數據的值進行變換,規約等(比如無量綱化),讓演算法更加高效
本篇介紹的數據縮放處理,主要目的是消除數據的不同特征之間的量綱差異,使得每個特征的數值範圍相同。這樣可以避免某些特征對模型的影響過大,從而提高模型的性能。
1. 原理
數據縮放有多種方式,其中有一種按照最小值-最大值縮放的演算法是最常用的。
其主要步驟如下:
- 計算數據列的最小值(
min
)和最大值(max
) - 對數據列中的每個值進行最小-最大縮放,即將其轉換為 **[0,1]區間 **之內的一個值
縮放公式為:\(new\_data = \frac{data -min}{max-min}\)
實現縮放的代碼如下:
# 數據縮放的實現原理
data = np.array([10, 20, 30, 40, 50])
min = np.min(data)
max = np.max(data)
data_new = (data - min) / (max-min)
print("處理前: {}".format(data))
print("處理後: {}".format(data_new))
# 運行結果
處理前: [10 20 30 40 50]
處理後: [0. 0.25 0.5 0.75 1. ]
數值被縮放到 **[0,1]區間 **之內。
這個示例只是為了演示縮放的過程,實際場景中最好使用scikit-learn
庫中的函數。
scikit-learn
中的minmax_scale
函數是封裝好的數據縮放函數。
from sklearn import preprocessing as pp
data = np.array([10, 20, 30, 40, 50])
pp.minmax_scale(data, feature_range=(0, 1))
# 運行結果
array([0. , 0.25, 0.5 , 0.75, 1. ])
使用scikit-learn
中的minmax_scale
函數得到的結果是一樣的,數據也被壓縮到 **[0,1]區間 **之內。
所以 數據縮放 的這個操作有時也被稱為歸一化。
不過,數據縮放不一定非得把數據壓縮到 **[0,1]區間 **之內,
通過調整feature_range
參數,可以把數據壓縮到任意的區間。
# 壓縮到[0, 1]
print(pp.minmax_scale(data, feature_range=(0, 1)))
# 壓縮到[-1, 1]
print(pp.minmax_scale(data, feature_range=(-1, 1)))
# 壓縮到[0, 5]
print(pp.minmax_scale(data, feature_range=(0, 5)))
# 運行結果
[0. 0.25 0.5 0.75 1. ]
[-1. -0.5 0. 0.5 1. ]
[0. 1.25 2.5 3.75 5. ]
2. 作用
數據縮放的作用主要有:
2.1. 統一數據尺度
通過縮放處理,將不同量綱、不同尺度、不同單位的數據轉換成一個統一的尺度,
避免由於數據量綱不一致而導致的數據分析結果失真或誤導。
2.2. 增強數據可比性
通過縮放處理,將不同量綱、不同尺度、不同單位的數據轉換成一個統一的尺度,使得不同數據之間的比較更加方便和有意義。
例如,在評價多個樣本的性能時,如果採用不同的量綱、不同尺度、不同單位進行比較,會導致比較結果不准確甚至誤導。
通過統一的縮放處理之後,可以消除這種影響,使得比較結果更加準確可信。
2.3. 增強數據穩定性
通過縮放處理,將數據的數值範圍調整到一個相對較小的區間內,
增加數據的穩定性,避免由於數據分佈範圍過大或過小而導致的分析誤差或計算誤差。
2.4. 提高演算法效率和精度
通過縮放處理,使得一些計算演算法的效率和精度得到提高。
例如,在神經網路演算法中,如果輸入數據的尺度過大或過小,會導致演算法訓練時間過長或過短,同時也會影響演算法的精度和穩定性。
而縮放處理之後,就可以使演算法的訓練時間和精度得到優化。
3. 總結
在scikit-learn
庫中,處理數據縮放不是只有上面的最小值-最大值縮放,
還可用StandardScaler
進行標準化縮放;用RobustScaler
實現尺度縮放和平移等等。
進行數據縮放時,需要註意一點,就是縮放處理對異常值非常敏感,
如果數據中存在極大或者極小的異常值時,有可能會破壞原始數據本身。
所以,縮放處理前,最好把異常值過濾掉。