【scikit-learn基礎】--『預處理』之 數據縮放

来源:https://www.cnblogs.com/wang_yb/archive/2023/12/15/17902620.html
-Advertisement-
Play Games

數據的預處理是數據分析,或者機器學習訓練前的重要步驟。通過數據預處理,可以 提高數據質量,處理數據的缺失值、異常值和重覆值等問題,增加數據的準確性和可靠性 整合不同數據,數據的來源和結構可能多種多樣,分析和訓練前要整合成一個數據集 提高數據性能,對數據的值進行變換,規約等(比如無量綱化),讓演算法更加 ...


數據的預處理是數據分析,或者機器學習訓練前的重要步驟。
通過數據預處理,可以

  • 提高數據質量,處理數據的缺失值、異常值和重覆值等問題,增加數據的準確性和可靠性
  • 整合不同數據,數據的來源和結構可能多種多樣,分析和訓練前要整合成一個數據集
  • 提高數據性能,對數據的值進行變換,規約等(比如無量綱化),讓演算法更加高效

本篇介紹的數據縮放處理,主要目的是消除數據的不同特征之間的量綱差異,使得每個特征的數值範圍相同。這樣可以避免某些特征對模型的影響過大,從而提高模型的性能。

1. 原理

數據縮放有多種方式,其中有一種按照最小值-最大值縮放的演算法是最常用的。
其主要步驟如下:

  1. 計算數據列的最小值(min)和最大值(max
  2. 對數據列中的每個值進行最小-最大縮放,即將其轉換為 **[0,1]區間 **之內的一個值

縮放公式為:\(new\_data = \frac{data -min}{max-min}\)

實現縮放的代碼如下:

# 數據縮放的實現原理

data = np.array([10, 20, 30, 40, 50])
min = np.min(data)
max = np.max(data)

data_new = (data - min) / (max-min)

print("處理前: {}".format(data))
print("處理後: {}".format(data_new))

# 運行結果
處理前: [10 20 30 40 50]
處理後: [0.   0.25 0.5  0.75 1.  ]

數值被縮放到 **[0,1]區間 **之內。
這個示例只是為了演示縮放的過程,實際場景中最好使用scikit-learn庫中的函數。

scikit-learn中的minmax_scale函數是封裝好的數據縮放函數。

from sklearn import preprocessing as pp

data = np.array([10, 20, 30, 40, 50])
pp.minmax_scale(data, feature_range=(0, 1))

# 運行結果
array([0.  , 0.25, 0.5 , 0.75, 1.  ])

使用scikit-learn中的minmax_scale函數得到的結果是一樣的,數據也被壓縮到 **[0,1]區間 **之內。
所以 數據縮放 的這個操作有時也被稱為歸一化

不過,數據縮放不一定非得把數據壓縮到 **[0,1]區間 **之內,
通過調整feature_range參數,可以把數據壓縮到任意的區間。

# 壓縮到[0, 1]
print(pp.minmax_scale(data, feature_range=(0, 1)))

# 壓縮到[-1, 1]
print(pp.minmax_scale(data, feature_range=(-1, 1)))

# 壓縮到[0, 5]
print(pp.minmax_scale(data, feature_range=(0, 5)))

# 運行結果
[0.   0.25 0.5  0.75 1.  ]
[-1.  -0.5  0.   0.5  1. ]
[0.   1.25 2.5  3.75 5.  ]

2. 作用

數據縮放的作用主要有:

2.1. 統一數據尺度

通過縮放處理,將不同量綱、不同尺度、不同單位的數據轉換成一個統一的尺度,
避免由於數據量綱不一致而導致的數據分析結果失真或誤導。

2.2. 增強數據可比性

通過縮放處理,將不同量綱、不同尺度、不同單位的數據轉換成一個統一的尺度,使得不同數據之間的比較更加方便和有意義。
例如,在評價多個樣本的性能時,如果採用不同的量綱、不同尺度、不同單位進行比較,會導致比較結果不准確甚至誤導。
通過統一的縮放處理之後,可以消除這種影響,使得比較結果更加準確可信。

2.3. 增強數據穩定性

通過縮放處理,將數據的數值範圍調整到一個相對較小的區間內,
增加數據的穩定性,避免由於數據分佈範圍過大或過小而導致的分析誤差或計算誤差。

2.4. 提高演算法效率和精度

通過縮放處理,使得一些計算演算法的效率和精度得到提高。
例如,在神經網路演算法中,如果輸入數據的尺度過大或過小,會導致演算法訓練時間過長或過短,同時也會影響演算法的精度和穩定性。
而縮放處理之後,就可以使演算法的訓練時間和精度得到優化。

3. 總結

scikit-learn庫中,處理數據縮放不是只有上面的最小值-最大值縮放
還可用StandardScaler進行標準化縮放;用RobustScaler實現尺度縮放和平移等等。

進行數據縮放時,需要註意一點,就是縮放處理對異常值非常敏感,
如果數據中存在極大或者極小的異常值時,有可能會破壞原始數據本身。
所以,縮放處理前,最好把異常值過濾掉。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C-07.單行函數 1.函數的理解 1.1 什麼是函數 函數在電腦語言中的使用貫穿始終,函數的作用是什麼呢?它可以把我們經常使用的代碼封裝起來,需要的時候直接調用即可。這樣即提高了代碼效率,又提高了可維護性。在SQL中我們也可以使用函數對檢索出的數據進行函數操作。使用這函數,可以極大地提高用戶對數 ...
  • 5 收集聯繫信息流程 為發送通知,需收集各種信息如移動設備令牌、email、phone和第三方通道信息。 用於存儲聯繫信息的簡化的資料庫表模式。它是個帶有電子郵件、電話、設備令牌和外部通道的單個NoSQL DynamoDB表。Contacts table schema: device_tokens ...
  • 二一、函數(四) 1、推斷函數模板返回類型 1)引:將以下函數改寫為一個函數模板 int ave(int a,int b) { return (a+b)/2; } int ave(float a,fint b) { return (a+b)/2; } double ave(int a,float b ...
  • 在過去的幾十年的職業生涯中,我觀察到許多同事在技術方面取得了顯著的進步和能力提升。然而,隨著時間的推移,他們似乎逐漸遇到了一個發展的瓶頸。儘管大家都渴望以最快的速度提升自己的技能水平,但他們忽視了一個關鍵的因素,那就是內功修煉。 是的,我相信大家都知道我們所說的內功心法指的是《設計模式》。接下來,我 ...
  • Qt 是一個跨平臺C++圖形界面開發庫,利用Qt可以快速開發跨平臺窗體應用程式,在Qt中我們可以通過拖拽的方式將不同組件放到指定的位置,實現圖形化開發極大的方便了開發效率,本章將重點介紹`QDateTime`日期與時間組件的常用方法及靈活運用。在Qt中,日期和時間的處理通常使用 `QDateTime... ...
  • 背景:供應商程式導出的文件是xls格式的,我需要使用Power Query將這些文件合併整理,但是目前沒有找到可以打卡xls文件的代碼,所以將xls文件轉化為xlsx文件後再使用Power Query進行處理。 思路: 1. 網上找到了將xls文件轉化為xlsx文件的代碼,將這個代碼定義為一個函數去 ...
  • ProgressBar(進度條)是在Qt中常用的用戶界面組件之一,用於顯示任務的完成進度。它通常以一個水平或垂直的條形圖形式展示,表示任務已完成的比例。進度條組件提供了一種直觀的方式來顯示任務的進度,讓用戶清晰地瞭解任務的完成情況。其還可根據需要在水平或垂直方向上顯示,以適應不同的界面佈局。 ...
  • 日常業務開發過程中,可能第三方的伺服器分佈在世界的各個角落,所以請求三方介面的時候,難免會遇到一些網路問題,這時候需要加入重試機制了,這期就給大家分享幾個介面重試的寫法。 重試機制實現 1. 迴圈重試 這是最簡單也最直接的一種方式。在請求介面的代碼塊中加入迴圈,如果請求失敗則繼續請求,直到請求成功或 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...