數據探索是對樣本數據進行解釋性的分析工作，它是數據挖掘和機器學習較為前期的部分，更偏重於研究數據的本質、描述數據的形態特征並解釋數據的相關性。 換句話說，透過數據探索，我們應該可以回答如下問題： 樣本數據的分佈怎樣？有什麼特點？數據之間有何種關係？數據是否滿足建模要求？ 問題驅動發展，對以上問題進行 ...
數據探索是對樣本數據進行解釋性的分析工作，它是數據挖掘和機器學習較為前期的部分，更偏重於研究數據的本質、描述數據的形態特征並解釋數據的相關性。
換句話說，透過數據探索，我們應該可以回答如下問題：
樣本數據的分佈怎樣？有什麼特點？數據之間有何種關係？數據是否滿足建模要求？
問題驅動發展，對以上問題進行解答，涉及到數據探索的兩個方面工作：
數據質量分析
數據特征分析
需要提及的是，數據探索與數據預處理緊密相連的，二者在數據挖掘的中沒有絕對的先後次序。比如，在數據質量分析中，就牽涉到數據預處理中的數據清洗。
本文將主要介紹數據質量分析的相關工作。
數據質量分析
數據質量分析的主要任務是檢查原始數據中是否存在臟數據，臟數據一般是指不符合要求，臟數據包括以下方面：
1 缺失值
2 異常值
3 不一致的值
4 重覆數據以及含有特殊符號（如#、￥、*）的數據
對於第四種數據，理解起來比較簡單，處理也很容易，因此主要針對前三種數據進行分析，至於處理手段，所用到的方法是數據預處理中的數據清洗內容。
1 缺失值
數據的缺失主要包括記錄的缺失和記錄中某個欄位信息的缺失，兩者都會造成分析結果的不准確。
（1）缺失值產生原因
1）有些信息暫時無法獲取，或者獲取代價太大。
2）有些信息被遺漏。可能是忘記填寫或對數據理解錯誤等因素，也可能是由於數據採集設備的故障造成。
3）屬性值不存在。在某些情況下，對一些對象來說某些屬性值不存在的，如一個未婚者的配偶姓名、一個兒童的固定收入等。
（2）缺失值處理方式
1）刪除元組
將存在遺漏信息屬性值的對象（記錄）刪除，從而得到一個完備的信息表。這種方法在對象有多個屬性缺失值、被刪除的含缺失值的對象與信息表中的數據量相比非常小的情況下是非常有效的。然而這種方法丟棄了大量隱藏在這些對象中的信息。在信息表中對象很少的情況下會影響到結果的正確性，可能導致數據發生偏離，從而引出錯誤的結論。
2）數據填補
數據挖掘中常用的有以下幾種補齊方法：
特殊值填充、平均值填充、就近補齊
使用演算法對缺失值進行估計，包括K最近鄰法、回歸、期望值最大化方法
3）不處理
這種方式對模型有特定要求，需要模型能夠處理缺失值。
2 異常值
異常值是指樣本中的個別值，其數據明顯偏離其餘的觀測值。異常值也稱為離群點，異常值的分析也稱為離群點分析。
（1）異常值發現
1）簡單計量分析
可以先對變數做一個描述性統計，進而查看哪些數據是不合理的。最常用的統計量是最大值和最小值，用來判斷這個變數的取值是否超出了合理的範圍。如客戶年齡的最大值為199歲，則該變數的取值存在異常。
2）3σ原則
如果數據服從正態分佈，在3σ原則下，異常值被定義為一組測定值中與平均值的偏差超過3倍標準差的值。在正態分佈的假設下，距離平均值3σ之外的值出現的概率為P(|x-μ|>3σ)≤0.003，屬於極個別小概率事件。
如果數據不服從正態分佈，也可以用遠離平均值的多少倍標準差來描述。
3）箱型圖分析
箱型圖提供了識別異常值的一個標準：異常值通常被定義為小於QL-1.5IQR或大於Qu+1.5IQR的值。QL成為下四分位數，表示全部觀察值中有四分之的數據取值比它小；Qu稱為上四分位數，表示全部觀察值中有四分之一的數據取值比它大；IQR稱為四分位數間距，是上四分位數與下四分位數之差，其間包含了全部觀察值的一半。
（2）異常值處理方式
異常值的處理與缺失值類似，簡要如下：
1）刪除含有異常值的記錄
2）將異常值視為缺失值，使用缺失值處理方法來處理
3）不處理
3 一致性
數據不一致性是指數據的矛盾性、不相容性等。
在數據挖掘過程中，不一致數據的產生主要發生在數據集成過程中，這可能是由於從不同的數據源、對於重新存放的數據未能進行一致性造成的。例如，兩張表中都存儲了用戶的電話號碼，但在用戶的電話號碼發生改變時只更新了一張表中的數據，那麼這兩張表中就有了不一致的數據。
