[數據清洗]- Pandas 清洗“臟”數據（二）

概要瞭解數據分析數據問題清洗數據整合代碼瞭解數據在處理任何數據之前，我們的第一任務是理解數據以及數據是乾什麼用的。我們嘗試去理解數據的列/行、記錄、數據格式、語義錯誤、缺失的條目以及錯誤的格式，這樣我們就可以大概瞭解數據分析之前要做哪些“清理”工作。本次我們需要一個 patient_h ...

概要

瞭解數據
分析數據問題
清洗數據
整合代碼

瞭解數據

在處理任何數據之前，我們的第一任務是理解數據以及數據是乾什麼用的。我們嘗試去理解數據的列/行、記錄、數據格式、語義錯誤、缺失的條目以及錯誤的格式，這樣我們就可以大概瞭解數據分析之前要做哪些“清理”工作。

本次我們需要一個 patient_heart_rate.csv （鏈接：https://pan.baidu.com/s/1geX8oYf 密碼：odj0）的數據文件，這個數據很小，可以讓我們一目瞭然。這個數據是 csv 格式。數據是描述不同個體在不同時間的心跳情況。數據的列信息包括人的年齡、體重、性別和不同時間的心率。

import pandas as pd
df = pd.read_csv('../data/patient_heart_rate.csv')
df.head()

分析數據問題

沒有列頭
一個列有多個參數
列數據的單位不統一
缺失值
空行
重覆數據
非 ASCII 字元
有些列頭應該是數據，而不應該是列名參數

清洗數據

下麵我們就針對上面的問題一一擊破。

1. 沒有列頭

如果我們拿到的數據像上面的數據一樣沒有列頭，Pandas 在讀取 csv 提供了自定義列頭的參數。下麵我們就通過手動設置列頭參數來讀取 csv，代碼如下：

import pandas as pd
# 增加列頭
column_names= ['id', 'name', 'age', 'weight','m0006','m0612','m1218','f0006','f0612','f1218']
df = pd.read_csv('../data/patient_heart_rate.csv', names = column_names)
df.head()

上面的結果展示了我們自定義的列頭。我們只是在這次讀取 csv 的時候，多了傳了一個參數 names = column_names，這個就是告訴 Pandas 使用我們提供的列頭。

2. 一個列有多個參數

在數據中不難發現，Name 列包含了兩個參數 Firtname 和 Lastname。為了達到數據整潔目的，我們決定將 name 列拆分成 Firstname 和 Lastname

從技術角度，我們可以使用 split 方法，完成拆分工作。

我們使用 str.split(expand=True),將列表拆成新的列，再將原來的 Name 列刪除

# 切分名字，刪除源數據列
df[['first_name','last_name']] = df['name'].str.split(expand=True)
df.drop('name', axis=1, inplace=True)

上面就是執行執行代碼之後的結果。

3. 列數據的單位不統一

如果仔細觀察數據集可以發現 Weight 列的單位不統一。有的單位是 kgs，有的單位是 lbs

# 獲取 weight 數據列中單位為 lbs 的數據
rows_with_lbs = df['weight'].str.contains('lbs').fillna(False)
df[rows_with_lbs]

為瞭解決這個問題，將單位統一，我們將單位是 lbs 的數據轉換成 kgs。

# 將 lbs 的數據轉換為 kgs 數據

for i,lbs_row in df[rows_with_lbs].iterrows():
weight = int(float(lbs_row['weight'][:-3])/2.2)
df.at[i,'weight'] = '{}kgs'.format(weight)

4. 缺失值

在數據集中有些年齡、體重、心率是缺失的。我們又遇到了數據清洗最常見的問題——數據缺失。一般是因為沒有收集到這些信息。我們可以咨詢行業專家的意見。典型的處理缺失數據的方法：

刪：刪除數據缺失的記錄（數據清洗- Pandas 清洗“臟”數據（一）/[數據清洗]-Pandas 清洗“臟”數據（一））
贗品：使用合法的初始值替換，數值類型可以使用 0，字元串可以使用空字元串“”
均值：使用當前列的均值
高頻：使用當前列出現頻率最高的數據
源頭優化：如果能夠和數據收集團隊進行溝通，就共同排查問題，尋找解決方案。

5. 空行

仔細對比會發現我們的數據中一行空行，除了 index 之外，全部的值都是 NaN。

Pandas 的 read_csv() 並沒有可選參數來忽略空行，這樣，我們就需要在數據被讀入之後再使用 dropna() 進行處理，刪除空行.

# 刪除全空的行
df.dropna(how='all',inplace=True)

6. 重覆數據

有的時候數據集中會有一些重覆的數據。在我們的數據集中也添加了重覆的數據。

首先我們校驗一下是否存在重覆記錄。如果存在重覆記錄，就使用 Pandas 提供的 drop_duplicates() 來刪除重覆數據。

# 刪除重覆數據行
df.drop_duplicates(['first_name','last_name'],inplace=True)

7. 非 ASCII 字元

在數據集中 Fristname 和 Lastname 有一些非 ASCII 的字元。

處理非 ASCII 數據方式有多種

刪除
替換
僅僅提示一下

我們使用刪除的方式：

# 刪除非 ASCII 字元
df['first_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)
df['last_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)

8. 有些列頭應該是數據，而不應該是列名參數

有一些列頭是有性別和時間範圍組成的，這些數據有可能是在處理收集的過程中進行了行列轉換，或者收集器的固定命名規則。這些值應該被分解為性別（m,f），小時單位的時間範圍（00-06，06-12，12-18）

# 切分 sex_hour 列為 sex 列和 hour 列
sorted_columns = ['id','age','weight','first_name','last_name']
df = pd.melt(df,
id_vars=sorted_columns,var_name='sex_hour',value_name='puls_rate').sort_values(sorted_columns)
df[['sex','hour']] = df['sex_hour'].apply(lambda x:pd.Series(([x[:1],'{}-{}'.format(x[1:3],x[3:])])))[[0,1]]
df.drop('sex_hour', axis=1, inplace=True)

# 刪除沒有心率的數據
row_with_dashes = df['puls_rate'].str.contains('-').fillna(False)
df.drop(df[row_with_dashes].index,
inplace=True)

整合代碼

import pandas as pd
# 增加列頭
column_names= ['id', 'name', 'age', 'weight','m0006','m0612','m1218','f0006','f0612','f1218']
df = pd.read_csv('../data/patient_heart_rate.csv', names = column_names)

# 切分名字，刪除源數據列
df[['first_name','last_name']] = df['name'].str.split(expand=True)
df.drop('name', axis=1, inplace=True)

# 獲取 weight 數據列中單位為 lbs 的數據
rows_with_lbs = df['weight'].str.contains('lbs').fillna(False)
df[rows_with_lbs]

# 將 lbs 的數據轉換為 kgs 數據
for i,lbs_row in df[rows_with_lbs].iterrows():
weight = int(float(lbs_row['weight'][:-3])/2.2)
df.at[i,'weight'] = '{}kgs'.format(weight)
 
# 刪除全空的行
df.dropna(how='all',inplace=True)

# 刪除重覆數據行
df.drop_duplicates(['first_name','last_name'],inplace=True)

# 刪除非 ASCII 字元
df['first_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)
df['last_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)

# 切分 sex_hour 列為 sex 列和 hour 列
sorted_columns = ['id','age','weight','first_name','last_name']
df = pd.melt(df,
id_vars=sorted_columns,var_name='sex_hour',value_name='puls_rate').sort_values(sorted_columns)
df[['sex','hour']] = df['sex_hour'].apply(lambda x:pd.Series(([x[:1],'{}-{}'.format(x[1:3],x[3:])])))[[0,1]]
df.drop('sex_hour', axis=1, inplace=True)

# 刪除沒有心率的數據
row_with_dashes = df['puls_rate'].str.contains('-').fillna(False)
df.drop(df[row_with_dashes].index,
inplace=True)

# 重置索引，不做也沒關係，主要是為了看著美觀一點
df = df.reset_index(drop=True)
print(df)

還有一些問題在本例中沒有提及內容，下麵有兩個比較重要，也比較通用的問題：

日期的處理
字元編碼的問題

本次又介紹了一些關於 Pandas 清洗數據的技能。至少用這幾次介紹的處理方法，應該可以對數據做很多清洗工作。

更多關於數據清洗的內容可以關註知乎上的專欄“數據清洗”

知乎數據清洗- Pandas 清洗“臟”數據（二）