在實際應用中，數據集中經常會存在缺失值，也就是某些數據項的值並未填充或者填充不完整。缺失值的存在可能會對後續的數據分析和建模產生影響，因此需要進行處理。 `pandas`提供了多種方法來處理缺失值，例如刪除缺失值、填充缺失值等。刪除缺失值可能會導致數據量減少，填充缺失值則能夠儘量保留原始數據集的完整 ...
在實際應用中，數據集中經常會存在缺失值，也就是某些數據項的值並未填充或者填充不完整。
缺失值的存在可能會對後續的數據分析和建模產生影響，因此需要進行處理。
pandas提供了多種方法來處理缺失值，例如刪除缺失值、填充缺失值等。
刪除缺失值可能會導致數據量減少，填充缺失值則能夠儘量保留原始數據集的完整性，從而提高數據分析和建模的準確性和可靠性。
當數據集中存在缺失值時，我們通常需要進行以下操作：
- 檢查缺失值的數量和分佈情況，瞭解缺失值對數據的影響程度。
- 根據數據的類型和業務需求，選擇合適的缺失值處理方法，並對缺失值進行處理。
- 在處理缺失值的同時，要註意保持數據集的一致性和完整性。
- 處理完缺失值後，可以進行後續的數據分析和建模，從而得出更準確和可靠的結論。
1. 缺失值統計
首先我們隨機創建一個包含缺失值的測試數據集，這裡用到之前介紹過的創建測試數據的技巧。
import pandas as pd
def get_random_missing_data():
df = pd.util.testing.makeMissingDataframe()
return df[df.isna().any(axis=1)]
df = get_random_missing_data()
df
這裡我封裝了一個簡單的函數get_random_missing_data，通過這個函數，可以創建一個每行至少有一個缺失值的數據集。
註意：這是隨機創建的數據集，所以每次運行的結果會不一樣。
統計缺失值很簡單，首先通過isna函數找出所有缺失的值，然後可以使用sum或者mean來統計缺失的數量和比例。
df.isna().sum()
sum函數返回的是每一列缺失值的數量。
df.isna().mean()
mean函數返回的值可以看做每一列缺失值占的比例。
2. 刪除缺失值
處理缺失值時，有些場景為了保證數據的完整性，只能刪掉有缺失的數據。
刪除缺失值有2個重要的參數：how 和 axis。
how有2個可選值：
- any：這是預設值，表示行數據或者列數據中有一個缺失值，就刪除此行或此列
- all：表示行數據或者列數據中所有值都缺失時，才刪除此行或此列
axis也有2個可選值：
- 0 或 index：按行判斷是否有缺失值
- 1 或 columns：按列判斷是否有缺失值
how="any"，axis=0的情況：每行數據中只要有一個缺失值就刪除該行。
df = pd.DataFrame(
{
"A": [1, 2, 3, np.nan],
"B": [1, np.nan, 3, 4],
"C": [1, 2, np.nan, 4],
"D": [1, 2, 3, 4],
}
)
df.dropna(how="any", axis=0)
how="all"，axis=0的情況：每行數據中，全部值都缺失的行才刪除。
df = pd.DataFrame(
{
"A": [1, np.nan, 3, np.nan],
"B": [1, np.nan, 3, 4],
"C": [1, np.nan, np.nan, 4],
"D": [1, np.nan, 3, 4],
}
)
df.dropna(how="all", axis=0)
how="any"，axis=1的情況：每列數據中只要有一個缺失值就刪除該列。
df = pd.DataFrame(
{
"A": [1, 2, 3, np.nan],
"B": [1, np.nan, 3, 4],
"C": [1, 2, np.nan, 4],
"D": [1, 2, 3, 4],
}
)
df.dropna(how="any", axis=1)
how="all"，axis=1的情況：每列數據中,全部值都缺失的列才刪除。
df = pd.DataFrame(
{
"A": [np.nan, np.nan, np.nan, np.nan],
"B": [1, np.nan, 3, 4],
"C": [1, 2, np.nan, 4],
"D": [1, np.nan, 3, 4],
}
)
df.dropna(how="all", axis=1)
3. 填充缺失值
填充缺失值一般使用fillna函數指定填充什麼樣的值。
比如：
df = pd.DataFrame(
{
"A": [1, 2, 3, np.nan],
"B": [1, np.nan, 3, 4],
"C": [1, 2, np.nan, 4],
"D": [1, 2, 3, 4],
}
)
df.fillna(-1)
這裡是用 -1 來填充的，根據實際情況可以使用任意合適的值來填充。
除了 fillna 函數之外，還有一個interpolate函數，能夠更加合理的填充缺失值。
df = pd.DataFrame(
{
"A": [1, 3, 4, np.nan],
"B": [2, np.nan, 2, 4],
"C": [3, 3, np.nan, 3],
"D": [4, 1, np.nan, 4],
}
)
df.interpolate()
每個缺失值都是它上下兩行的值的平均值。
如果只有上面行的值，那就直接用上面行的值。
這裡有個註意的地方：如果是第一行有缺失的話，那麼是無法填充的。
比如：
df = pd.DataFrame(
{
"A": [np.nan, 3, np.nan, np.nan],
"B": [2, np.nan, 2, 4],
"C": [3, 3, np.nan, 3],
"D": [4, 1, np.nan, 4],
}
)
df.interpolate()
第一行的缺失值沒有上一行可以參照，還是維持原來缺失的狀態。
所以使用 interpolate 進行填充時，註意第一行的缺失值狀態，可以用 fillna 先處理第一行。
