Pandas基礎知識隨筆

#!/usr/bin/python3
# -*- coding: UTF-8 -*-
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


def main():
    # 創建一個列表Series,pandas會創建整形指標

    s = pd.Series([1, 2, 3, np.nan, 6, 8])
    print(s)

    # 通過傳遞數據字相同的數組，時間索引，列標簽創建DataFrame

    dates = pd.date_range('20130101', periods=6)
    print(dates)

    # 上下文聯繫

    df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
    print(df)

    # 字典模式
    df2 = pd.DataFrame({
        'A': 1.,
        'B': pd.Timestamp('20130102'),
        'C': pd.Series(1, index=list(range(4)), dtype='float32'),
        'D': np.array([3] * 4, dtype='int32'),
        'E': pd.Categorical(["test", "train", "test", "train"]),
        'F': 'foo'})
    print(df2)

    # 查看格列dtype
    print(df2.dtypes)

    ###第二部分查看所有基本功能
    # 頭
    print(df.head())

    # 尾
    print(df.tail(3))

    # 查看索引，列和數組數據
    print(df.index)

    # 查看列
    print(df.columns)

    # 查看值
    print(df.values)

    # 查看數據快速統計
    print(df.describe())

    # 對數據列轉換
    print(df.T)

    # 按照行排序
    print(df.sort_index(axis=1, ascending=False))

    # 按照值排序
    print(df.sort_values(by='B'))

    # 選擇數據 標準Python/Numpy 表達式直觀可用

    # 獲取 選擇一列返回Series
    print(df['A'])

    # 通過[]選擇 進行切片
    print(df[0:3])

    # 標簽選擇，通過標簽獲取交叉區域
    print(df.loc[dates[0]])

    # 通過標簽獲取更多的數據
    print(df.loc[:, ['A', 'B']])

    # 標簽切片
    print(df.loc['20130102':'20130104', ['A', 'B']])

    # 返回對象縮減維度
    df.loc['20130102', ['A', 'B']]

    # 獲取單個值
    print(df.loc[dates[0], 'A'])

    # 快速訪問單個標量
    print(df.at[dates[0], 'A'])

    # loc 和 iloc 的區別 loc按標簽搜索，iloc按索搜索
    print(df.iloc[3])

    # 通過數值切片 左開右閉
    print(df.iloc[3:5, 0:2])

    # 通過指定表位置
    print(df.iloc[[1, 2, 4], [0, 2]])

    # 對行切片
    print(df.iloc[1:3, :])

    # 對列切片
    print(df.iloc[:, 1:3])

    # 獲取特定值
    print(df.iloc[1, 1])

    # 通過某；列選擇數據
    print(df[df.A > 0])

    # 通過where選擇數據
    print(df[df > 0])

    # 通過isin()過濾數據
    df2 = df.copy()
    df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
    print(df2)

    print(df2[df2['E'].isin(['two', 'four'])])

    # 通過標簽更新值
    df.at[dates[0], 'A'] = 0

    # 通過位置更新值
    df.iat[0, 1] = 0

    # 通過數組更新值
    df.loc[:, 'D'] = np.array([5] * len(df))

    print(df)

    # 通過where更新值
    df2 = df.copy()
    df2[df2 > 0] = -df2
    print(df2)

    # 缺失數據處理reindex()可以修改/增加/刪除索引，會返回一個數據的副本:
    df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
    df1.loc[dates[0]:dates[1], 'E'] = 1
    print(df1)

    # d丟掉缺失行
    print(df1.dropna(how='any'))

    # 對缺失行 賦值
    print(df1.fillna(value=5))

    # 對缺失的布爾值賦值
    print(pd.isnull(df1))

    # 平均值
    print(df.mean())

    # 按照行求均值
    print(df.mean(axis=1))

    # 操作不同維護需要對齊，pandas 會沿著指定維度執行
    s = pd.Series([1, 2, 5, np.nan, 6, 8], index=dates).shift(2)
    print(s)
    print(df.sub(s, axis='index'))

    """
    註:
    這裡對齊維度指的對齊時間index
    shift(2)指沿著時間軸將數據順移兩位
    sub指減法，與NaN進行操作，結果也是NaN

    """
    # 應用
    # 對數據應用function 註: - cumsum 累加

    print(df.apply(np.cumsum))
    print(df.apply(lambda x: x.max() - x.min()))

    # 直方圖
    s = pd.Series(np.random.randint(0, 7, size=10))
    print(s)

    # j計數
    print(s.value_counts())

    # 支持字元串
    s = pd.Series(['A', 'B', 'C', 'Aaba', 'bACA', np.nan, 'CABA', 'dog', 'cat'])
    print(s)

    # 連接合併
    df = pd.DataFrame(np.random.randn(10, 4))
    print(df)
    pieces = [df[:3], df[3:7], df[7:]]
    print(pd.concat(pieces))

    # join操作
    left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
    right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
    print(left)
    print(right)
    print(pd.merge(left, right, on='key'))

    # 追加
    df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
    print(df)

    s = df.iloc[3]
    print(s)
    print(df.append(s, ignore_index=True))

    # group by 操作
    df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
                       'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
                       'C': np.random.randn(8),
                       'D': np.random.randn(8)})

    print(df)

    # 分組求和
    print(df.groupby(['A']).sum())

    # 多列求和
    print(df.groupby(['A', 'B']).sum())

    #繪圖
    ts=pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000',periods=1000))
    ts=ts.cumsum()
    print(ts.plot())
    plt.close('all')


if __name__ == '__main__':
    main()