Pandas基礎知識隨筆

来源:https://www.cnblogs.com/haiyangzhao/archive/2020/07/28/13392355.html
-Advertisement-
Play Games

#!/usr/bin/python3# -*- coding: UTF-8 -*-import pandas as pdimport numpy as npimport matplotlib.pyplot as pltdef main(): # 創建一個列表Series,pandas會創建整形指標 ...


#!/usr/bin/python3
# -*- coding: UTF-8 -*-
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


def main():
# 創建一個列表Series,pandas會創建整形指標

s = pd.Series([1, 2, 3, np.nan, 6, 8])
print(s)

# 通過傳遞數據字相同的數組,時間索引,列標簽創建DataFrame

dates = pd.date_range('20130101', periods=6)
print(dates)

# 上下文聯繫

df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
print(df)

# 字典模式
df2 = pd.DataFrame({
'A': 1.,
'B': pd.Timestamp('20130102'),
'C': pd.Series(1, index=list(range(4)), dtype='float32'),
'D': np.array([3] * 4, dtype='int32'),
'E': pd.Categorical(["test", "train", "test", "train"]),
'F': 'foo'})
print(df2)

# 查看格列dtype
print(df2.dtypes)

###第二部分查看所有基本功能
# 頭
print(df.head())

# 尾
print(df.tail(3))

# 查看索引,列和數組數據
print(df.index)

# 查看列
print(df.columns)

# 查看值
print(df.values)

# 查看數據快速統計
print(df.describe())

# 對數據列轉換
print(df.T)

# 按照行排序
print(df.sort_index(axis=1, ascending=False))

# 按照值排序
print(df.sort_values(by='B'))

# 選擇數據 標準Python/Numpy 表達式直觀可用

# 獲取 選擇一列返回Series
print(df['A'])

# 通過[]選擇 進行切片
print(df[0:3])

# 標簽選擇,通過標簽獲取交叉區域
print(df.loc[dates[0]])

# 通過標簽獲取更多的數據
print(df.loc[:, ['A', 'B']])

# 標簽切片
print(df.loc['20130102':'20130104', ['A', 'B']])

# 返回對象縮減維度
df.loc['20130102', ['A', 'B']]

# 獲取單個值
print(df.loc[dates[0], 'A'])

# 快速訪問單個標量
print(df.at[dates[0], 'A'])

# loc 和 iloc 的區別 loc按標簽搜索,iloc按索搜索
print(df.iloc[3])

# 通過數值切片 左開右閉
print(df.iloc[3:5, 0:2])

# 通過指定表位置
print(df.iloc[[1, 2, 4], [0, 2]])

# 對行切片
print(df.iloc[1:3, :])

# 對列切片
print(df.iloc[:, 1:3])

# 獲取特定值
print(df.iloc[1, 1])

# 通過某;列選擇數據
print(df[df.A > 0])

# 通過where選擇數據
print(df[df > 0])

# 通過isin()過濾數據
df2 = df.copy()
df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
print(df2)

print(df2[df2['E'].isin(['two', 'four'])])

# 通過標簽更新值
df.at[dates[0], 'A'] = 0

# 通過位置更新值
df.iat[0, 1] = 0

# 通過數組更新值
df.loc[:, 'D'] = np.array([5] * len(df))

print(df)

# 通過where更新值
df2 = df.copy()
df2[df2 > 0] = -df2
print(df2)

# 缺失數據處理reindex()可以修改/增加/刪除索引,會返回一個數據的副本:
df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
df1.loc[dates[0]:dates[1], 'E'] = 1
print(df1)

# d丟掉缺失行
print(df1.dropna(how='any'))

# 對缺失行 賦值
print(df1.fillna(value=5))

# 對缺失的布爾值賦值
print(pd.isnull(df1))

# 平均值
print(df.mean())

# 按照行求均值
print(df.mean(axis=1))

# 操作不同維護需要對齊,pandas 會沿著指定維度執行
s = pd.Series([1, 2, 5, np.nan, 6, 8], index=dates).shift(2)
print(s)
print(df.sub(s, axis='index'))

"""
註:
這裡對齊維度指的對齊時間index
shift(2)指沿著時間軸將數據順移兩位
sub指減法,與NaN進行操作,結果也是NaN

"""
# 應用
# 對數據應用function 註: - cumsum 累加

print(df.apply(np.cumsum))
print(df.apply(lambda x: x.max() - x.min()))

# 直方圖
s = pd.Series(np.random.randint(0, 7, size=10))
print(s)

# j計數
print(s.value_counts())

# 支持字元串
s = pd.Series(['A', 'B', 'C', 'Aaba', 'bACA', np.nan, 'CABA', 'dog', 'cat'])
print(s)

# 連接合併
df = pd.DataFrame(np.random.randn(10, 4))
print(df)
pieces = [df[:3], df[3:7], df[7:]]
print(pd.concat(pieces))

# join操作
left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
print(left)
print(right)
print(pd.merge(left, right, on='key'))

# 追加
df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
print(df)

s = df.iloc[3]
print(s)
print(df.append(s, ignore_index=True))

# group by 操作
df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
'C': np.random.randn(8),
'D': np.random.randn(8)})

print(df)

# 分組求和
print(df.groupby(['A']).sum())

# 多列求和
print(df.groupby(['A', 'B']).sum())

#繪圖
ts=pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000',periods=1000))
ts=ts.cumsum()
print(ts.plot())
plt.close('all')


if __name__ == '__main__':
main()

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 利用pandas模塊實現Excel與MySQL的互通 代碼實現 Excel數據導入MySQL(方式一) # 批量導入數據(速度快) def importdata(localpath: str, db: str, foreignkey): data = pandas.read_excel(localp ...
  • 百度雲盤:Python數據科學手冊PDF高清完整版免費下載 提取碼:cbbj 內容簡介 本書是對以數據深度需求為中心的科學、研究以及針對計算和統計方法的參考書。本書共五章,每章介紹一到兩個Python數據科學中的重點工具包。首先從IPython和Jupyter開始,它們提供了數據科學家需要的計算環境 ...
  • 方法的可變參數: 方法中有無參方法,有帶參方法,都多個參數的方法;代碼如下: public class Dome { /* 方法無參和帶參 */ public static void method() { System.out.println("我是一個無參的方法"); } public stati ...
  • 百度雲盤:零基礎學PythonPDF高清完整版免費下載 提取碼:8hb2 內容簡介 Python是目前最流行的動態腳本語言之一。本書由淺入深,全面、系統地介紹了使用Python進行開發的各種知識和技巧。 本書內容包括Python環境的安裝和配置、Python的基本語法、模塊和函數、內置數據結構、字元 ...
  • Tomcat的使用及伺服器和web的一些基礎知識 兩種不同的軟體架構* C/S 客戶端/伺服器端 B\S 瀏覽器/伺服器端 資源的分類 靜態資源: 所有用戶訪問後,得到的結果是一樣的,稱為靜態資源,靜態資源可直接被瀏覽器解析 如 html,css,JavaScript 動態資源: 不同用戶訪問後得到 ...
  • (原文鏈接:https://almirai.live/Coding/Java/ppa-install-oracle-java-11/)[https://almirai.live/Coding/Java/ppa-install-oracle-java-11/] 添加源 Ubuntu/Mint 64bi ...
  • 練習2: 題目:企業發放的獎金根據利潤提成。利潤(I)低於或等於10萬元時,獎金可提10%;利潤高於10萬元,低於20萬元時,低於10萬元的部分按10%提成,高於10萬元的部分,可提成7.5%;20萬到40萬之間時,高於20萬元的部分,可提成5%;40萬到60萬之間時高於40萬元的部分,可提成3%; ...
  • 前言 JAVA起於1995年,經過20多年的發展,在眾多語言中脫穎而出,JAVA如今已經發展成為世界第一編程語言。而且越來越多的人加入到JAVA開發的大軍中。 2014年的數據:全球的軟體開發者數量達到1850萬,其中1100萬是專業的軟體開發人員,另外750萬是開發愛好者,其中我國程式員占比是很少 ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 準備開個系列來聊一下 PerfView 這款工具,熟悉我的朋友都知道我喜歡用 WinDbg,這東西雖然很牛,但也不是萬能的,也有一些場景他解決不了或者很難解決,這時候藉助一些其他的工具來輔助,是一個很不錯的主意。 很多朋友喜歡在項目中以記錄日誌的方式來監控項目的流轉情況,其實 CoreCL ...
  • 本來閑來無事,準備看看Dapper擴展的源碼學習學習其中的編程思想,同時整理一下自己代碼的單元測試,為以後的進一步改進打下基礎。 突然就發現問題了,源碼也不看了,開始改代碼,改了好久。 測試Dapper.LiteSql數據批量插入的時候,耗時20秒,感覺不正常,於是我測試了非Dapper版的Lite ...
  • 需求如下,在DEV框架項目中,需要在表格中增加一列顯示圖片,並且能編輯該列圖片,然後進行保存等操作,最終效果如下 這裡使用的是PictureEdit控制項來實現,打開DEV GridControl設計器,在ColumnEdit選擇PictureEdit: 綁定圖片代碼如下: DataTable dtO ...
  • 前兩天微軟偷偷更新了Visual Studio 2022 正式版版本 17.3 發佈,發佈摘要: MAUI 工作負荷 GA 生成 MAUI/Blazor CSS 熱重載支持 現在,你將能夠使用我們的新增功能在 Visual Studio 中使用每個更新試用一系列新功能。 選擇每個功能以瞭解有關特定功 ...
  • 航天和軍工領域的數字化轉型和建設正在積極推進,在與航天二院、航天三院、航天六院、航天九院、無線電廠、兵工廠等單位交流的過程中,用戶更聚焦試驗和生產過程中的痛點,迫切需要解決軟體平臺統一監測和控制設備及軟體與設備協同的問題。 ...
  • .NET 項目預設情況下 日誌是使用的 ILogger 介面,預設提供一下四種日誌記錄程式: 控制台 調試 EventSource EventLog 這四種記錄程式都是預設包含在 .NET 運行時庫中。關於這四種記錄程式的詳細介紹可以直接查看微軟的官方文檔 https://docs.microsof ...
  • 一:背景 上一篇我們聊到瞭如何去找 熱點函數,這一篇我們來看下當你的程式出現了 非托管記憶體泄漏 時如何去尋找可疑的代碼源頭,其實思路很簡單,就是在 HeapAlloc 或者 VirtualAlloc 時做 Hook 攔截,記錄它的調用棧以及分配的記憶體量, PerfView 會將這個 分配量 做成一個 ...
  • 背景 在 CI/CD 流程當中,測試是 CI 中很重要的部分。跟開發人員關係最大的就是單元測試,單元測試編寫完成之後,我們可以使用 IDE 或者 dot cover 等工具獲得單元測試對於業務代碼的覆蓋率。不過我們需要一個獨立的 CLI 工具,這樣我們才能夠在 Jenkins 的 CI 流程集成。 ...
  • 一、應用場景 大家在使用Mybatis進行開發的時候,經常會遇到一種情況:按照月份month將數據放在不同的表裡面,查詢數據的時候需要跟不同的月份month去查詢不同的表。 但是我們都知道,Mybatis是ORM持久層框架,即:實體關係映射,實體Object與資料庫表之間是存在一一對應的映射關係。比 ...
  • 我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...