數據分析與展示——Pandas數據特征分析

来源:http://www.cnblogs.com/yan-lei/archive/2017/11/10/7816188.html
-Advertisement-
Play Games

Pandas數據特征分析 數據的排序 將一組數據通過摘要（有損地提取數據特征的過程）的方式，可以獲得基本統計（含排序）、分佈/累計統計、數據特征（相關性、周期性等）、數據挖掘（形成知識）。 .sort_index()方法在指定軸上根據索引進行排序，預設升序 .sort_index(axis=0, a ...


Pandas數據特征分析

數據的排序

將一組數據通過摘要（有損地提取數據特征的過程）的方式，可以獲得基本統計（含排序）、分佈/累計統計、數據特征（相關性、周期性等）、數據挖掘（形成知識）。

  • .sort_index()方法在指定軸上根據索引進行排序，預設升序
  • .sort_index(axis=0, ascending=True)
In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: b = pd.DataFrame(np.arange(20).reshape(4,5), index=['c','a','d','b'])

In [4]: b
Out[4]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   6   7   8   9
d  10  11  12  13  14
b  15  16  17  18  19

In [5]: b.sort_index()
Out[5]: 
    0   1   2   3   4
a   5   6   7   8   9
b  15  16  17  18  19
c   0   1   2   3   4
d  10  11  12  13  14

In [6]: b.sort_index(ascending=False)
Out[6]: 
    0   1   2   3   4
d  10  11  12  13  14
c   0   1   2   3   4
b  15  16  17  18  19
a   5   6   7   8   9

In [7]: c = b.sort_index(axis=1, ascending=False)

In [8]: c
Out[8]: 
    4   3   2   1   0
c   4   3   2   1   0
a   9   8   7   6   5
d  14  13  12  11  10
b  19  18  17  16  15

In [9]: c = c.sort_index()

In [10]: c
Out[10]: 
    4   3   2   1   0
a   9   8   7   6   5
b  19  18  17  16  15
c   4   3   2   1   0
d  14  13  12  11  10
  • .sort_values()方法在指定軸上根據數值進行排序，預設升序
Series.sort_values(axis=0, ascending=True)
DataFrame.sort_values(by, axis=0, ascending=True)     # by:axis軸上的某個索引或索引列表
In [11]: c = b.sort_values(2,ascending=False)

In [12]: c
Out[12]: 
    0   1   2   3   4
b  15  16  17  18  19
d  10  11  12  13  14
a   5   6   7   8   9
c   0   1   2   3   4

In [13]: c = c.sort_values('a',axis=1,ascending=False)

In [14]: c
Out[14]: 
    4   3   2   1   0
b  19  18  17  16  15
d  14  13  12  11  10
a   9   8   7   6   5
c   4   3   2   1   0

Nan統一放到排序末尾

In [15]: a = pd.DataFrame(np.arange(12).reshape(3,4), index=['a','b','c'])

In [16]: a
Out[16]: 
   0  1   2   3
a  0  1   2   3
b  4  5   6   7
c  8  9  10  11

In [17]: c = a + b

In [18]: c
Out[18]: 
      0     1     2     3   4
a   5.0   7.0   9.0  11.0 NaN
b  19.0  21.0  23.0  25.0 NaN
c   8.0  10.0  12.0  14.0 NaN
d   NaN   NaN   NaN   NaN NaN

In [19]: c.sort_values(2,ascending=False)
Out[19]: 
      0     1     2     3   4
b  19.0  21.0  23.0  25.0 NaN
c   8.0  10.0  12.0  14.0 NaN
a   5.0   7.0   9.0  11.0 NaN
d   NaN   NaN   NaN   NaN NaN

In [20]: c.sort_values(2,ascending=True)
Out[20]: 
      0     1     2     3   4
a   5.0   7.0   9.0  11.0 NaN
c   8.0  10.0  12.0  14.0 NaN
b  19.0  21.0  23.0  25.0 NaN
d   NaN   NaN   NaN   NaN NaN

數據的基本統計分析

基本的統計分析函數

適用於Series和DataFrame類型

方法說明
.sum() 計算數據的總和，按0軸計算，下同
.count() 非Nan值得數量
.mean() .median() 計算數據的算術平均值、算術中位數
.var() .std() 計算數據的方差、標準差
.min() .max() 計算數據的最小值、最大值

適用於Series類型

方法說明
.argmin() .argmax() 計算數據最大值、最小值所在位置的索引位置（自動索引）
.idxmin() .idxmax() 計算數據最大值、最小值所在位置的索引（自定義索引）

適用於Series和DataFrame類型

 方法說明 
.describe() 針對0軸（各列）的統計彙總

 

In [21]: a = pd.Series([9,8,7,6], index=['a','b','c','d'])

In [22]: a
Out[22]: 
a    9
b    8
c    7
d    6
dtype: int64

In [23]: a.describe()
Out[23]: 
count    4.000000
mean     7.500000
std      1.290994
min      6.000000
25%      6.750000
50%      7.500000
75%      8.250000
max      9.000000
dtype: float64

In [24]: type(a.describe())
Out[24]: pandas.core.series.Series

In [25]: a.describe()['count']
Out[25]: 4.0

In [26]: a.describe()['max']
Out[26]: 9.0

In [27]: b.describe()
Out[27]: 
               0          1          2          3          4
count   4.000000   4.000000   4.000000   4.000000   4.000000
mean    7.500000   8.500000   9.500000  10.500000  11.500000
std     6.454972   6.454972   6.454972   6.454972   6.454972
min     0.000000   1.000000   2.000000   3.000000   4.000000
25%     3.750000   4.750000   5.750000   6.750000   7.750000
50%     7.500000   8.500000   9.500000  10.500000  11.500000
75%    11.250000  12.250000  13.250000  14.250000  15.250000
max    15.000000  16.000000  17.000000  18.000000  19.000000


In [28]: type(b.describe())
Out[28]: pandas.core.frame.DataFrame

In [29]: 

In [30]: b.describe().ix['max']
__main__:1: DeprecationWarning: 
.ix is deprecated. Please use
.loc for label based indexing or
.iloc for positional indexing

See the documentation here:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#ix-indexer-is-deprecated
Out[30]: 
0    15.0
1    16.0
2    17.0
3    18.0
4    19.0
Name: max, dtype: float64

In [31]: b.describe()[2]
Out[31]: 
count     4.000000
mean      9.500000
std       6.454972
min       2.000000
25%       5.750000
50%       9.500000
75%      13.250000
max      17.000000
Name: 2, dtype: float64

數據的累計統計分析

累計統計分析函數

適用於Series和DataFrame類型，累計計算

方法說明
.cumsum() 依次給出前1、2、… 、n個數的和
.cumprod() 依次給出前1、2、… 、n個數的積
.cummax() 依次給出前1、2、… 、n個數的最大值
.cummin() 依次給出前1、2、… 、n個數的最小值

 

In [32]: b.cumsum()
Out[32]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   7   9  11  13
d  15  18  21  24  27
b  30  34  38  42  46

In [33]: b.cumprod()
Out[33]: 
   0     1     2     3     4
c  0     1     2     3     4
a  0     6    14    24    36
d  0    66   168   312   504
b  0  1056  2856  5616  9576

In [34]: b.cummin()
Out[34]: 
   0  1  2  3  4
c  0  1  2  3  4
a  0  1  2  3  4
d  0  1  2  3  4
b  0  1  2  3  4

In [35]: b.cummax()
Out[35]: 
    0   1   2   3   4
c   0   1   2   3   4
a   5   6   7   8   9
d  10  11  12  13  14
b  15  16  17  18  19

適用於Series和DataFrame類型，滾動計算（視窗計算）

方法說明
.rolling(w).sum() 依次計算相鄰w個元素的和
.rolling(w).mean() 依次計算相鄰w個元素的算術平均值
.rolling(w).var() 依次計算相鄰w個元素的方差
.rolling(w).std() 依次計算相鄰w個元素的標準差
.rolling(w).min() .max() 依次計算相鄰w個元素的最小值和最大值

 

In [36]: b.rolling(2).sum()
Out[36]: 
      0     1     2     3     4
c   NaN   NaN   NaN   NaN   NaN
a   5.0   7.0   9.0  11.0  13.0
d  15.0  17.0  19.0  21.0  23.0
b  25.0  27.0  29.0  31.0  33.0

In [37]: b.rolling(3).sum()
Out[37]: 
      0     1     2     3     4
c   NaN   NaN   NaN   NaN   NaN
a   NaN   NaN   NaN   NaN   NaN
d  15.0  18.0  21.0  24.0  27.0
b  30.0  33.0  36.0  39.0  42.0

數據的相關分析

兩個事物，表示為X和Y，如何判斷它們之間的存在相關性？

相關性

  • X增大，Y增大，兩個變數正相關
  • X增大，Y減小，兩個變數負相關
  • X增大，Y無視，兩個變數不相關

協方差

  • 協方差>0, X和Y正相關
  • 協方差<0, X和Y負相關
  • 協方差=0， X和Y獨立無關

Pearson相關係數

r取值範圍[-1, 1]

  • 0.8 - 1.0 極強相關
  • 0.6 - 0.8 強相關
  • 0.4 - 0.6 中等程度相關
  • 0.2 - 0.4 弱相關
  • 0.0 - 0.2 極弱相關或無相關

適用於Series和DataFrame類型

方法說明
.cov() 計算協方差矩陣
.corr() 計算相關係數矩陣，Pearson、Spearman、Kendall等繫數

 

In [38]: import pandas as pd

In [39]: hprice = pd.Series([3.04, 22.93, 12.75, 22.6, 12.33], index=['2008', '2009', '2010', '2011', '2012'])

In [40]: m2 = pd.Series([8.18, 18.38, 9.13, 7.82, 6.69], index=['2008', '2009', '2010','2011', '2012'])

In [41]: hprice.corr(m2)
Out[41]: 0.5239439145220387

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Pickle模塊數據對象持久化操作
    Pickle模塊的作用是持久化(序列化)的儲存數據。因此我先解釋下：什麼是序列化與反序列化、什麼是對象序列化和對象反序列化。通俗地講，它們的定義如下：序列化: 把一個對象保存到一個文件或資料庫欄位中去；反序列化: 在適當的時候把這個文件再轉化成原來的對象使用；對象的序列化： 把對象轉換為位元組序列的過 ...
  • 二叉樹的三種遍歷簡單版
    同學突然向我問二叉樹的三種遍歷代碼。數據結構剛剛學了，自己很吃力的敲了出來。 和老師演示的代碼有很大差距。 #include <stdio.h>#include <string.h>#include <stdlib.h>#define Error -1#define Right 1struct Bi ...
  • 2017.11.10 重讀C++ Primer
    第二章 變數和變數類型 1. C++ 算數類型 bool 布爾 最小尺寸未定義 char 字元 8位 wchar_t 寬字元 16位 char16_t Unicode 字元 16位 char32_t Unicode 字元 32位 short 短整型 16位 int 整型 16位 long 長整型 3 ...
  • PHP 引用變數
    1、引用變數的定義 在PHP 中引用的意思是：不同的名字訪問同一個變數內容.使用&表示 使用 & 會使（如$a = &$b）指向同一個記憶體地址(這並不像 C 的指針：例如你不能對他們做指針運算，他們並不是實際的記憶體地址)，一個發生改變，另一個也會發生改變 2、使用 memory_get_usage（ ...
  • Java作業十（2017-11-8）
    public class TAutoPerson { public static void main(String args[]) { new TAutoPerson().fun(); } public void fun() { System.out.println("hello world!!!"... ...
  • C語言學習(一)
    C語言是目前世界上流行、使用最廣泛的高級程式設計語言。 C語言對操作系統和系統使用程式以及需要對硬體進行操作的場合，用C語言明顯優於其它高級語言，許多大型應用軟體都是用C語言編寫的。 C語言具有繪圖能力強，可移植性，並具備很強的數據處理能力，因此適於編寫系統軟體，三維，二維圖形和動畫它是數值計算的高 ...
  • 遞歸演算法筆記
    遞歸概念：（按我自己的話說）如果一個函數function在內部調用自己，就可以看成遞歸。如果按書上的定義就是：如果一個新的調用能在相同過程中較早的調用結束之前開始，那麼個該過程就是遞歸。 舉個慄子： 1 def func(n): 2 if n ==0 or n ==1:return 1 3 else ...
  • 【DTOJ】2703：兩個數的餘數和商
    DTOJ 2703：兩個數的餘數和商 解題報告 ——翱翔的逗比w ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類