[數據分析工具] Pandas 不可不知的功能(一)

来源:https://www.cnblogs.com/BoyceYang/archive/2018/01/24/8338378.html
-Advertisement-
Play Games

如果你在使用 Pandas(Python Data Analysis Library) 的話,下麵介紹的對你一定會有幫助的。 如果你在使用 Pandas(Python Data Analysis Library) 的話,下麵介紹的對你一定會有幫助的。 如果你在使用 Pandas(Python Dat ...


  • 如果你在使用 Pandas(Python Data Analysis Library) 的話,下麵介紹的對你一定會有幫助的。
首先我們先介紹一些簡單的概念
  • DataFrame:行列數據,類似 Excel 的 sheet,或關係型資料庫的表
  • series:單列數據
  • axis:0:行,1:列
  • shape:DataFrame的行列數,(行數,列數)

1. 載入 CSV

Read_csv 方法有很多參數,有效的利用這些參數可以減輕數據預處理的工作。誰都不願意做數據清洗,那麼我們就在載入數據的時候做一些簡單的數據處理
  • 直接載入
    • 無參數載入

      

    • 選擇特定列載入

      

    • 時間轉換載入

      

  • 分批載入
    有時我們可能需要載入的 csv 太大,可能會導致記憶體爆掉,這時候,我們就需要分批載入數據進行分析、處理     

 

2. 瀏覽 DataFrame 數據

  • df.head(n):瀏覽數據的前 n 行,預設 5 行
  • df.tail(n):瀏覽數據的末尾 n 行,預設 5 行
  • df.sample(n):隨機瀏覽 n 行數據,預設 5 行
  • df.shape:tuple 類型的數據行列數,(行數,列數)
  • df.describe():計算評估數據的趨勢
  • df.info():記憶體和數據類型

3. 在 DataFrame 中增加列

在 DataFrame 中添加新列的操作很簡單,下麵介紹幾種方式
  • 簡單方式
    直接增加新列並賦值

    df['new_column'] = 1

  • 計算方式
    df['temp_diff'] = df['atemp'] - df['temp']
  • 條件方式
    我們僅僅根據風速,簡單判斷一下人體舒適度,體感比較舒服的溫度是 0.3 米/秒     

 

  • 迴圈方式
    我們將 season 轉換為具體季節的名稱      

4. 選擇指定單元格

類似於 Excel 單元格的選擇,Pandas 提供了這樣的功能,操作很簡單,但是我本人理解起來確實沒有操作看上去那麼簡單。Pandas 提供了三個方法做類似的操作,loc,iloc,ix,ix 官方已經不建議使用,所以我們下麵介紹 loc 和 iloc
  • loc 根據標簽選取loc
    df.loc[行索引開始位置:行索引結束位置,[列名數組]]
  • iloc 根據索引選取
    df.iloc[行索引開始位置:行索引結束位置,列索開始位置:列索引結束位置]
  • 選取行數據
  • df.loc[[行索引數組]],df.iloc[[行索引數組]]

    

 

註意:
  • 索引開始位置:閉區間
  • 索引結束位置:開區間
  • loc 和 iloc 選取整列數據的時候,看上去與 df[列名數組] 的方式一致,但是其實前者返回的仍然是 DataFrame,後者返回的是 Series

    

 知乎:Pandas 功能介紹(一)   我的博客即將搬運同步至騰訊雲+社區,邀請大家一同入駐:https://cloud.tencent.com/developer/support-plan
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 其實json格式化沒想象中的那麼複雜,難點就是json格式化的工作流程。 正好工作上需要,於是就搞了一套json格式化+json著色的方法,原生的方法,可以直接使用。json數據格式化前後對比圖,如下: 下麵是源碼,可以根據個人需求適當修改: ...
  • 在做後臺管理界面的時候,幾乎少不了的一個結構就是樹形結構,用來做菜單導航; 那麼,最希望的就是樹結構的所有數據都是讀取的資料庫,而不是直接代碼當中寫死,那我們就一步一步來看: 一,建表 欄位通常包括:id,text,url,pid 二,使用nodeJS連接資料庫 三,讀取數據 四,把讀過來的數據轉成 ...
  • HTTP緩存是個大公司面試幾乎必考的問題,寫篇隨筆說一下HTTP緩存。 1. HTTP報文首部中有關緩存的欄位 在HTTP報文中,與緩存相關的信息都存在首部里,簡單說一下首部。 首部 HTTP首部欄位向請求報文和相應報文中添加了一些附加信息。本質上來說,它們只是一些鍵值對的列表。比如,下麵的首部行會 ...
  • 基本使用 html: JavaScript: 通過註入路由,我們可以用 this.$router 來訪問它,就像在任何組件里用 this.$router 訪問當前路有一樣。 路由的命名 要鏈接到一個命名路由,可以給 router-link 的 to 屬性傳一個對象: 這跟代碼調用 router.pu ...
  • 對於前端分頁,不懂的人也許會覺得是個笑話,分頁不都是後端的事情嗎?的確不得不承認,處理邏輯性的話,還是後端更加友好,但前端分頁,也有他友好的一面,舉個慄子:伺服器壓力請求減少,換頁時用戶體驗好。直戳主題——前端實現分頁的原理及其步驟 ...
  • 虛擬化和容器化是項目雲化不可避免的兩個問題。虛擬化由於是純平臺操作,一個運行於linux操作系統的項目幾乎不需要做任何改造就可以支持虛擬化。而項目如果要支持容器化則需要做許多細緻的改造工作。容器化相對於虛擬化的優勢也相當明顯,運行於裸機性能高,秒級啟停容器,更不用說開發、測試、佈署一致的環境(Dev... ...
  • 接著上一篇的內容,我們繼續來梳理分散式系統之中的副本機制與副本一致。上文我們聊到了在可用性與一致性之間的一個折中的一致性等級: 最終一致性 。我們順著上篇的內容,由用戶來分析一致性等級。 1. 客戶端的困擾 上篇文章我們提到了數據系統常用的模型,當提交新數據時,必須將它發送給Leader節點,但是當 ...
  • 本篇將介紹python中sys, getopt模塊處理命令行參數 本篇將介紹python中sys, getopt模塊處理命令行參數 如果想對python腳本傳參數,python中對應的argc, argv(c語言的命令行參數)是什麼呢?需要模塊:sys參數個數:len(sys.argv)腳本名: s ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...