數據處理包dplyr的函數

来源:http://www.cnblogs.com/jiangmiaomiao/archive/2017/05/22/6888775.html
-Advertisement-
Play Games

dplyr專註處理dataframe對象, 並提供更穩健的與其它資料庫對象間的介面。 一、5個關鍵的數據處理函數: select() 返回列的子集 filter() 返回行的子集 arrange() 根據一個或多個變數對行排序。 mutate() 使用已有數據創建新的列 summarise() 對各 ...


dplyr專註處理dataframe對象, 並提供更穩健的與其它資料庫對象間的介面。

一、5個關鍵的數據處理函數:

select()   返回列的子集
filter()     返回行的子集
arrange()  根據一個或多個變數對行排序。
mutate()  使用已有數據創建新的列
summarise()  對各個群組彙總計算並返回一維結果。

Tips

1select()

Dplyr包有下列輔助函數,用於在select()中選擇變數:

starts_with("X"): 以 "X"開頭的變數名
ends_with("X"):   以 "X"結束的變數名
contains("X"):      包含 "X"的變數名
matches("X"):      匹配正則表達式“x"的變數名
num_range("x", 1:5):  變數名為 x01, x02, x03, x04 and x05
one_of(x):    出現在字元向量x中的所有變數名

在select()中直接使用列時不需要引用"",但使用上述輔助函數時必須引用""。

2filter()   

R 有一系列邏輯表達式可用於filter()中:

x < y;x <= y;x == y;x != y;x >= y;x > y;x %in% c(a, b, c)

示例:

filter(df, a > 0, b > 0)

filter(df, !is.na(x))
3arrange()  
arrange()預設從小到大排序,在arrange()中使用desc()作用於變數可以使之從大到小排序.

4mutate()  

mutate()允許在同一次調用中使用新變數來創建下一個變數,例如:

mutate(my_df, x = a + b, y = x + c)

5 summarise()

R的下列聚合函數可用於 summarise()

dplyr包自身提供了一些有用的聚合函數:

二、管道函數%>%

dplyr包中特有的管道函數%>%,將上一個函數的輸出作為下一個函數的輸入。

%>%運算符允許從參數列表中提取函數的第一個參數,並放置在%>%前面。

下麵兩條指令相等:

mean(c(1, 2, 3, NA), na.rm = TRUE)

c(1, 2, 3, NA) %>% mean(na.rm = TRUE)

 

 三、分組函數group_by()

 對數據集定義群組。然後可對各個群組分別進行彙總統計。

通過 group_by() 添加了分組信息後,mutate(), arrange() 和 summarise() 函數會自動對這些 tbl 類數據執行分組操作。

group_by(dataframe,colnames1,colnames2,…)

四、連接數據(joins

1、6種連接函數如下:
left_join(dataset1,dataset2)
right_join(dataset1,dataset2)

inner_join(dataset1,dataset2,by=c(“”))

full_join(dataset1,dataset2, by = c("first", "last"))

semi_join(dataset1,dataset2, by = c("first", "last"))

anti_join(dataset1,dataset2, by = c("first", "last"))

 前4種屬於變形連接(mutating joins),後2種屬於過濾連接(filtering joins)。

semi-joins基於第二個數據集的信息來過濾第一個數據集的數據。anti-joins找出合併時哪些行不能匹配第二個數據集

 

2、key值

      R語言的 data frames可在 row.names屬性中存儲重要信息,雖然不是存儲數據的好方式卻很常見。如果數據集的主關鍵字在row.names中,將難以與其他數據集連接。一種解決方法是使用tibble包(tibble:a data frame with class tbl_df)中的rownames_to_column()函數,返回該數據集的副本,並且行名作為一列增加到該數據中。

       library(tibble)

       rownames_to_column(data, var="name")

   

     如果兩個數據集有相同的列名,但代表的事物不同,並且by參數不包含這些重覆的列名,dplyr會忽略這些列名,並對相同的列名增加.x和 .y來幫助區分列。

     當兩個數據集中相同的事物有不同的列名,要完成合併,將by設置為一個命名向量。向量的名字為主數據集中的列名,向量的值為第二個數據集中的列名。例如:

      x %>% left_join(y, by = c("x.name" = "y.name"))

      完成連接後保留主數據集中的列名。

 

3、多個數據集的連接

Purrr包中的 reduce()函數對多個數據集重覆應用某函數,可用於連接多個數據集,與dplyr的join類函數配合使用,例如:
library(purrr)
list(data1,data2,data3) %>% reduce(left_join,by = c("first", "last"))

 

五、集合操作(set operations

dplyr提供了intersection、union和setdiff用於獲得數據集的交集、並集和差集。

 

六、組裝數據assembling data

使用如下函數:

bind_rows() 

bind_cols() :將多個data frame合成單個data frame

data_frame() : 將一系列列向量組合成data frame

as_data_frame() :將list轉換成data frame

 

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.什麼是JSTL JSP標準標簽庫(JSTL)是一個JSP標簽集合,它封裝了JSP應用的通用核心功能。 JSTL支持通用的、結構化的任務,比如迭代,條件判斷,XML文檔操作,國際化標簽,SQL標簽。 除了這些,它還提供了一個框架來使用集成JSTL的自定義標簽。 根據JSTL標簽所提供的功能,可以將 ...
  • 捲積運算,兩個輸入張量(輸入數據和捲積核)進行捲積,輸出代表來自每個輸入的信息張量。tf.nn.conv2d完成捲積運算。捲積核(kernel),權值、濾波器、捲積矩陣或模版,filter。權值訓練習得。捲積核(filter參數)權值數量決定需要學習捲積核數量。通道,電腦器視覺,描述輸出向量。RG ...
  • 1.什麼叫activeMQ? ActiveMQ 是Apache出品,最流行的,能力強勁的開源消息匯流排。ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規範的 JMS Provider實現,儘管JMS規範出台已經是很久的事情了,但是JMS在當今的J2EE應用中間仍然扮演著特殊的地位。 2 ...
  • logging模塊 re正則表達式 ...
  • 一般我們常見的RPC框架都包含如下三個部分: 註冊中心,用於服務端註冊遠程服務以及客戶端發現服務 服務端,對外提供後臺服務,將自己的服務信息註冊到註冊中心 客戶端,從註冊中心獲取遠程服務的註冊信息,然後進行遠程過程調用 上面提到的註冊中心其實屬於服務治理,即使沒有註冊中心,RPC的功能也是完整的。之 ...
  • 1. 攔截器用途 (1)攔截未登錄用戶直接訪問某些鏈接 (2)攔截日誌信息 (3)攔截非法攻擊,比如sql註入 2. 涉及jar、類 (1)spring-webmvc.jar (2)HandlerInterceptor(org.springframework.web.servlet:介面)、 Asy ...
  • 上周在安裝搜索引擎Elasticsearch時,要求安裝比較新的java 版本,我選擇了java 1.8.0,安裝java 成功後使用java -version 發現使用的版本仍舊是1.6.0, 查詢了一些資料,發現可以使用Linux的alternatives命令替換選擇軟體的版本。 說明:alte ...
  • 伺服器端多線程類: ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...