數據清洗工具flashtext,效率直接提升了幾十倍數

来源:https://www.cnblogs.com/lwsbc/archive/2022/06/26/16414467.html
-Advertisement-
Play Games

背景: 一般我們可以用HashMap做本地緩存,但是HashMap功能比較弱,不支持Key過期,不支持數據範圍查找等。故在此實現了一個簡易的本地緩存,取名叫fastmap。 功能: 1.支持數據過期 2.支持等值查找 3.支持範圍查找 4.支持key排序 實現思路: 1.等值查找採用HashMap2 ...


在平常的一些的小規模的數據的過濾、清洗過程中使用最多的就是正則表達式,但是隨著數據規模的增大,正則表達式就顯得有些心有餘力不足了。

【閱讀全文】

正則表達式在一個 10k 的詞庫中查找 15k 個關鍵詞的時間差不多是 0.165 秒。但是對於 Flashtext 而言只需要 0.002 秒。因此,在這個問題上 Flashtext的速度大約比正則表達式快 82 倍。

file

從上面的示例圖的性能對比中,可以發現隨著我們需要處理的字元越來越多,正則表達式的處理速度幾乎都是線性增加的。然而,Flashtext 幾乎是一個常量。

1、準備flashtext環境

通過pip的方式來安裝flashtext,或是其他的方式也是可以的,這裡預設使用的是清華大學的鏡像站。

pip install flashtext -i https://pypi.tuna.tsinghua.edu.cn/simple

在準備好flashtext環境以後,來看一下flashtext重要的使用過程,幫助我們能更好的完成數據清洗操作。

2、添加關鍵詞

這裡添加關鍵詞時是通過單個關鍵詞的來添加到關鍵詞詞庫中,使用add_keyword函數來添加。第一次參數表示需要添加的關鍵詞,第二個參數則表示為第一個關鍵詞的別名,如果關鍵詞被找到了則顯示為別名的形式,若是沒有使用第二個參數作為別名則還是顯示原有的名稱。

from flashtext import KeywordProcessor

# 初始化關鍵詞庫處理器

processor = KeywordProcessor()

# 常規方式添加關鍵詞

processor.add_keyword('Python')

# 別名方式添加關鍵詞

processor.add_keyword('Scala', 'Java')

這樣分別使用兩種方式已經將需要的關鍵詞添加到詞庫處理器中了。

3、提取關鍵詞

通過上一步添加關鍵詞,現在詞庫處理器中已經存在有關鍵詞的信息了,再使用extract_keywords將關鍵詞提取出來即可。

# 在一個字元串中提取出關鍵詞信息

found = processor.extract_keywords('I like Python and Scala.')

# 結果

print(found)

# ['Python', 'Java']

結果出來了,跟我們預想的是一樣的,並Scala也顯示為了Java。

4、替換關鍵詞

替換關鍵詞使用的是replace_keywords函數,前提是詞庫中擁有別名的詞才能被替換,就像上面的Scala被顯示成了的Java一樣。

替換一個字元串中的Scala關鍵詞,由於Scala對應的別名是Java,所以一個字元串中的Scala應該被替換為Java。

replaced = processor.replace_keywords('I like Scala.')

# 結果

print(replaced)

# I like Java.

# Scala 果真就被替換為了Java。

5、獲取所有關鍵詞

有些時候,在KeywordProcessor詞庫處理器中添加了哪些關鍵詞可能自己都記不清楚了,這個時候可以使用get_all_keywords函數來獲取當前的所有關鍵詞。

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'python': 'Python', 'scala': 'Java'}

6、批量的添加關鍵詞

當關鍵詞庫需要更多的關鍵詞的時候,可以通過列表或是字典的方式來進行批量的添加。對應的函數分別是add_keywords_from_list、add_keywords_from_dict函數。

# 初始化一個字典通過用來做批量添加

dict_ = {
    'java': ['java_ee', 'java_se', 'java_me'],
    'python': ['pandas', 'all']
}

# 通過字典的方式來批量添加關鍵詞

processor.add_keywords_from_dict(dict_)

# 從批量添加的關鍵詞中匹配關鍵詞

result = processor.extract_keywords('looking for java_ee and pandas.')

# 結果

print(result)

# ['java', 'python']

# 通過列表的方式批量添加關鍵詞

processor.add_keywords_from_list(['scala', 'python', 'scala', 'go'])

# 通過get_all_keywords查看一下所有關鍵詞

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'python': 'python', 'pandas': 'python', 'scala': 'scala', 'java_ee': 'java', 'java_se': 'java', 'java_me': 'java', 'all': 'python', 'go': 'go'}

發現所有的關鍵詞已經添加到詞庫處理器中,並且重覆的不會再次添加。

7、批量刪除關鍵詞

批量刪除詞庫處理器中的關鍵詞同樣是有兩種方式,一個是列表、另一個是字典。對應的函數分別是remove_keywords_from_list、remove_keywords_from_dict函數。

# 批量移除列表中的關鍵詞

processor.remove_keywords_from_list(['python','java_ee','java_me'])

# 批量移除字典中的關鍵詞

processor.remove_keywords_from_dict({'python': ['pandas','all']})

# 通過get_all_keywords查看一下所有關鍵詞

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'scala': 'scala', 'java_se': 'java', 'go': 'go'}

發現需要移除的關鍵詞已經被全部移除了。

8、執行效率對比

為了更可觀的展示效果,找了兩個flashtext在搜索和替換關鍵詞過程中的效率對比圖可以一目瞭然。

flashtext、正則表達式搜索效率對比

file

flashtext、正則表達式搜索替換對比

file

【往期精彩】

file

一個help函數解決了python的所有文檔信息查看...

python 自定義異常/raise關鍵字拋出異常

python 本地音樂播放器製作過程(附完整源碼)

自動化工具:PyAutoGUI的滑鼠與鍵盤控制,解放雙手的利器!

來自程式猿的生日蛋糕你見過嗎?

歡迎關註作者公眾號【Python 集中營】,專註於後端編程,每天更新技術乾貨,不定時分享各類資料!
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 什麼是工廠模式 工廠模式是最常用的設計模式之一,屬於創建型模式。 有點: 解耦,可以把對象的創建和過程分開 減少代碼量,易於維護 什麼時候用? 當一個抽象類有多個實現的時候,需要多次實例化的時候,就要考慮使用工廠模式。 比如:登錄的抽象類ILoginBusiness,它有2個實現,一個用用戶名密碼登 ...
  • 遠程連接ubuntu 提前準備: 在Ubuntu中安裝好ssh 安裝步驟:1.安裝openssh-server 😒udo apt-get install openssh-server ​ (過程中會確認是否希望繼續執行,按y就可) ​ 2.查看是否安裝成功:ps -e |grep ssh ​ 3. ...
  • 1 學習參考 MySQL官方文檔 https://dev.mysql.com/doc/refman/8.0/en/delete.html 節選自 MySQL 8.0 Reference Manual_SQL Statements_Data Manipulation Statements_DELETE ...
  • 第一章 緒論 1.1 資料庫系統概述 1.1.1 資料庫的4個基本概念 數據:描述事物的符號記錄,數據的含義稱為數據的語義,二者是不可分的。 資料庫:資料庫是長期存儲在電腦內、有組織的、可共用的大量數據的集合。 資料庫數據基本特點:永久存儲、有組織、可共用。 資料庫管理系統(DBMS):是電腦的 ...
  • SpringBoot使用Redis教程 應用環境: 存放Token、.... 第一步: 添加Redis依賴 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-re ...
  • 📄前言 這個小項目源於github項目:✨50 projects 50 days, 這個項目包含了50個小型前端項目,適合學習了Html+Css+JavaScript但是還沒有學習框架的前端新手作為練習。 這裡是原項目的代碼實現👉擴展卡片 Expanding Cards 📝分析 📍佈局 卡片 ...
  • 本章是系列文章的第八章,用著色演算法進行寄存器的分配過程。 本文中的所有內容來自學習DCC888的學習筆記或者自己理解的整理,如需轉載請註明出處。周榮華@燧原科技 寄存器分配 寄存器分配是為程式處理的值找到存儲位置的問題 這些值可以存放到寄存器,也可以存放在記憶體中 寄存器更快,但數量有限 記憶體很多,但 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
一周排行
    -Advertisement-
    Play Games
  • 使用原因: 在我們服務端調用第三方介面時,如:支付寶,微信支付,我們服務端需要模擬http請求並加上一些自己的邏輯響應給前端最終達到我們想要的效果 1.使用WebClient 引用命名空間 using System.Net; using System.Collections.Specialized; ...
  • WPF 實現帶蒙版的 MessageBox 消息提示框 WPF 實現帶蒙版的 MessageBox 消息提示框 作者:WPFDevelopersOrg 原文鏈接: https://github.com/WPFDevelopersOrg/WPFDevelopers.Minimal 框架使用大於等於.N ...
  • 一、JSON(JavaScript Object Notation)的簡介: ① JSON和XML類似,主要用於存儲和傳輸文本信息,但是和XML相比,JSON更小、更快、更易解析、更易編寫與閱讀。 ② C、Python、C++、Java、PHP、Go等編程語言都支持JSON。 二、JSON語法規則: ...
  • 1.避免Scoped模式註冊的服務變成Singleton模式 當提供一個生命周期模式為Singleton的服務實例時,如果發現該服務中還依賴生命周期模式為Scoped的服務實例(Scoped服務實例將被一個Singleton服務實例所引用),那麼這個被依賴的Scoped服務實例最終會成為一個Sing ...
  • 索引時資料庫提高數據查詢處理性能的一個非常關鍵的技術,索引的使用可以對性能產生上百倍甚至上千倍的影響。接下來,會介紹索引的基本原理、概念,並深入學習資料庫中所使用的索引結構和存儲方式,以及如何管理、維護索引等。 1.索引的基本概念 索引時用來快速查詢表記錄的一種存儲結構,一般使用索引有一下兩個方面: ...
  • django2 路由控制器 Route路由,是一種映射關係。路由是把客戶端請求的url路徑和用戶請求的應用程式,這裡意指django裡面的視圖進行綁定映射的一種關係。 請求路徑和視圖函數不是一一對應的關係 在django中所有的路由最終都被保存到一個叫urlpatterns的文件里,並且該文件必須在 ...
  • 1、我們的目標是獲取微博某博主的全部圖片、視頻 2、拿到網址後 我們先觀察 打開F12 隨著下滑我們發現載入出來了一個叫mymblog的東西,展開響應發現需要的東西就在裡面 3、重點來了!!! 通過觀察發現第二頁比第一頁多了參數since_id 而第二頁的since_id參數剛好在上一頁中能獲取到, ...
  • 一、實現原理 在Servlet3協議規範中,包含在JAR文件/META-INFO/resources/路徑下的資源可以直接訪問。 二、舉例說明 如下圖所示,是我新建的一個Spring Boot Starter項目:zimug-minitor-threadpool,用於實現可配置、可觀測的線程池。其中 ...
  • 精華筆記: static final常量:應用率高 必須聲明同時初始化 由類名打點來訪問,不能被改變 建議:常量所有字母都大寫,多個單詞用_分隔 編譯器在編譯時會將常量直接替換為具體的數,效率高 何時用:數據永遠不變,並且經常使用 抽象方法: 由abstract修飾 只有方法的定義,沒有具體的實現( ...
  • Python有一個for...else語法,它的寫法如下 for i in range(0,100): if i == 3: break else: print("Not found") 該語句表示:若for迴圈遍歷完畢,則執行else部分的語句。也就是說上述代碼不會有任何輸出,而下述代碼會輸出“N ...