數據清洗工具flashtext,效率直接提升了幾十倍數

来源:https://www.cnblogs.com/lwsbc/archive/2022/06/26/16414467.html
-Advertisement-
Play Games

背景: 一般我們可以用HashMap做本地緩存,但是HashMap功能比較弱,不支持Key過期,不支持數據範圍查找等。故在此實現了一個簡易的本地緩存,取名叫fastmap。 功能: 1.支持數據過期 2.支持等值查找 3.支持範圍查找 4.支持key排序 實現思路: 1.等值查找採用HashMap2 ...


在平常的一些的小規模的數據的過濾、清洗過程中使用最多的就是正則表達式,但是隨著數據規模的增大,正則表達式就顯得有些心有餘力不足了。

【閱讀全文】

正則表達式在一個 10k 的詞庫中查找 15k 個關鍵詞的時間差不多是 0.165 秒。但是對於 Flashtext 而言只需要 0.002 秒。因此,在這個問題上 Flashtext的速度大約比正則表達式快 82 倍。

file

從上面的示例圖的性能對比中,可以發現隨著我們需要處理的字元越來越多,正則表達式的處理速度幾乎都是線性增加的。然而,Flashtext 幾乎是一個常量。

1、準備flashtext環境

通過pip的方式來安裝flashtext,或是其他的方式也是可以的,這裡預設使用的是清華大學的鏡像站。

pip install flashtext -i https://pypi.tuna.tsinghua.edu.cn/simple

在準備好flashtext環境以後,來看一下flashtext重要的使用過程,幫助我們能更好的完成數據清洗操作。

2、添加關鍵詞

這裡添加關鍵詞時是通過單個關鍵詞的來添加到關鍵詞詞庫中,使用add_keyword函數來添加。第一次參數表示需要添加的關鍵詞,第二個參數則表示為第一個關鍵詞的別名,如果關鍵詞被找到了則顯示為別名的形式,若是沒有使用第二個參數作為別名則還是顯示原有的名稱。

from flashtext import KeywordProcessor

# 初始化關鍵詞庫處理器

processor = KeywordProcessor()

# 常規方式添加關鍵詞

processor.add_keyword('Python')

# 別名方式添加關鍵詞

processor.add_keyword('Scala', 'Java')

這樣分別使用兩種方式已經將需要的關鍵詞添加到詞庫處理器中了。

3、提取關鍵詞

通過上一步添加關鍵詞,現在詞庫處理器中已經存在有關鍵詞的信息了,再使用extract_keywords將關鍵詞提取出來即可。

# 在一個字元串中提取出關鍵詞信息

found = processor.extract_keywords('I like Python and Scala.')

# 結果

print(found)

# ['Python', 'Java']

結果出來了,跟我們預想的是一樣的,並Scala也顯示為了Java。

4、替換關鍵詞

替換關鍵詞使用的是replace_keywords函數,前提是詞庫中擁有別名的詞才能被替換,就像上面的Scala被顯示成了的Java一樣。

替換一個字元串中的Scala關鍵詞,由於Scala對應的別名是Java,所以一個字元串中的Scala應該被替換為Java。

replaced = processor.replace_keywords('I like Scala.')

# 結果

print(replaced)

# I like Java.

# Scala 果真就被替換為了Java。

5、獲取所有關鍵詞

有些時候,在KeywordProcessor詞庫處理器中添加了哪些關鍵詞可能自己都記不清楚了,這個時候可以使用get_all_keywords函數來獲取當前的所有關鍵詞。

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'python': 'Python', 'scala': 'Java'}

6、批量的添加關鍵詞

當關鍵詞庫需要更多的關鍵詞的時候,可以通過列表或是字典的方式來進行批量的添加。對應的函數分別是add_keywords_from_list、add_keywords_from_dict函數。

# 初始化一個字典通過用來做批量添加

dict_ = {
    'java': ['java_ee', 'java_se', 'java_me'],
    'python': ['pandas', 'all']
}

# 通過字典的方式來批量添加關鍵詞

processor.add_keywords_from_dict(dict_)

# 從批量添加的關鍵詞中匹配關鍵詞

result = processor.extract_keywords('looking for java_ee and pandas.')

# 結果

print(result)

# ['java', 'python']

# 通過列表的方式批量添加關鍵詞

processor.add_keywords_from_list(['scala', 'python', 'scala', 'go'])

# 通過get_all_keywords查看一下所有關鍵詞

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'python': 'python', 'pandas': 'python', 'scala': 'scala', 'java_ee': 'java', 'java_se': 'java', 'java_me': 'java', 'all': 'python', 'go': 'go'}

發現所有的關鍵詞已經添加到詞庫處理器中,並且重覆的不會再次添加。

7、批量刪除關鍵詞

批量刪除詞庫處理器中的關鍵詞同樣是有兩種方式,一個是列表、另一個是字典。對應的函數分別是remove_keywords_from_list、remove_keywords_from_dict函數。

# 批量移除列表中的關鍵詞

processor.remove_keywords_from_list(['python','java_ee','java_me'])

# 批量移除字典中的關鍵詞

processor.remove_keywords_from_dict({'python': ['pandas','all']})

# 通過get_all_keywords查看一下所有關鍵詞

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'scala': 'scala', 'java_se': 'java', 'go': 'go'}

發現需要移除的關鍵詞已經被全部移除了。

8、執行效率對比

為了更可觀的展示效果,找了兩個flashtext在搜索和替換關鍵詞過程中的效率對比圖可以一目瞭然。

flashtext、正則表達式搜索效率對比

file

flashtext、正則表達式搜索替換對比

file

【往期精彩】

file

一個help函數解決了python的所有文檔信息查看...

python 自定義異常/raise關鍵字拋出異常

python 本地音樂播放器製作過程(附完整源碼)

自動化工具:PyAutoGUI的滑鼠與鍵盤控制,解放雙手的利器!

來自程式猿的生日蛋糕你見過嗎?

歡迎關註作者公眾號【Python 集中營】,專註於後端編程,每天更新技術乾貨,不定時分享各類資料!
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 什麼是工廠模式 工廠模式是最常用的設計模式之一,屬於創建型模式。 有點: 解耦,可以把對象的創建和過程分開 減少代碼量,易於維護 什麼時候用? 當一個抽象類有多個實現的時候,需要多次實例化的時候,就要考慮使用工廠模式。 比如:登錄的抽象類ILoginBusiness,它有2個實現,一個用用戶名密碼登 ...
  • 遠程連接ubuntu 提前準備: 在Ubuntu中安裝好ssh 安裝步驟:1.安裝openssh-server 😒udo apt-get install openssh-server ​ (過程中會確認是否希望繼續執行,按y就可) ​ 2.查看是否安裝成功:ps -e |grep ssh ​ 3. ...
  • 1 學習參考 MySQL官方文檔 https://dev.mysql.com/doc/refman/8.0/en/delete.html 節選自 MySQL 8.0 Reference Manual_SQL Statements_Data Manipulation Statements_DELETE ...
  • 第一章 緒論 1.1 資料庫系統概述 1.1.1 資料庫的4個基本概念 數據:描述事物的符號記錄,數據的含義稱為數據的語義,二者是不可分的。 資料庫:資料庫是長期存儲在電腦內、有組織的、可共用的大量數據的集合。 資料庫數據基本特點:永久存儲、有組織、可共用。 資料庫管理系統(DBMS):是電腦的 ...
  • SpringBoot使用Redis教程 應用環境: 存放Token、.... 第一步: 添加Redis依賴 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-re ...
  • 📄前言 這個小項目源於github項目:✨50 projects 50 days, 這個項目包含了50個小型前端項目,適合學習了Html+Css+JavaScript但是還沒有學習框架的前端新手作為練習。 這裡是原項目的代碼實現👉擴展卡片 Expanding Cards 📝分析 📍佈局 卡片 ...
  • 本章是系列文章的第八章,用著色演算法進行寄存器的分配過程。 本文中的所有內容來自學習DCC888的學習筆記或者自己理解的整理,如需轉載請註明出處。周榮華@燧原科技 寄存器分配 寄存器分配是為程式處理的值找到存儲位置的問題 這些值可以存放到寄存器,也可以存放在記憶體中 寄存器更快,但數量有限 記憶體很多,但 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...