數據清洗工具flashtext,效率直接提升了幾十倍數

来源:https://www.cnblogs.com/lwsbc/archive/2022/06/26/16414467.html
-Advertisement-
Play Games

背景: 一般我們可以用HashMap做本地緩存,但是HashMap功能比較弱,不支持Key過期,不支持數據範圍查找等。故在此實現了一個簡易的本地緩存,取名叫fastmap。 功能: 1.支持數據過期 2.支持等值查找 3.支持範圍查找 4.支持key排序 實現思路: 1.等值查找採用HashMap2 ...


在平常的一些的小規模的數據的過濾、清洗過程中使用最多的就是正則表達式,但是隨著數據規模的增大,正則表達式就顯得有些心有餘力不足了。

【閱讀全文】

正則表達式在一個 10k 的詞庫中查找 15k 個關鍵詞的時間差不多是 0.165 秒。但是對於 Flashtext 而言只需要 0.002 秒。因此,在這個問題上 Flashtext的速度大約比正則表達式快 82 倍。

file

從上面的示例圖的性能對比中,可以發現隨著我們需要處理的字元越來越多,正則表達式的處理速度幾乎都是線性增加的。然而,Flashtext 幾乎是一個常量。

1、準備flashtext環境

通過pip的方式來安裝flashtext,或是其他的方式也是可以的,這裡預設使用的是清華大學的鏡像站。

pip install flashtext -i https://pypi.tuna.tsinghua.edu.cn/simple

在準備好flashtext環境以後,來看一下flashtext重要的使用過程,幫助我們能更好的完成數據清洗操作。

2、添加關鍵詞

這裡添加關鍵詞時是通過單個關鍵詞的來添加到關鍵詞詞庫中,使用add_keyword函數來添加。第一次參數表示需要添加的關鍵詞,第二個參數則表示為第一個關鍵詞的別名,如果關鍵詞被找到了則顯示為別名的形式,若是沒有使用第二個參數作為別名則還是顯示原有的名稱。

from flashtext import KeywordProcessor

# 初始化關鍵詞庫處理器

processor = KeywordProcessor()

# 常規方式添加關鍵詞

processor.add_keyword('Python')

# 別名方式添加關鍵詞

processor.add_keyword('Scala', 'Java')

這樣分別使用兩種方式已經將需要的關鍵詞添加到詞庫處理器中了。

3、提取關鍵詞

通過上一步添加關鍵詞,現在詞庫處理器中已經存在有關鍵詞的信息了,再使用extract_keywords將關鍵詞提取出來即可。

# 在一個字元串中提取出關鍵詞信息

found = processor.extract_keywords('I like Python and Scala.')

# 結果

print(found)

# ['Python', 'Java']

結果出來了,跟我們預想的是一樣的,並Scala也顯示為了Java。

4、替換關鍵詞

替換關鍵詞使用的是replace_keywords函數,前提是詞庫中擁有別名的詞才能被替換,就像上面的Scala被顯示成了的Java一樣。

替換一個字元串中的Scala關鍵詞,由於Scala對應的別名是Java,所以一個字元串中的Scala應該被替換為Java。

replaced = processor.replace_keywords('I like Scala.')

# 結果

print(replaced)

# I like Java.

# Scala 果真就被替換為了Java。

5、獲取所有關鍵詞

有些時候,在KeywordProcessor詞庫處理器中添加了哪些關鍵詞可能自己都記不清楚了,這個時候可以使用get_all_keywords函數來獲取當前的所有關鍵詞。

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'python': 'Python', 'scala': 'Java'}

6、批量的添加關鍵詞

當關鍵詞庫需要更多的關鍵詞的時候,可以通過列表或是字典的方式來進行批量的添加。對應的函數分別是add_keywords_from_list、add_keywords_from_dict函數。

# 初始化一個字典通過用來做批量添加

dict_ = {
    'java': ['java_ee', 'java_se', 'java_me'],
    'python': ['pandas', 'all']
}

# 通過字典的方式來批量添加關鍵詞

processor.add_keywords_from_dict(dict_)

# 從批量添加的關鍵詞中匹配關鍵詞

result = processor.extract_keywords('looking for java_ee and pandas.')

# 結果

print(result)

# ['java', 'python']

# 通過列表的方式批量添加關鍵詞

processor.add_keywords_from_list(['scala', 'python', 'scala', 'go'])

# 通過get_all_keywords查看一下所有關鍵詞

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'python': 'python', 'pandas': 'python', 'scala': 'scala', 'java_ee': 'java', 'java_se': 'java', 'java_me': 'java', 'all': 'python', 'go': 'go'}

發現所有的關鍵詞已經添加到詞庫處理器中,並且重覆的不會再次添加。

7、批量刪除關鍵詞

批量刪除詞庫處理器中的關鍵詞同樣是有兩種方式,一個是列表、另一個是字典。對應的函數分別是remove_keywords_from_list、remove_keywords_from_dict函數。

# 批量移除列表中的關鍵詞

processor.remove_keywords_from_list(['python','java_ee','java_me'])

# 批量移除字典中的關鍵詞

processor.remove_keywords_from_dict({'python': ['pandas','all']})

# 通過get_all_keywords查看一下所有關鍵詞

all_keywords = processor.get_all_keywords()

# 結果

print(all_keywords)

# {'scala': 'scala', 'java_se': 'java', 'go': 'go'}

發現需要移除的關鍵詞已經被全部移除了。

8、執行效率對比

為了更可觀的展示效果,找了兩個flashtext在搜索和替換關鍵詞過程中的效率對比圖可以一目瞭然。

flashtext、正則表達式搜索效率對比

file

flashtext、正則表達式搜索替換對比

file

【往期精彩】

file

一個help函數解決了python的所有文檔信息查看...

python 自定義異常/raise關鍵字拋出異常

python 本地音樂播放器製作過程(附完整源碼)

自動化工具:PyAutoGUI的滑鼠與鍵盤控制,解放雙手的利器!

來自程式猿的生日蛋糕你見過嗎?

歡迎關註作者公眾號【Python 集中營】,專註於後端編程,每天更新技術乾貨,不定時分享各類資料!
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 什麼是工廠模式 工廠模式是最常用的設計模式之一,屬於創建型模式。 有點: 解耦,可以把對象的創建和過程分開 減少代碼量,易於維護 什麼時候用? 當一個抽象類有多個實現的時候,需要多次實例化的時候,就要考慮使用工廠模式。 比如:登錄的抽象類ILoginBusiness,它有2個實現,一個用用戶名密碼登 ...
  • 遠程連接ubuntu 提前準備: 在Ubuntu中安裝好ssh 安裝步驟:1.安裝openssh-server 😒udo apt-get install openssh-server ​ (過程中會確認是否希望繼續執行,按y就可) ​ 2.查看是否安裝成功:ps -e |grep ssh ​ 3. ...
  • 1 學習參考 MySQL官方文檔 https://dev.mysql.com/doc/refman/8.0/en/delete.html 節選自 MySQL 8.0 Reference Manual_SQL Statements_Data Manipulation Statements_DELETE ...
  • 第一章 緒論 1.1 資料庫系統概述 1.1.1 資料庫的4個基本概念 數據:描述事物的符號記錄,數據的含義稱為數據的語義,二者是不可分的。 資料庫:資料庫是長期存儲在電腦內、有組織的、可共用的大量數據的集合。 資料庫數據基本特點:永久存儲、有組織、可共用。 資料庫管理系統(DBMS):是電腦的 ...
  • SpringBoot使用Redis教程 應用環境: 存放Token、.... 第一步: 添加Redis依賴 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-re ...
  • 📄前言 這個小項目源於github項目:✨50 projects 50 days, 這個項目包含了50個小型前端項目,適合學習了Html+Css+JavaScript但是還沒有學習框架的前端新手作為練習。 這裡是原項目的代碼實現👉擴展卡片 Expanding Cards 📝分析 📍佈局 卡片 ...
  • 本章是系列文章的第八章,用著色演算法進行寄存器的分配過程。 本文中的所有內容來自學習DCC888的學習筆記或者自己理解的整理,如需轉載請註明出處。周榮華@燧原科技 寄存器分配 寄存器分配是為程式處理的值找到存儲位置的問題 這些值可以存放到寄存器,也可以存放在記憶體中 寄存器更快,但數量有限 記憶體很多,但 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 準備開個系列來聊一下 PerfView 這款工具,熟悉我的朋友都知道我喜歡用 WinDbg,這東西雖然很牛,但也不是萬能的,也有一些場景他解決不了或者很難解決,這時候藉助一些其他的工具來輔助,是一個很不錯的主意。 很多朋友喜歡在項目中以記錄日誌的方式來監控項目的流轉情況,其實 CoreCL ...
  • 本來閑來無事,準備看看Dapper擴展的源碼學習學習其中的編程思想,同時整理一下自己代碼的單元測試,為以後的進一步改進打下基礎。 突然就發現問題了,源碼也不看了,開始改代碼,改了好久。 測試Dapper.LiteSql數據批量插入的時候,耗時20秒,感覺不正常,於是我測試了非Dapper版的Lite ...
  • 需求如下,在DEV框架項目中,需要在表格中增加一列顯示圖片,並且能編輯該列圖片,然後進行保存等操作,最終效果如下 這裡使用的是PictureEdit控制項來實現,打開DEV GridControl設計器,在ColumnEdit選擇PictureEdit: 綁定圖片代碼如下: DataTable dtO ...
  • 前兩天微軟偷偷更新了Visual Studio 2022 正式版版本 17.3 發佈,發佈摘要: MAUI 工作負荷 GA 生成 MAUI/Blazor CSS 熱重載支持 現在,你將能夠使用我們的新增功能在 Visual Studio 中使用每個更新試用一系列新功能。 選擇每個功能以瞭解有關特定功 ...
  • 航天和軍工領域的數字化轉型和建設正在積極推進,在與航天二院、航天三院、航天六院、航天九院、無線電廠、兵工廠等單位交流的過程中,用戶更聚焦試驗和生產過程中的痛點,迫切需要解決軟體平臺統一監測和控制設備及軟體與設備協同的問題。 ...
  • .NET 項目預設情況下 日誌是使用的 ILogger 介面,預設提供一下四種日誌記錄程式: 控制台 調試 EventSource EventLog 這四種記錄程式都是預設包含在 .NET 運行時庫中。關於這四種記錄程式的詳細介紹可以直接查看微軟的官方文檔 https://docs.microsof ...
  • 一:背景 上一篇我們聊到瞭如何去找 熱點函數,這一篇我們來看下當你的程式出現了 非托管記憶體泄漏 時如何去尋找可疑的代碼源頭,其實思路很簡單,就是在 HeapAlloc 或者 VirtualAlloc 時做 Hook 攔截,記錄它的調用棧以及分配的記憶體量, PerfView 會將這個 分配量 做成一個 ...
  • 背景 在 CI/CD 流程當中,測試是 CI 中很重要的部分。跟開發人員關係最大的就是單元測試,單元測試編寫完成之後,我們可以使用 IDE 或者 dot cover 等工具獲得單元測試對於業務代碼的覆蓋率。不過我們需要一個獨立的 CLI 工具,這樣我們才能夠在 Jenkins 的 CI 流程集成。 ...
  • 一、應用場景 大家在使用Mybatis進行開發的時候,經常會遇到一種情況:按照月份month將數據放在不同的表裡面,查詢數據的時候需要跟不同的月份month去查詢不同的表。 但是我們都知道,Mybatis是ORM持久層框架,即:實體關係映射,實體Object與資料庫表之間是存在一一對應的映射關係。比 ...
  • 我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...