一、前言 掃描件一直受大眾青睞,任何紙質資料在掃描之後進行存檔,想使用時手機就能打開,省心省力。但是掃描件的優點也恰恰造成了它的一個缺點,因為是通過電子設備掃描,所以出來的是圖像,如果想要處理文件上的內容,直接操作是無法實現的。 那要是想要引用其中的內容怎麼辦呢?別擔心,Python幫你解決問題。 ...
一、前言
掃描件一直受大眾青睞,任何紙質資料在掃描之後進行存檔,想使用時手機就能打開,省心省力。但是掃描件的優點也恰恰造成了它的一個缺點,因為是通過電子設備掃描,所以出來的是圖像,如果想要處理文件上的內容,直接操作是無法實現的。
那要是想要引用其中的內容怎麼辦呢?別擔心,Python幫你解決問題。
二、需求描述
現有一份pdf掃描件,我們想把其中的文字提取出來並且分三列寫入csv文檔,內容及效果如下:
pdfexample
csvexample
三、開始動手動腦
pdf掃描件是文檔掃描成電腦圖片格式後轉化成的,提取其中的文字就相當於識別圖片內的文字。所以,我們的工作就是將pdf轉成圖片,再用ocr工具提取圖片中的文字。
3.1 安裝相關第三方包
pip3 install pdf2image pytesseract
3.2 導入需要用到的第三方庫
####Python學習交流群:906715085### import os #處理文件 from pdf2image import convert_from_path # pdf轉圖片 import pytesseract # 識別圖片文字 import csv # 處理csv文件
3.3 讀取pdf文件,並識別內容
tess_ocr(pdf_path, lang, first_page, last_page)
將pdf文件拆分成圖片,並提取文字寫入文本文件
•pdf_path:pdf文件的存儲路徑
•image:代表PDF文檔每頁的PIL圖像列表
•first_page :允許設置由pdftoppm處理的第一個頁面;
•last_page:允許設置最後一頁由pdftoppm處理
•fmt:允許指定輸出格式。目前支持的格式是jpg、png和ppm;
•output_folder:圖片保存路徑
def tess_ocr(pdf_path, lang,first_page,last_page): # 創建一個和pdf同名的文件夾 images = convert_from_path(pdf_path, fmt='png',first_page=first_page,last_page=last_page,output_folder=imagefolder,userpw='site') # 轉成圖片 text = '' for img in images: text += pytesseract.image_to_string(img, lang=lang) # 識別圖片文字 with open(r'example\data.txt' 'a', encoding='utf-8') as f: #寫入txt文件 f.write(text)
## 運行結果
生成一個同名的文件夾存放拆分的圖片,接著提取圖片文字寫入data.txt
image-20211215201838225
image-20211215212147760
運行問題
“
問題拋出1:pdf2image.exceptions.PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH?
”
解決措施: 下載 poppler。
1 方法一:設置環境變數 poppler/bin;
2 方法二:參數指定絕對路徑:images = convert_from_path(pdf_path=pdf_file_path, poppler_path=r’poppler中bin文件所在地址’)
“
問題拋出2:pytesseract.pytesseract.TesseractNotFoundError: tesseract is not installed or it’s not in your PATH. See README file for more information.
”
解決措施: 額外下載安裝tesseract-ocr並配置環境變數。
3.4 對識別的數據進行處理,寫入csv文件
modification(infile, outfile)
清洗生成的文本文檔
•infile:需要進行處理的文件地址
•outfile:處理後生成的新文件的地址
def modification(infile, outfile): infp = open(infile, "r",encoding='utf-8') outfp = open(outfile, "w",encoding='utf-8') lines = infp.readlines() #返回列表,包含所有的行。 #依次讀取每行 for li in lines: if li.split(): #str.split(str="", num=string.count(str)),過濾文件中的空行 # 根據識別情況對數據進行清洗 li = li.replace('[', ' ').replace(']', '') outfp.writelines(li) infp.close() outfp.close()
運行結果
生成一個新的txt文件,新文件刪除了data.txt中的空行,將原文件中錯誤識別的內容替換成正確的。
image-20211215203123576
image-20211215212227592
writercsv(intxt,outcsv)
將文本文件按空格分列寫入csv表格
•intxt:文本文件地址
•outcsv:新生成的csv文件
def writercsv(intxt,outcsv): # 使用newlines=''可保證存儲的數據不空行。 csvFile = open(outcsv, 'a',newline='', encoding='utf-8') writer = csv.writer(csvFile) csvRow = [] f = open(intxt,'r',encoding='utf-8') for line in f: csvRow = line.split() #以空格為分隔符 if len(csvRow)>1 and len(csvRow)<=3: #約束條件,視情況而定 writer.writerow(csvRow) f.close() csvFile.close()
運行結果
生成一個三列csv文件,第一列是英文名,第二列是中文名,第三列是所在國家
image-20211215204846623
image-20211215204941725
總結
通過本次學習實現了從掃描件中提取文字、把內容按要求寫進不同格式的文檔的需求。
最初以為提取pdf的庫也適用於掃描件,嘗試了Pdfplumber庫和PyPDF2庫。
實踐發現Pdfplumber只能識別掃描件pdf中的水印,不適用於掃描件的pdf,而PyPDF2庫運行報錯:NotImplementedError: only algorithm code 1 and 2 are supported。
原因是這個被加密的pdf可能是從高版本的acrobot中來的,所以對應的加密演算法代號為‘4’,然而,現有的pypdf2模塊並只支持加密演算法代號為‘1’或者‘2’的pdf加密文件。
最後,今天的分享到這裡就沒有了,相信到這裡你也已經掌握了,沒有掌握的小伙伴要記得及時提出來,這樣才能更好地解決問題。