項目背景 2019年新型冠狀病毒感染的肺炎疫情發生以來，牽動人心，舉國哀痛，口罩、酒精、消毒液奇貨可居。 搶不到口罩，怎麼辦？作為技術人今天分享如何使用Python實現自動戴口罩系統，來安慰自己，系統效果如下所示： 本系統的實現原理是藉助 Dlib模塊的Landmark人臉68個關鍵點檢測庫輕鬆識別 ...
項目背景
2019年新型冠狀病毒感染的肺炎疫情發生以來，牽動人心，舉國哀痛，口罩、酒精、消毒液奇貨可居。
搶不到口罩，怎麼辦？作為技術人今天分享如何使用Python實現自動戴口罩系統，來安慰自己，系統效果如下所示：
本系統的實現原理是藉助 Dlib模塊的Landmark人臉68個關鍵點檢測庫輕鬆識別出人臉五官數據，根據這些數據，確定嘴唇部分的位置數據（48點~67點位置），根據檢測到嘴部的尺寸和方向，藉助PLL模塊調整口罩的尺寸和方向，實現將口罩放在圖像的適當位置。
頁面設計
基於tkinter模塊實現GUI設計，可載入人物圖像，選擇四種類型口罩（這裡的口罩是處理好的圖片），展示佩戴好口罩的效果，操作完成退出系統，效果如下所示：
頁面佈局實現代碼如下所示：
def __init__(self): self.root = tk.Tk() self.root.title('基於Pyhon的人臉自動戴口罩系統') self.root.geometry('1200x500') self.path1_ = None self.path2_ = None self.seg_img_path = None self.mask = None self.label_Img_seg = None decoration = PIL.Image.open('./pic/bg.png').resize((1200, 500)) render = ImageTk.PhotoImage(decoration) img = tk.Label(image=render) img.image = render img.place(x=0, y=0) # 原圖1的展示 tk.Button(self.root, text="打開頭像", command=self.show_original1_pic).place(x=50, y=120) tk.Button(self.root, text="退出軟體", command=quit).place(x=900, y=40) tk.Label(self.root, text="頭像", font=10).place(x=280, y=120) self.cv_orinial1 = tk.Canvas(self.root, bg='white', width=270, height=270) self.cv_orinial1.create_rectangle(8, 8, 260, 260, width=1, outline='red') self.cv_orinial1.place(x=180, y=150) self.label_Img_original1 = tk.Label(self.root) self.label_Img_original1.place(x=180, y=150) tk.Label(self.root,text="選擇口罩",font=10).place(x=600,y=120) first_pic = Image.open("./pic/Mask.png") first_pic = first_pic.resize((60, 60), Image.ANTIALIAS) first_pic = ImageTk.PhotoImage(first_pic) self.first = tk.Label(self.root, image=first_pic) self.first.place(x=600,y=160, width=60, height=60) self.first.bind("<Button-1>", self.mask0) second_pic = Image.open("./pic/Mask1.png") second_pic = second_pic.resize((60, 60), Image.ANTIALIAS) second_pic = ImageTk.PhotoImage(second_pic) self.second_pic = tk.Label(self.root, image=second_pic) self.second_pic.place(x=600, y=230, width=60, height=60) self.second_pic.bind("<Button-1>", self.mask1) third_pic = Image.open("./pic/Mask3.png") third_pic = third_pic.resize((60, 60), Image.ANTIALIAS) third_pic = ImageTk.PhotoImage(third_pic) self.third_pic = tk.Label(self.root, image=third_pic) self.third_pic.place(x=600, y=300, width=60, height=60) self.third_pic.bind("<Button-1>", self.mask3) forth_pic = Image.open("./pic/Mask4.png") forth_pic = forth_pic.resize((60, 60), Image.ANTIALIAS) forth_pic = ImageTk.PhotoImage(forth_pic) self.forth_pic = tk.Label(self.root, image=forth_pic) self.forth_pic.place(x=600, y=370, width=60, height=60) self.forth_pic.bind("<Button-1>", self.mask4) tk.Label(self.root, text="佩戴效果", font=10).place(x=920, y=120) self.cv_seg = tk.Canvas(self.root, bg='white', width=270, height=270) self.cv_seg.create_rectangle(8, 8, 260, 260, width=1, outline='red') self.cv_seg.place(x=820, y=150) self.label_Img_seg = tk.Label(self.root) self.label_Img_seg.place(x=820, y=150) self.root.mainloop()
載入人物圖像，實現代碼如下所示：
# 原圖1展示 def show_original1_pic(self): self.path1_ = askopenfilename(title='選擇文件') print(self.path1_) self.Img = PIL.Image.open(r'{}'.format(self.path1_)) Img = self.Img.resize((270,270),PIL.Image.ANTIALIAS) # 調整圖片大小至256x256 img_png_original = ImageTk.PhotoImage(Img) self.label_Img_original1.config(image=img_png_original) self.label_Img_original1.image = img_png_original # keep a reference self.cv_orinial1.create_image(5, 5,anchor='nw', image=img_png_original)
人臉戴口罩展示，實現代碼如下所示：
# 人臉戴口罩效果展示 def show_morpher_pic(self): img1 = cv2.imread(self.path1_) x_min, x_max, y_min, y_max, size = self.get_mouth(img1) adding = self.mask.resize(size) im = Image.fromarray(img1[:, :, ::-1]) # 切換RGB格式 # 在合適位置添加頭髮圖片 im.paste(adding, (int(x_min), int(y_min)), adding) # im.show() save_path = self.path1_.split('.')[0]+'_result.jpg' im.save(save_path) Img = im.resize((270, 270), PIL.Image.ANTIALIAS) # 調整圖片大小至270x270 img_png_seg = ImageTk.PhotoImage(Img) self.label_Img_seg.config(image=img_png_seg) self.label_Img_seg.image = img_png_seg # keep a reference
導入四種口罩圖像，實現代碼如下所示：
def mask0(self, event): self.mask = Image.open('pic/mask.png') self.show_morpher_pic() def mask1(self, event): self.mask = Image.open('pic/mask1.png') self.show_morpher_pic() def mask3(self, event): self.mask = Image.open('pic/mask3.png') self.show_morpher_pic() def mask4(self, event): self.mask = Image.open('pic/mask4.png') self.show_morpher_pic()
器官識別
頁面功能實現後就是依托Dlib庫實現人臉器官關鍵點的識別，分析出嘴部位置及尺寸，這裡為了方便各位直觀瞭解，寫了一個測試Demo，將人物臉部關鍵點都顯示出來，代碼如下所示：
#coding=utf-8 #圖片檢測 - Dlib版本 import cv2 import dlib import time t=time.time() path = "./pic/im.jpg" img = cv2.imread(path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #人臉分類器 detector = dlib.get_frontal_face_detector() # 獲取人臉檢測器 predictor = dlib.shape_predictor( "./shape_predictor_68_face_landmarks.dat" ) dets = detector(gray, 1) for face in dets: shape = predictor(img, face) # 尋找人臉的68個標定點 # 遍歷所有點，列印出其坐標，並圈出來 for pt in shape.parts(): pt_pos = (pt.x, pt.y) cv2.circle(img, pt_pos, 1, (0, 255, 0), 2) cv2.imshow("image", img) print('所用時間為{}'.format(time.time()-t)) cv2.waitKey(0) #cv2.destroyAllWindows() time.sleep(5)
效果如下所示：
在本系統中這些關鍵點無需繪製顯示，直接使用就可以，實現代碼如下所示：
def get_mouth(self, img): img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) detector = dlib.get_frontal_face_detector() predictor = dlib.shape_predictor('./shape_predictor_68_face_landmarks.dat') faces = detector(img_gray, 0) for k, d in enumerate(faces): x = [] y = [] # 人臉大小的高度 height = d.bottom() - d.top() # 人臉大小的寬度 width = d.right() - d.left() shape = predictor(img_gray, d) # 48-67 為嘴唇部分 for i in range(48, 68): x.append(shape.part(i).x) y.append(shape.part(i).y) # 根據人臉的大小擴大嘴唇對應口罩的區域 y_max = (int)(max(y) + height / 3) y_min = (int)(min(y) - height / 3) x_max = (int)(max(x) + width / 3) x_min = (int)(min(x) - width / 3) size = ((x_max - x_min), (y_max - y_min)) return x_min, x_max, y_min, y_max, size
退出系統
退出系統非常簡單，一行Demo即可實現，如下所示：
def quit(self): self.root.destroy()
