Python基礎系列講解-自動控制windows桌面

原鏈接：https://zhuanlan.zhihu.com/p/73001806 在使用PC時與PC交互的主要途徑是看屏幕顯示、聽聲音，點擊滑鼠和敲鍵盤等等。在自動化辦公的趨勢下，繁瑣的工作可以讓程式自動完成。比如自動化測試、自動下單交易等。很多軟體除了可以GUI方式操作外還可以用CLI介面操作， ...

原鏈接：https://zhuanlan.zhihu.com/p/73001806

在使用PC時與PC交互的主要途徑是看屏幕顯示、聽聲音，點擊滑鼠和敲鍵盤等等。在自動化辦公的趨勢下，繁瑣的工作可以讓程式自動完成。比如自動化測試、自動下單交易等。很多軟體除了可以GUI方式操作外還可以用CLI介面操作，不過當一些軟體未提供CLI介面時，我們應該怎麼辦呢？我們還可以用程式控制桌面上的視窗、模擬點擊滑鼠或按下鍵盤等動作來釋放自己。

pywin32是一個Python庫，它為Python提供訪問Windows API的擴展，提供了齊全的windows常量、介面、線程以及COM機制等等，安裝後會自帶一個pythonwin的IDE。接下來主要介紹下如何通過Python去操作windows桌面軟體。

1、打開軟體或文件，比如打開一個谷歌瀏覽器，或者打開一個word文件，如下所示：

win32api.ShellExecute(1, 'open',
 r'C:Program Files (x86)GoogleChromeApplicationchrome.exe',
 '', '', 1)
win32api.ShellExecute(1, 'open',
 r'C:UsersJayDesktopEnvironment Guider.docx',
 '', '', 1)

win32api.ShellExecute()的參數主要包括：

HWND：指定父視窗句柄

Operation：指定動作，譬如"edit",“explore”,“open”,“find”,“print”,“NULL”

FileName：指定要打開的文件或程式

Parameters：指定打開程式所需參數

Directory：預設目錄

ShowCmd：打開選項，可選值:

•SW_HIDE = 0; {隱藏視窗，活動狀態給令一個視窗}
•SW_SHOWNORMAL = 1; {用最近的大小和位置顯示視窗, 同時令其進入活動狀態}
•SW_NORMAL = 1; {用當前的大小和位置顯示一個視窗，不改變活動視窗}
•SW_SHOWMINIMIZED = 2; {最小化視窗，並將其激活}
•SW_SHOWMAXIMIZED = 3; {最大化視窗，並將其激活}
•SW_MAXIMIZE = 3; {同 SW_SHOWMAXIMIZED}
•SW_SHOWNOACTIVATE = 4; {用最近的大小和位置顯示一個視窗，不改變活動視窗}
•SW_SHOW = 5; {用當前的大小和位置顯示一個視窗，令其進入活動狀態}
•SW_MINIMIZE = 6; {最小化視窗, 不激活}
•SW_SHOWMINNOACTIVE = 7; {同 SW_MINIMIZE}
•SW_SHOWNA = 8; {用當前的大小和位置顯示一個視窗，不改變活動視窗}
•SW_RESTORE = 9; {同 SW_SHOWNORMAL}
•SW_SHOWDEFAULT = 10; {同 SW_SHOWNORMAL}
•SW_MAX = 10; {同 SW_SHOWNORMAL}

執行成功會返回應用程式句柄，如果返回值 <= 32，則表示執行錯誤。返回值可能的錯誤有:

0—— {記憶體不足}

2—— {文件名錯誤}

3—— {路徑名錯誤}

11—— {EXE 文件無效}

26—— {發生共用錯誤}

27—— {文件名不完全或無效}

28—— {超時}

29—— {DDE 事務失敗}

30—— {正在處理其他 DDE 事務而不能完成該 DDE 事務}

31—— {沒有相關聯的應用程式}

2、查找窗體的句柄。在win32編程的世界里，包括視窗到文本框的所有控制項都是窗體，所有的窗體都有獨立的句柄。要操作任意一個窗體，都需要找到這個窗體的句柄。句柄是一個32位整數，在windows中用於標記對象。比如查找Snipping Tool和New Text Document.txt的句柄，如下所示：

para_hld = win32gui.FindWindow(None, "Snipping Tool")# 1836416
para_hld = win32gui.FindWindow(None, "New Text Document.txt - Notepad")# 591410

win32gui.FindWindow()屬於win32gui的模塊，它自頂層視窗（也就是桌面）開始搜索條件匹配的窗體，並返回這個窗體的句柄。該函數僅能查找主視窗，因此無法搜索子視窗，也不區分大小寫，未找到則返回0。

win32gui.FindWindow()的參數主要包括 (lpClassName=None, lpWindowName=None):

•lpClassName：字元型，窗體的類名，可以在Spy++里找到

•lpWindowName：字元型，視窗名，也就是標題欄上能看見的那個標題。

3、查找句柄的類名和標題。比如通過Snipping Tool和New Text Document.txt的句柄查找對應的類名和標題，如下所示：

title = win32gui.GetWindowText(1836416)
classname = win32gui.GetClassName(1836416)
print "windows handler:{0}; title:{1}; classname:{2}".format(1836416, title, classname)

列印顯示如下：

windows handler:1836416; title:Snipping Tool; classname:Microsoft-Windows-Tablet-SnipperToolbar
title = win32gui.GetWindowText(591410)
classname = win32gui.GetClassName(591410)
print "windows handler:{0}; title:{1}; classname:{2}".format(591410, title, classname)

列印顯示如下：

windows handler:591410; title:New Text Document.txt - Notepad; classname:Notepad

4、調用win32gui.EnumWindows()枚舉所有視窗句柄，直到最後一個頂層視窗被枚舉則停止枚舉過程。如下所示：

hWndList = []
win32gui.EnumWindows(lambda hWnd, param: param.append(hWnd), hWndList)
print hWndList
for hwnd in hWndList:
 title = win32gui.GetWindowText(hwnd)
 print title

列印顯示如下：

[852802L, 65946L, 65928L, 65930L, 65900L, 65920L, 65924L, 65922L, 65944L, 65892L, 65886L, 6817870L, 65960L, 6031410L, …… 66052L, 65734L]
……
New Text Document.txt - Notepad
Snipping Tool
DDE Server Window
OfficePowerManagerWindow
OfficePowerManagerWindow
DDE Server Window
GDI+ Window
Global Internet Access
……

5、win32gui.SetForegroundWindow()函數將指定窗體設置到最頂層，並且激活該視窗。

構造函數為：win32gui.SetWindowPos（HWN hWnd，HWND hWndlnsertAfter, int X，int Y, int cx，int cy, UNIT．Flags）

關於win32gui.SetForegroundWindow(para_hld)報錯的問題：

pywintypes.error: (0, ‘SetForegroundWindow’, ‘No error message is available’)

其實調用SetForegroundWindow()會有很多限制，參考官網的說明：https://docs.microsoft.com/en-us/windows/desktop/api/winuser/nf-winuser-setforegroundwindow

因此調用SetForegroundWindow()時需要查看當前運行的條件是否符合上述要求，此處在調用SetForegroundWindow()前事先發送一個鍵盤event來解決該問題。

常式如下所示：

win32api.keybd_event(13, 0, 0, 0) #
win32gui.SetForegroundWindow(para_hld)

6、win32api.keybd_event()模擬鍵盤輸入。

構造函數如下所示：

win32api.keybd_event (bVk, bScan, dwFlags, dwExtraInfo)

•bVk：虛擬鍵碼（鍵盤鍵碼對照表見附錄）；

•bScan：硬體掃描碼，一般設置為0即可；

•dwFlags：函數操作的一個標誌位，如果值為KEYEVENTF_EXTENDEDKEY則該鍵被按下，也可設置為0即可，如果值為KEYEVENTF_KEYUP則該按鍵被釋放；

•dwExtraInfo：定義與擊鍵相關的附加的32位值，一般設置為0即可。

按下enter鍵後抬起的常式如下所示：

win32api.keybd_event(13,0,0,0) # enter
win32api.keybd_event(13,0,win32con.KEYEVENTF_KEYUP,0) #釋放按鍵

7、模擬滑鼠輸入。直接給出常式，如下所示：

# 獲取滑鼠當前位置的坐標
print win32api.GetCursorPos()
# 將滑鼠移動到坐標處
win32api.SetCursorPos((100, 100))
# 左點擊
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 100, 100, 0, 0)
time.sleep(2)
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 100, 100, 0, 0)

8、關於滑鼠鍵盤的操作還可以使用PyUserInput庫。PyUserInput是一個使用python的跨平臺的操作滑鼠和鍵盤的模塊，使用非常方便。支持的平臺及依賴如下：

•Linux - Xlib

•Mac - Quartz, AppKit

•Windows - pywin32, pyHook

實例化一個滑鼠和鍵盤對象，如下所示：

from pymouse import PyMouse
from pykeyboard import PyKeyboard
m = PyMouse()
k = PyKeyboard()
操作滑鼠和鍵盤，如下所示：
m.click(190,70,1)#移動並且在xy位置點擊
time.sleep(2)
m.click(190, 200, 1)#移動並且在xy位置點擊
time.sleep(2)
k.tap_key(k.function_keys[5])#–點擊功能鍵F5