python重要模塊之subprocess模塊

来源:https://www.cnblogs.com/xiaoyafei/archive/2018/05/15/9043288.html
-Advertisement-
Play Games

python重要模塊之subprocess模塊 我們經常要通過python去執行系統的命令或者腳本，系統的shell命令是獨立於你的python進程之外的，每執行一條命令，就相當於發起了一個新的進程，通過python調用系統命令或腳本的模塊。 之前我們也學到過和系統交互的模塊 os模塊 除了so.s ...


python重要模塊之subprocess模塊

我們經常要通過python去執行系統的命令或者腳本，系統的shell命令是獨立於你的python進程之外的，每執行一條命令，就相當於發起了一個新的進程，通過python調用系統命令或腳本的模塊。

之前我們也學到過和系統交互的模塊-os模塊

In [1]: import os

In [2]: os.system('uname -a')
Linux host-10-200-137-195 3.10.0-693.21.1.el7.x86_64 #1 SMP Wed Mar 7 19:03:37 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
Out[2]: 0  # 命令的執行返回結果，0為執行成功，非0表示失敗

除了so.system可以調用系統命令，commands和popen2等也可以，因為比較亂，所以官方推出了subprocess，目的就是提供統一的模塊來實現對系統命令或腳本的調用。簡單演示下commands的用法：
commands模塊講解

# commands模塊，在python2中運行

>>> import commands  # 導入這個模塊
>>> status,output = commands.getstatusoutput('ls')  
>>> status  # 代表shell命令的返回狀態
0
>>> output  # 代表shell命令你的執行結果
'anaconda-ks.cfg'

三種命令的執行方式

  • subprocess.run() # 官方推薦
  • subprocess.call() # 跟run()方法差不多，另一種寫法
  • subprocess.Popen() # 上面各種方法的封裝

run()方法

標準寫法

subprocess.run(['df','-h'],stderr=subprocess.PIPE,stdout=subprocess.PIPE,check=True)

慢慢來講：

In [2]: subprocess.run(['df','-h'])  # 這個是將shell命令拆分成列表的形式寫
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   50G  2.2G   48G   5% /
devtmpfs                 3.9G     0  3.9G   0% /dev
tmpfs                    3.9G     0  3.9G   0% /dev/shm
tmpfs                    3.9G  8.4M  3.9G   1% /run
tmpfs                    3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/vda1                509M  175M  335M  35% /boot
tmpfs                    783M     0  783M   0% /run/user/0
Out[2]: CompletedProcess(args=['df', '-h'], returncode=0)  # 返回了一個對象

# 賦值
a = subprocess.run(['df','-h'])  # 此時a就是返回的那個對象，通過這個對象，我們可以使用很多方法

In [3]: a  # 就是返回的那個對象
Out[3]: CompletedProcess(args=['df', '-h'], returncode=0)

In [4]: a.returncode  # 查看shell命令執行狀態
Out[4]: 0

In [5]: a.args  # 查看所帶的參數
Out[5]: ['df', '-h']

In [6]: a.check_returncode  # 判斷命令執行狀態是否為0，不為0則報錯
Out[6]: <bound method CompletedProcess.check_returncode of CompletedProcess(args=['df', '-h'], returncode=0)>

In [7]: a.stdout

In [8]: a.stderr

那麼問題來了，為什麼a.stdout和a.stderr沒有輸出任何東西呢？讓我們來看看subprocess模塊內部的工作機制吧？

通過python去執行Liunx命令，相當於發起了一個新的進程，我們比如： 在Word文檔中把QQ打開了，word要占用記憶體，QQ也要占用記憶體，那麼在word中能不能給QQ里的好友發送消息呢？
答案是不能的，因為：如果wold可以去訪問QQ的記憶體數據，那麼就可以通過QQ發送數據了，那麼就會有一個問題出現，QQ被搞崩了，所以操作系統為了避免這樣的事情發生，就嚴格的限制了每個進程在記憶體中都是獨立的，我們再打個比方：在瀏覽器中複製粘貼，其實就是通過操作系統去實現的，操作系統也有著自己的記憶體，從瀏覽器中賦值的內容，然後通過操作系統導給QQ等，操作系統可以訪問每個進程的記憶體。
python和shell的關係就是這樣，subprocess幫我們發起了一個進程然後得到結果，python和shell之間是不互通的，如果想要互通，那麼就需要有個橋梁，即python和操作系統之間的橋梁。
所以就會有這麼一種寫法了

subprocess.run([ls'','-l'],stdout=subprocess.PIPE,stderr=subprocess.PIPE)
其中PIPE就相當於是橋梁，stdout和stderr被稱為標準輸出
# 此時讓我們再看一下運行結果
In [9]: a = subprocess.run(['ls','-l'],stdout=subprocess.PIPE,stderr=subprocess.PIPE)

In [10]: a.stdout  # 標準輸出
Out[10]: b'total 4\n-rw-------. 1 root root 1224 Oct 15  2016 anaconda-ks.cfg\n'

In [11]: a.stderr  # 標準錯誤輸出
Out[11]: b''

繼續往下講，在run()方法中,check=True是啥意思呢?寫代碼看下：

In [13]: a = subprocess.run(['ls','-ldada'],stdout=subprocess.PIPE,stderr=subprocess.PIPE,check=True)  # 故意設置shell命令是錯誤的，結果並不檢查
    ...: 

In [14]: a = subprocess.run(['ls','-lkjh'],stdout=subprocess.PIPE,stderr=subprocess.PIPE,check=True)  # 檢查shell命令是否正確，不正確則報錯
---------------------------------------------------------------------------
CalledProcessError                        Traceback (most recent call last)
<ipython-input-14-0e63d8200326> in <module>()
----> 1 a = subprocess.run(['ls','-lkjh'],stdout=subprocess.PIPE,stderr=subprocess.PIPE,check=True)

/usr/local/lib/python3.6/subprocess.py in run(input, timeout, check, *popenargs, **kwargs)
    416         if check and retcode:
    417             raise CalledProcessError(retcode, process.args,
--> 418                                      output=stdout, stderr=stderr)
    419     return CompletedProcess(process.args, retcode, stdout, stderr)
    420 

CalledProcessError: Command '['ls', '-lkjh']' returned non-zero exit status 2.

In [15]: a = subprocess.run(['ls','-lkjh'],stdout=subprocess.PIPE,stderr=subprocess.PIPE)

In [16]: a = subprocess.run(['ls','-lkjh'],stdout=subprocess.PIPE,stderr=subprocess.PIPE),check=True
  File "<ipython-input-16-15adea8e8d2f>", line 1
    a = subprocess.run(['ls','-lkjh'],stdout=subprocess.PIPE,stderr=subprocess.PIPE),check=True
       ^
SyntaxError: can't assign to function call

如果想執行複雜的shell命令，讓我們來看看怎麼寫？

In [17]: a = subprocess.run(['df','-h','|','grep','Used'],stdout=subprocess.PIPE,stderr=subprocess.PI
    ...: PE)  # 剛剛的ls -l不就是這樣的嘛一直拼參數怎麼會報錯了呢

In [18]: a.stderr  # 我知道是錯誤的，故意直接寫的是標準錯誤輸出
Out[18]: b'df: \xe2\x80\x98|\xe2\x80\x99: No such file or directory\ndf: \xe2\x80\x98grep\xe2\x80\x99: No such file or directory\ndf: \xe2\x80\x98Used\xe2\x80\x99: No such file or directory\n'

# 其實應該這樣寫
In [21]: a = subprocess.run('df -h | grep Used',stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)

In [22]: a.stdout
Out[22]: b'Filesystem               Size  Used Avail Use% Mounted on\n'

In [23]: a.stderr
Out[23]: b''
# shell=True這樣寫就是告訴subprocess，你之前幫我拼參數，但是現在不用了，只需要把整條命令傳遞個shell去處理就行了

call()方法

廢話不多說，直接看代碼

In [24]: subprocess.call(['ls','-l'])
total 4
-rw-------. 1 root root 1224 Oct 15  2016 anaconda-ks.cfg
Out[24]: 0  # 命令執行的返回狀態，0代表成功

# 執行命令，如果命令結果為0，就正常返回，否則拋異常
In [25]: subprocess.check_call(['ls','-l'])
total 4
-rw-------. 1 root root 1224 Oct 15  2016 anaconda-ks.cfg
Out[25]: 0

In [26]: subprocess.check_call(['ls','-lhgj'])
ls: invalid option -- 'j'
Try 'ls --help' for more information.
---------------------------------------------------------------------------
CalledProcessError                        Traceback (most recent call last)
<ipython-input-26-c38033ac38dc> in <module>()
----> 1 subprocess.check_call(['ls','-lhgj'])

/usr/local/lib/python3.6/subprocess.py in check_call(*popenargs, **kwargs)
    289         if cmd is None:
    290             cmd = popenargs[0]
--> 291         raise CalledProcessError(retcode, cmd)
    292     return 0
    293 

CalledProcessError: Command '['ls', '-lhgj']' returned non-zero exit status 2.

# 接受字元串格式的命令，返回元組形式，第1個元素是執行狀態，第2個是命令結果
In [27]: subprocess.getstatusoutput('ls /bin/ls')
Out[27]: (0, '/bin/ls')

# 接收字元串格式命令，並返回結果
In [29]: subprocess.getoutput('df -h | grep Used')
Out[29]: 'Filesystem               Size  Used Avail Use% Mounted on'

# 執行命令並返回結果，註意是返回結果，不是列印，

Popen()方法

常用參數

  • args:shell命令，可以是字元或者序列化類型（list,tuple）
  • stdint,stdout,stderr:分別表示程式的標準輸入、輸出、錯誤
  • preexec_fn:只在Unix平臺下有效，用於指定一個可執行對象，它將在子進程運行之前被調用
  • shell:同上
  • cwd:用於指定子進程的當前目錄
  • env:用於指定子進程的環境變數，如果env=None，子進程的環境變數將會從父進程中繼承

下麵這兩條語句執行會有什麼區別？

In [7]: a = subprocess.call('sleep 10',shell=True,stdout=subprocess.PIPE)  # 它會一直等待著這段代碼執行完才結束

In [8]: a = subprocess.Popen('sleep 10',shell=True,stdout=subprocess.PIPE)  # 相當於是有兩個進程，主程式繼續下一步行動，其餘則另開一個新的進程執行sleep 10

如果你調用的命令或腳本需要哦執行10分鐘，你的主程式不需卡在哪裡等待10分鐘，可以繼續往下走乾別的事情，每過一會，就可以通過poll(）方法去檢測一下這個命令是否執行完成。
Popen調用後會返回一個對象，可以通過這個對象拿到命令的執行結果或狀態等，該對象有以下方法：
1.poll():查看這個進程的執行狀態，沒有執行完則不輸出，執行正確輸出0，錯誤非0

In [13]: a = subprocess.Popen('sleep 10',shell=True,stdout=subprocess.PIPE)

In [14]: a.poll()

2.wait():等待這個進程結束,知道返回運行結果

In [15]: a = subprocess.Popen('sleep 10',shell=True,stdout=subprocess.PIPE)

In [16]: a.wait()
Out[16]: 0

3.terminate():終止所啟動的進程
4.kill():殺死所啟動的進程

In [24]: a = subprocess.Popen('for i in $(seq 1 100);do sleep 1;echo $i >> sleep1.log;done',shell=True,stdou
    ...: t=subprocess.PIPE)

In [25]: a.terminate  # 這個是記憶體地址
Out[25]: <bound method Popen.terminate of <subprocess.Popen object at 0x7f49d85717f0>>

In [26]: a.terminate()  # 殺死進程的一種方法

In [28]: a = subprocess.Popen('for i in $(seq 1 100);do sleep 1;echo $i >> sleep1.log;done',shell=True,stdou
    ...: t=subprocess.PIPE)

In [29]: a.kill()  # 殺死進程的另一種方法

5.pid():獲取子進程的pid

In [30]: a = subprocess.Popen('for i in $(seq 1 100);do sleep 1;echo $i >> sleep1.log;done',shell=True,stdou
    ...: t=subprocess.PIPE)

In [33]: a.pid
Out[33]: 4931

現在講一下Popen方法的其中幾個參數

# cwd設置子進程的當前目錄
In [4]: a = subprocess.Popen('echo $PWD;sleep 2',shell=True,cwd='/tmp',stdout=subprocess.PIPE)

In [5]: a.stdout.read()
Out[5]: b'/tmp\n'

# preexec_fn=  在子進程運行之前被調用

# 最後一個，與程式的交互，communicate(),發送數據到stdin，並從stdout接收輸入，然後等待任務結束

這是一個猜數字的游戲1.py
 11 import random
 12      
 13 num = random.randint(1,100)
 14 your_guess = int(input('your_guess:'))
 15      
 16 if your_guess > num:
 17     print('bigger')
 18 elif yur_guess < num:
 19     print('smaller')
 20 else:
 21     print('ok')   

程式交互：
>>> import subprocess
>>> a = subprocess.Popen('python3 1.py',shell=True,stdout=subprocess.PIPE)
然後：
a.communicate(b'22')  # 就可以了，我的xshell一運行就斷開連接，所以，我就不演示啦。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • python最重要的模塊logging
    logging模塊 這個模塊是目前最重要的模塊！！！我一定給講透徹一點 很多程式都有記錄日誌的需求，並且日誌中包含的信息即有正常的程式訪問日誌，還可能有錯誤、警告等信息輸出，python中的logging模塊提供了標準的日誌介面，你可以通過它存儲各種級別的日誌，Logging的日誌可以分為以下5個級 ...
  • Python Appium筆記（一）：Appium Android環境配置及示例
    (一) 簡介 Appium是一個開源的自動化測試框架，可以用來測試基於iOS、Android和Firefox OS平臺的原生和混合應用。該框架使用Selenium Webdriver,在執行測試時和Selenium server通信的是JSON Wire Protocol。Appium允許我們使用， ...
  • Python Django框架筆記（六）：模板
    （一）{%%}和{{ }} {%%}：裡面的是模板標簽，{{}}裡面的是變數 {%%}標簽： 只有模板變數、字元串、整數和小數可以作為 {% ifequal %} 標簽的參數,像字典、列表、布爾類型的是不能用在 {% ifequal %}中的，例如{% ifequal test [1,2,3] %} ...
  • tomcat中如何讀取properties文件
    最近正在努力學習中。。。我會把我每天學到的知識上傳到我的博客中，希望和大家交流，勿噴》、 首先要明白普通java項目跟伺服器中的路徑是不同的，普通java項目尋找路徑直接寫絕對路徑就可以，但是伺服器上的路徑不能直接寫你的eclips中的路徑。 當你的servlet類編譯以後，它會編譯到你的tomca ...
  • Python書單推薦一波【內含PDF下載地址】
    Python 之所以這麼流行得益於它適用於很多不同領域，目前 Python 使用最廣泛的領域包括有 Python Web（後端）開發、數據分析挖掘、網路爬蟲、機器學習人工智慧、運維開發等等。不管你選擇哪個方向，把Python基礎學牢有利於你在該領域更好的施展拳腳。 入門系列 《Python編程：從入 ...
  • Java 隨心筆記5
    1.修改 list.get(i).name = name_1;一、封裝 1.成員變數增加private，在其他類訪問成員變數，無法訪問 2.無關成員方法，因為方法還用public來修飾 作用： 1、提高了代碼的復用性。 2、隱藏了實現細節，還要對外提供可以訪問的方式。便於調用者的使用。這是核心之一， ...
  • 二分搜索樹的深度優先遍歷和廣度優先遍歷
    二分搜索樹的特點 二分搜索樹首先是一個二叉樹，其次其必須滿足的條件是：每個節點的鍵值必須大於其左子節點，每個節點的鍵值必須小於其右子節點，這樣以左右孩子為根的子樹仍為二分搜索樹，需要註意的是，二分搜索樹不一定是一顆完全二叉樹。 深度優先遍歷 深度優先遍歷的基本思想：對每一個可能的分支路徑深入到不能再 ...
  • 《R數據挖掘入門》一書的部分彩色插圖
    有色彩的圖更加令人振奮。 第8章 圖8.4 圖8.5 圖8.6 圖8.7 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類