Linux伺服器配置GPU版本的pytorch Torchvision TensorFlow

来源:https://www.cnblogs.com/TimberNie/archive/2020/01/16/12200424.html
-Advertisement-
Play Games

Linux伺服器下運行同時包含CPU和GPU版本TensorFlow的項目,對於GPU版本,首先使用Anaconda建立GPU環境,首先將本地環境同步到服務上,再卸載cpu版本的pytorch和TensorFlow,下載GPU版對應版本的pytorch和TensorFlow。執行不同版本項目時,只需... ...


  最近在Linux伺服器上配置項目,項目需要使用GPU版本的pytorch和TensorFlow,而且該項目內會同時使用TensorFlow的GPU和CPU。

  在伺服器上裝環境,如果重新開始,就需要下載很多依賴包,而且如果直接在系統上安裝包,可能會和伺服器上的其他包發生衝突,因此使用Anaconda創建虛擬環境來管理項目的依賴包。Anaconda的安裝可以去清華大學的鏡像下載,速度比較快,選擇對應的版本就可以了  https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 。我需要下載python3.6對應的Anaconda可以對照下麵這張圖片來查看,選擇Anaconda3-5.2.0版本就可以了。(但是其實我下載成了anaconda2,不過並不影響後續使用)

  Anaconda下載之後會在~/.bashrc中添加一條環境變數。如果首次運行conda命令找不到,就source ~/.bashrc。

  配置好Anaconda後,如果要創建虛擬環境,重新下載包也需要很麻煩的操作,而且需要對照以前的項目進行一一下載。這太撈了,我們考慮直接將本地項目的anaconda環境打包好上傳到伺服器上,就可以使用本地的虛擬環境了。具體做法是,首先到本地的Anaconda環境目錄下,我的是/home/timber/anaconda2/envs ,這個目錄下就是用戶創建的anaconda環境。直接打包 

tar -cvf name.tar your_env_name/

 然後將這個文件用scp上傳到伺服器下的(anaconda2_dir)/envs下,

scp name.tar remote_username@remote_ip:anaconda_dir/envs

接著在伺服器的anaconda的envs目錄下解壓name.tar

tar -xvf name.tar

 環境就移植到伺服器上了,可以在伺服器上通過conda env list檢驗是否有我們剛移植的環境。

  本地安裝的環境是cpu版本的pytorch和TensorFlow,首先將pytorch卸載

conda activate project #激活環境
conda uninstall pytorch

 然後去清華大學的鏡像下下載pytorch(因為官方下載超級慢)。需要首先配置清華大學鏡像。

依次運行以下命令

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

上面三條是配置清華鏡像源,下麵一條是配置pytorch源。然後去到官網,選擇你對應的pytorch版本,找到下載命令,比如,最新版本的Pytorch在cuda10下麵的官方下載命令是

conda install pytorch torchvision cudatoolkit=10.1 -c pytorch

 但是,不要用這條命令,由於添加了鏡像源,我們去掉上面命令的-c pytorch,運行

conda install pytorch torchvision cudatoolkit=10.1 

 就可以用清華鏡像下載了。如果要下載歷史版本的pytorch,以1.0為例,就用

conda install pytorch==1.0 torchvision cudatoolkit=10.1 -c pytorch

 安裝好之後,torchvision不一定能配套使用,因為Torch已經更換了,所以可能會存在版本不一致的問題,卸載torchvision,然後下載對應版本的torchvision。

  出現的第一個問題是torchvision下沒有totensor,重裝0.2.0的torchvision。

  第二個問題是This application failed to start because it could not faind or load the Qt platform plugin "xcb" in "".

 Reinstalling the application may fix the problem.這個提示告訴我們在Qt平臺插件中找不到XCB,提示我們重裝,那我們就重裝唄,重裝pyqt

conda uninstall pyqt
conda uninstall qt
conda install pyqt

   我的項目使用了GPU版本的Tensorflow,需要裝GPU版本的TensorFlow。

  這裡還有個問題是,人臉識別和車輛檢測都使用了TensorFlow,一個是CPU版本,一個是GPU版本,會有衝突嗎。TensorFlow的GPU版本是可以跑cpu的,所以先把之前的TensorFlow卸載掉。下載了GPU版本的

conda install tensorflow-gpu==1.12.0

 但是這裡同時下載了cuda的9.0的toolkit,之前下載torch的時候使用了cuda10的toolkit,不知道會怎麼樣。測試之後發現沒有衝突。

  現在在這個項目下,有一個GPU的版本,有一個cpu的版本,同時也有兩套對應的anaconda環境與之對應,當執行GPU版本時,需要切換到anaconda的GPU環境。這種切換可以是在命令行中

conda activate gpu

 也可以是在pycharm中進行project intepreter設置,選中anaconda/envs/project/bin/python3.6,就是選中了該環境。

  至此,還剩最後一個問題,GPU版本的TensorFlow是預設使用gpu版本,但是GPU版本的項目有一塊是需要使用cpu版本的tensorflow的,那麼應該如何設置?


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace ConsoleApp1 { class Prog ...
  • 在這一章,我們將建立一個垃圾郵件過濾分類模型。我們將使用一個包含垃圾郵件和非垃圾郵件的原始電子郵件數據集,並使用它來訓練我們的ML模型。我們將開始遵循上一章討論的開發ML模型的步驟。這將幫助我們理解工作流程。 在本章中,我們將討論以下主題: l 定義問題 l 準備數據 l 數據分析 l 構建數據的特 ...
  • 最近在一個環境相對比較複雜(F5+nginx)的項目中部署系統,系統要集成windows域驗證來實現單點登錄(即使用windows賬戶直接登錄系統,不用輸入賬號密碼)。這裡就遇到問題了,域認證很不穩定,時靈時不靈,瀏覽器彈出輸入賬號密碼,但並不能保持。期初一直懷疑是瀏覽器設置會系統配置問題,後面Go ...
  • 1.典型固定式偏置電路 圖1-97所示是經典的固定式偏置電路。電路中的VT1是NPN型三極體,採用正極性電源+V供電。 圖1-97 經典的固定式偏置電路 (1)固定式偏置電阻。在直流工作電壓+V和電阻R1的阻值大小確定後,流入三極體的基極電流就是確定的,所以R1稱為固定式偏置電阻。 (2)基極電流回 ...
  • 爬蟲項目需要用到lxml包,解析html文件,但是linux伺服器沒有lxml包, 伺服器中python版本是3.8. 直接使用命令安裝: pip install lxml 中途會報錯,錯誤提示我沒有保存,懶得再現了。以為是python版本問題,再運行: pip3 install lxml 註意此命 ...
  • # PC:Ubuntu18.04# GCC: arm-linux-gnueabihf- 7.4.0# 開發板:# imx6ull+debian10(文件系統為野火提供的) # 此處需要編譯的是帶gstreamer的qt 靜態庫,僅著重說明安裝gstreamer的庫,忽略其他工具的安裝# 參考:太多, ...
  • 一份新市場報告預計,從2018年到2029年,獨立MRAM和STT-MRAM的收入將增長170倍,達到近40億美元的收入。下一代記憶體技術的增長將主要由取代效率較低的記憶體技術(例如NOR快閃記憶體和SRAM)推動。 MRAM容量出貨量預測(2017-2029,Coughlin)分析人士預計,包括DRAM,3 ...
  • 1.cd /Library/LaunchDaemons 2.sudo vim com.redis.plist 3.sudo launchctl load /Library/LaunchDaemons/com.redis.plist 4.sudo launchctl start com.redis ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...