Linux伺服器配置GPU版本的pytorch Torchvision TensorFlow

来源:https://www.cnblogs.com/TimberNie/archive/2020/01/16/12200424.html
-Advertisement-
Play Games

Linux伺服器下運行同時包含CPU和GPU版本TensorFlow的項目,對於GPU版本,首先使用Anaconda建立GPU環境,首先將本地環境同步到服務上,再卸載cpu版本的pytorch和TensorFlow,下載GPU版對應版本的pytorch和TensorFlow。執行不同版本項目時,只需... ...


  最近在Linux伺服器上配置項目,項目需要使用GPU版本的pytorch和TensorFlow,而且該項目內會同時使用TensorFlow的GPU和CPU。

  在伺服器上裝環境,如果重新開始,就需要下載很多依賴包,而且如果直接在系統上安裝包,可能會和伺服器上的其他包發生衝突,因此使用Anaconda創建虛擬環境來管理項目的依賴包。Anaconda的安裝可以去清華大學的鏡像下載,速度比較快,選擇對應的版本就可以了  https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 。我需要下載python3.6對應的Anaconda可以對照下麵這張圖片來查看,選擇Anaconda3-5.2.0版本就可以了。(但是其實我下載成了anaconda2,不過並不影響後續使用)

  Anaconda下載之後會在~/.bashrc中添加一條環境變數。如果首次運行conda命令找不到,就source ~/.bashrc。

  配置好Anaconda後,如果要創建虛擬環境,重新下載包也需要很麻煩的操作,而且需要對照以前的項目進行一一下載。這太撈了,我們考慮直接將本地項目的anaconda環境打包好上傳到伺服器上,就可以使用本地的虛擬環境了。具體做法是,首先到本地的Anaconda環境目錄下,我的是/home/timber/anaconda2/envs ,這個目錄下就是用戶創建的anaconda環境。直接打包 

tar -cvf name.tar your_env_name/

 然後將這個文件用scp上傳到伺服器下的(anaconda2_dir)/envs下,

scp name.tar remote_username@remote_ip:anaconda_dir/envs

接著在伺服器的anaconda的envs目錄下解壓name.tar

tar -xvf name.tar

 環境就移植到伺服器上了,可以在伺服器上通過conda env list檢驗是否有我們剛移植的環境。

  本地安裝的環境是cpu版本的pytorch和TensorFlow,首先將pytorch卸載

conda activate project #激活環境
conda uninstall pytorch

 然後去清華大學的鏡像下下載pytorch(因為官方下載超級慢)。需要首先配置清華大學鏡像。

依次運行以下命令

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

上面三條是配置清華鏡像源,下麵一條是配置pytorch源。然後去到官網,選擇你對應的pytorch版本,找到下載命令,比如,最新版本的Pytorch在cuda10下麵的官方下載命令是

conda install pytorch torchvision cudatoolkit=10.1 -c pytorch

 但是,不要用這條命令,由於添加了鏡像源,我們去掉上面命令的-c pytorch,運行

conda install pytorch torchvision cudatoolkit=10.1 

 就可以用清華鏡像下載了。如果要下載歷史版本的pytorch,以1.0為例,就用

conda install pytorch==1.0 torchvision cudatoolkit=10.1 -c pytorch

 安裝好之後,torchvision不一定能配套使用,因為Torch已經更換了,所以可能會存在版本不一致的問題,卸載torchvision,然後下載對應版本的torchvision。

  出現的第一個問題是torchvision下沒有totensor,重裝0.2.0的torchvision。

  第二個問題是This application failed to start because it could not faind or load the Qt platform plugin "xcb" in "".

 Reinstalling the application may fix the problem.這個提示告訴我們在Qt平臺插件中找不到XCB,提示我們重裝,那我們就重裝唄,重裝pyqt

conda uninstall pyqt
conda uninstall qt
conda install pyqt

   我的項目使用了GPU版本的Tensorflow,需要裝GPU版本的TensorFlow。

  這裡還有個問題是,人臉識別和車輛檢測都使用了TensorFlow,一個是CPU版本,一個是GPU版本,會有衝突嗎。TensorFlow的GPU版本是可以跑cpu的,所以先把之前的TensorFlow卸載掉。下載了GPU版本的

conda install tensorflow-gpu==1.12.0

 但是這裡同時下載了cuda的9.0的toolkit,之前下載torch的時候使用了cuda10的toolkit,不知道會怎麼樣。測試之後發現沒有衝突。

  現在在這個項目下,有一個GPU的版本,有一個cpu的版本,同時也有兩套對應的anaconda環境與之對應,當執行GPU版本時,需要切換到anaconda的GPU環境。這種切換可以是在命令行中

conda activate gpu

 也可以是在pycharm中進行project intepreter設置,選中anaconda/envs/project/bin/python3.6,就是選中了該環境。

  至此,還剩最後一個問題,GPU版本的TensorFlow是預設使用gpu版本,但是GPU版本的項目有一塊是需要使用cpu版本的tensorflow的,那麼應該如何設置?


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace ConsoleApp1 { class Prog ...
  • 在這一章,我們將建立一個垃圾郵件過濾分類模型。我們將使用一個包含垃圾郵件和非垃圾郵件的原始電子郵件數據集,並使用它來訓練我們的ML模型。我們將開始遵循上一章討論的開發ML模型的步驟。這將幫助我們理解工作流程。 在本章中,我們將討論以下主題: l 定義問題 l 準備數據 l 數據分析 l 構建數據的特 ...
  • 最近在一個環境相對比較複雜(F5+nginx)的項目中部署系統,系統要集成windows域驗證來實現單點登錄(即使用windows賬戶直接登錄系統,不用輸入賬號密碼)。這裡就遇到問題了,域認證很不穩定,時靈時不靈,瀏覽器彈出輸入賬號密碼,但並不能保持。期初一直懷疑是瀏覽器設置會系統配置問題,後面Go ...
  • 1.典型固定式偏置電路 圖1-97所示是經典的固定式偏置電路。電路中的VT1是NPN型三極體,採用正極性電源+V供電。 圖1-97 經典的固定式偏置電路 (1)固定式偏置電阻。在直流工作電壓+V和電阻R1的阻值大小確定後,流入三極體的基極電流就是確定的,所以R1稱為固定式偏置電阻。 (2)基極電流回 ...
  • 爬蟲項目需要用到lxml包,解析html文件,但是linux伺服器沒有lxml包, 伺服器中python版本是3.8. 直接使用命令安裝: pip install lxml 中途會報錯,錯誤提示我沒有保存,懶得再現了。以為是python版本問題,再運行: pip3 install lxml 註意此命 ...
  • # PC:Ubuntu18.04# GCC: arm-linux-gnueabihf- 7.4.0# 開發板:# imx6ull+debian10(文件系統為野火提供的) # 此處需要編譯的是帶gstreamer的qt 靜態庫,僅著重說明安裝gstreamer的庫,忽略其他工具的安裝# 參考:太多, ...
  • 一份新市場報告預計,從2018年到2029年,獨立MRAM和STT-MRAM的收入將增長170倍,達到近40億美元的收入。下一代記憶體技術的增長將主要由取代效率較低的記憶體技術(例如NOR快閃記憶體和SRAM)推動。 MRAM容量出貨量預測(2017-2029,Coughlin)分析人士預計,包括DRAM,3 ...
  • 1.cd /Library/LaunchDaemons 2.sudo vim com.redis.plist 3.sudo launchctl load /Library/LaunchDaemons/com.redis.plist 4.sudo launchctl start com.redis ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...