2018-05-27-computer-using-hints-電腦使用幫助[持續更新]

来源:https://www.cnblogs.com/taichu/archive/2018/05/27/9095062.html
-Advertisement-
Play Games

layout: post title: 2018 05 27 computer using hints 電腦使用幫助 key: 20180527 tags: ubuntu cuda cudnn tensorflow gym qq ssh modify_date: 05 27 2018 05 27 c ...


layout: post
title: 2018-05-27-computer-using-hints-電腦使用幫助
key: 20180527
tags: ubuntu cuda cudnn tensorflow gym qq ssh
modify_date: 2018-05-27
---

2018-05-27-computer-using-hints-電腦使用幫助

說明：

內容和使用:

正文:

Content

  • 1-Basic OS Hints
    • 1.1-Ubuntu
      • 1.1.1-Ubuntu18.04如何切換預設的python版本?
      • 1.1.2-Ubuntu18.04如何安裝擺渡雲盤客戶端(不是擺渡雲同步客戶端)?
      • 1.1.3-如何通過ssh終端(比如在WIN10)登錄Ubuntu18.04平臺?
      • 1.1.4-Ubuntu18.04如何安裝QQ?
      • 1.1.5-Ubuntu18.04如何安裝chrome?
      • 1.1.6-Ubuntu18.04如何安裝pycharm?
      • 1.1.7-Ubuntu下如何安裝迴圈依賴的lib庫?
      • 1.1.8-Ubuntu18.04解決USB無線滑鼠插入後無法使用的問題?
      • 1.1.9-Ubuntu18.04下計算SHA1和MD5值?
      • 1.1.10-Ubuntu18.04下文件目錄比較工具(類似beyondcompare)?
      • 1.1.11-Ubuntu18.04下安裝類似notepad++的文本工具
      • 1.1.12-Ubuntu18.04下安裝OCR工具(tesseract)
      • 1.1.13-Ubuntu18.04下調節字體和滑鼠樣式及大小
      • 1.1.14-Ubuntu18.04下測網速
      • 1.1.15-查看Ubuntu18.04的硬體配置
      • 1.1.16-Ubuntu18.04的apt-get命令如何安裝指定版本?
      • 1.1.17-Ubuntu18.04的ufw的簡易防火牆操作
  • 2-Special Topic Hints
    • 2.1-Programming
      • 2.1.1-版本管理
        • 2.1.1.1-GIT
          • 2.1.1.1.1-如何從本地PUSH分支改動到多個遠端GIT倉庫(假設遠端GIT倉庫為多個備份鏡像庫且內容相同) ?
        • 2.1.1.2-GIT倉庫
          • 2.1.1.2.1-無法註冊新GITLAB帳號且忘記老帳號密碼怎麼辦?
      • 2.1.2-JAVA
        • 2.1.2.1-JDK
          • 2.1.2.1.1-JDK安裝
      • 2.1.3-DataBase
        • 2.1.3.1-MYSQL
          • 2.1.3.1.1-MYSQL的安裝
      • 2.1.4-Testing
        • 2.1.4.1-JMeter
          • 2.1.4.1.1-JMeter的安裝
          • 2.1.4.1.2-JMeter的分散式測試
    • 2.2-機器學習
      • 2.2.1-環境安裝
        • 2.2.1.1-ubuntu
          • 2.1.1.1.1-ubuntu18.04環境安裝機器學習環境TF的三件套CUDA-CUDNN-TENSORFLOW
          • 2.1.1.1.2-ubuntu18.04環境安裝OpenAI的GYM的強化學習環境
    • 2.3 大數據
      • 2.3.1-日誌
        • 2.3.1.1-ELK
          • 2.3.1.1.1-安裝ELK
  • 3-END

1. Basic OS Hints

1.1 Ubuntu

1.1.1 Ubuntu18.04如何切換預設的python版本?

  • ubuntu18.04切換預設python的方法:
    • 參考: https://segmentfault.com/q/1010000003713912

    • 命令:

      
# 定義2種python版本
sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100     
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

# 如下命令用來切換
sudo update-alternatives --config python

1.1.2 Ubuntu18.04如何安裝擺渡雲盤客戶端(不是擺渡雲同步客戶端)?

1.1.3 如何通過ssh終端(比如在WIN10)登錄Ubuntu18.04平臺?

  • 用ssh登錄ubuntu18.04
    • 原理:預設ubuntu系統安裝後有ssh,而沒有sshd,所以其他伺服器/PC無法通過ssh協議來遠超登錄ubuntu,需要如下操作:
    
  安裝參考:https://jingyan.baidu.com/article/359911f5a5b74857fe0306c4.html
  # 查看Ubuntu是否已經安裝或啟用了ssh服務
  ps -e |grep ssh
  # 如果只有ssh-agent,則它是ssh-client客戶端進程;
  # 如果沒有sshd進程,則需要繼續安裝ssh的server模塊,他是OS的一部分;

  # 安裝sshd
  sudo apt install openssh-server

  #開啟/關閉ssh服務命令：
  sudo service ssh start  #手動啟動服務
  sudo service ssh stop   #手動關閉服務
  sudo service ssh status #查詢服務狀態

1.1.4 Ubuntu18.04如何安裝QQ?

  • install QQ
    • Best way is use "WEBQQ(http://web2.qq.com/)" instead of install local program;
    • WEBQQ is an URL, you can make a URL link icon on desktop of ubuntu;

1.1.5 Ubuntu18.04如何安裝chrome?

  • install chrome
    • Best way is to download chrome's deb package and use "sudo dpkg -i google-chrome-stable_current_amd64.deb" to install;
    • Notes: after 'deb' downloaded, don't click on it to install automaticly, it maybe report error and use command above suggested to install it in terminal;

1.1.6 Ubuntu18.04如何安裝pycharm?

  • install pycharm
    • ubuntu18.04的最新的"軟體/software"當中可以搜到"pycharm",但是雙擊自動安裝多次失敗,所以建議用如下普通方式安裝;
    • 下載免費社區版本的pycharm包,然後執行"\bin\pycharm.sh"腳本,就啟動了圖形界面,建議拖動到ubuntu的desktop做個鏈接,方便下次啟動;
    • 配置python解析器: 從"setting"配置界面,搜索關鍵字或直接找到"Project Interperter",然後根據情況選擇;
      • 一般安裝完pycharm後它自動感知OS系統,可能會發現多個python解析其, 比如ananconda,或系統的python3,或python2等等;
      • 建議你選anaconda或os自帶, 然後pycharm會自動探測其依賴庫的更新,每次啟動pycharm,一般會更新index,其實就是"掃庫"看是否安裝了新lib庫;
      • 比如: 你anaconda命令行下用"conda"命令安裝了python模塊AAA,而os的python3下這個模塊AAA沒有安裝,則pycharm如果使用os的python3則不會重建lib的index;
      • 參考:https://www.cnblogs.com/fanmu/p/8010580.html

1.1.7 Ubuntu下如何安裝迴圈依賴的lib庫?

  • 解決ubuntu下用命令"apt-get"安裝有迴圈依賴的一組lib庫的問題
    • 問題:ubuntu下使用"apt-get"來安裝lib1庫,但lib1依賴lib2,而lib2又依賴lib3和lib4,但最終lib4可能還依賴lib1,迴圈了;
    • 解決:其實,你沒法單獨安裝lib庫;只要"sudo apt-get install lib1,lib2,lib3,lib4" //將迴圈依賴庫一併寫上,同時安裝就行

1.1.8 Ubuntu18.04解決USB無線滑鼠插入後無法使用的問題?

  • 解決UBUNTU18.04插入USB無線滑鼠無效的問題
    • 問題: ubuntu18.04可能預設在電池模式會關閉USB埠,則USB滑鼠插入無法使用;
    • 解決: 插入電源,筆記本電腦就能堆新接入的無線USB滑鼠感知並能使用了;
    • TODO:暫未找到如何設定ubuntu18.04在電源模式下禁用或棄用USB設備(如USB的WIFI滑鼠)的配置;

1.1.9 Ubuntu18.04下計算SHA1和MD5值?

  • ubuntu下計算sha1/md5值
    • 參考: http://blog.sina.com.cn/s/blog_15e13208d0102w54j.html
    • 命令: md5sum ./hoek-2.16.3.tgz > ./hoek-2.16.3.tgz.md5.txt //假設你下載了tgz到當前目錄
    • 命令: sha1sum ./hoek-2.16.3.tgz > ./hoek-2.16.3.tgz.sha1.txt //假設你下載了tgz到當前目錄

1.1.10 Ubuntu18.04下文件目錄比較工具(類似beyondcompare)?

  • Ubuntu下有免費工具meld,它非常類似beyondcompare,可以比較目錄和文件,很好用!
    • 安裝: 在ubuntu搜索關鍵字"軟體",打開"軟體"(類似app store或安裝應用商店)後,在它裡面搜索關鍵字"meld",直接安裝和啟動;

1.1.11 Ubuntu18.04下安裝類似notepad++的文本工具

  • ubuntu下不能直接安裝notepad++,但可以安裝其家族的名為"notepadqq"的linux版本; 
      sudo add-apt-repository ppa:notepadqq-team/notepadqq
  sudo apt-get update
  sudo apt-get install notepadqq

1.1.12 Ubuntu18.04下安裝OCR工具(tesseract)

  • ubuntu下的OCR工具不多(至少沒有win下的金山OCR,漢王OCR,紫光OCR等等),但免費預裝的tesseract就非常好!
    • ubuntu18.04自帶tesseract4.00版本,可以識別中英文(中文識別需如下安裝中文包),測試效果還不錯,超過一些線上OCR網站(收費或免費),它是最新LSTM的神經網路及機器學習的內容,可以進一步學習;
    • 安裝:
    
  sudo apt-get install tesseract-ocr  //發現ubuntu18.04已經安裝了最新的4.00版本
  sudo apt-get install tesseract   //同上
  sudo apt-get install tesseract-ocr-chi-sim //安裝額外的中文簡體識別包
  tesseract //查看命令的格式和參數
  tesseract --list-langs //查看支持的語言
  tesseract ./yangpu-xiaoxue.jpg yangpu-xiaoxue.txt -l chi_sim  //進行識別命令並輸出結果txt文件;
  # 性能說明: 中文識別(4MB的JPG包含2列450行文字)運用到了4個core,大約30秒左右,未查是否使用了GPU,僅供參考;

1.1.13 Ubuntu18.04下調節字體和滑鼠樣式及大小

  • 配置ubuntu18.04的字體大小和滑鼠大小
    • 參考: https://jingyan.baidu.com/article/a681b0de6ad12c3b1943466d.html
    • 說明: 雖說據悉ubuntu18.04棄用了unity界面,但還是根據參考資料,嘗試並確認瞭如下方法可用;
      • 命令: sudo apt-get install unity-tweak-tool //安裝了untiy tweak配置台;
      • 完成後請搜索"tweak"關鍵字, 找到並打開tweak後,可以font樣式大小,也可以配置滑鼠樣式大小(但大小不能自由調節);

1.1.14 Ubuntu18.04下測網速

  • ubuntu18.04的網路測速
    • 問題: 因網路不穩定,尤其是路由器滾燙,網路連不上,所以想測試網速,而ubuntu沒有類似win下360的寬頻測速器,方法如下;
    • 參考: https://www.cnblogs.com/linuxprobe/p/5728126.html

    • 命令:

      
sudo apt-get install speedtest-cli  //安裝speedtest-cli, 及設你是python3且升級到pip3命令
speedtest-cli --h  //查看幫助
speedtest-cli --share  //執行網路測速命令
speedtest-cli --list   //獲取測速使用的speedtest網站配置的各個目標網站的名字和距離公裡數的大列表;

    • 線上UI界面: speedtest也提供線上界面供查看測試過程和結果:http://www.speedtest.cn/http://www.speedtest.cn/)

1.1.15 查看Ubuntu18.04的硬體配置

  • 查看ubuntu硬體配置
    • 方法1: 命令sudo lshw //返回CPU/MEM/DISK/GPU/USB等信息
    • 方法2: 在搜索中輸入"system", 打開"system profiler and benchmark", 其實就是將lshw的圖形化,看起來方便而已;
  • 特別主義,ubuntu這個linux系統,對於筆記本電腦的充電模式或電池模式的切換處理,及USB設備的激活等,不是特別好,建議:
    • 如果無線USB/WIFI滑鼠,甚至touchpad和鍵盤無效了,請插入電源再試試看;
    • 或者因為電源模式變化,導致無法登錄,滑鼠動但鍵盤無效無法輸入密碼,則可以嘗試短按power鍵來休眠並恢復,嘗試激活鍵盤;

1.1.16 Ubuntu18.04的apt-get命令如何安裝指定版本?

  • apt-get安裝指定版本
    • 命令: sudo apt-get install package=version

1.1.17 Ubuntu18.04的ufw的簡易防火牆操作

  • ubuntu的ufw安裝和使用
    • TODO: ubuntu的ufw安裝和使用

2. Special Topic Hints

2.1 Programming

2.1.1 版本管理

2.1.1.1 GIT
2.1.1.1.1 如何從本地PUSH分支改動到多個遠端GIT倉庫(假設遠端GIT倉庫為多個備份鏡像庫且內容相同) ?
  • 參考: 請自查擺渡/谷歌/BING,關鍵字"git push到多個遠端倉庫";

  • 方法: 項目目錄下有個隱藏的".git"目錄,修改其下的配置文件".git\config":

    
# 在.git\config文件添加如下獨立小節,"<>"之間內容需根據實際情況變化,以下是舉例:
  [remote "all-remote-git(gitee/github/gitlab)"]
  url = https://gitee.com/<user-account>/<repo-name>.git
  url = https://github.com/<user-account>/<repo-name>.git
  url = https://gitlab.com/<user-account>/<repo-name>.git
2.1.1.2 GIT倉庫
2.1.1.2.1 無法註冊新GITLAB帳號且忘記老帳號密碼怎麼辦?
  • 如果無法註冊GITLAB帳號,可能是因為register new account需要用到google的認證圖形識別控制項,但國內被牆了,請FQ再測試;
    • 你也可以用github帳號,授權其登錄gitlab,一樣用,還更方便和一致,忘記密碼也可以恢復如下描述;
  • 如何進入gitlab帳號(忘記密碼和關聯email的情況下)?
    • 如果gitlab帳號和github同名或綁定; 那麼用github帳號登錄到gitlab當中, 然後可以修改password和關聯email;

2.1.2 JAVA

2.1.2.1 JDK
2.1.2.1.1 JDK安裝
  • ubuntu18.04 安裝JDK1.8
    • 參考: https://blog.csdn.net/u010307119/article/details/52081429;
      • 含多版本JDK的預設配置修改,最後部分描述,如果只安裝一個版本的JDK就不需要設定預設級別並啟用了.
    • 下載: http://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
      • 需註冊oracle帳號,隨意用一個email註冊就行;
    • 安裝:
    
sudo tar xvzf jdk-8u102-linux-x64.tar.gz //解壓二進位安裝包(非源碼包需要編譯)
sudo chmod 777 /etc/profile   //如果profile文件是644模式,可以先轉變為777,修改完了再chmod回去;
sudo vi /etc/profile  //配置環境文件
#在profile文件尾部添加
    #set java environment
    export JAVA_HOME=/home/goodong/Downloads/jdk1.8.0_162 
    export JRE_HOME=${JAVA_HOME}/jre  
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
    export PATH=${JAVA_HOME}/bin:$PATH

java -vesion 或 javac //測試java安裝是否正常,顯示出版本號則算完成; 

#多JDK版本設定:
  sudo update-alternatives --install "/usr/bin/java" "java" "/home/youraccount/tool/jdk1.8.0_162/bin/java" 1 
  設置JRE可用: sudo update-alternatives --install "/usr/bin/javac" "javac" "/home/youraccount/tool/jdk1.8.0_162/bin/javac" 1 
  設置JDK可用: sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/home/youraccount/tool/jdk1.8.0_162/bin/javaws" 1 
  設置Java Web可用: sudo update-alternatives --set java /home/youraccount/tool/jdk1.8.0_162/bin/java 
  設置Java運行時環境: sudo update-alternatives --set javac /home/youraccount/tool/jdk1.8.0_162/bin/javac 
  設置Javac編譯器:  sudo update-alternatives --set javaws /home/youraccount/tool/jdk1.8.0_162/bin/javaws

# 其他JDK版本情況: JDK9據悉不太好用,JDK10目前較新,用的人不多,還需要觀察!

2.1.3 DataBase

2.1.3.1 MYSQL
2.1.3.1.1 MYSQL的安裝
  • ubuntu下安裝mysql
    • 參考: https://ask.csdn.net/questions/376087, 釋放tar.gz版本並安裝;
    • 錯誤1: /usr/local/mysql3306/bin/mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file: No such file or directory;
      • 則需安裝 sudo apt-get install libaio-dev //安裝mysql需要的庫

    修改預設密碼: mysql安裝的時候會提示,其預設root的密碼是"#P;eijqF<1Y6",千萬別忘記,記錄下來,
                然後登錄後mysql會會被要求必須馬上修改密碼並提示錯誤如下：You must reset your password using ALTER USER statement before executing this statement. 
                你可以執行如下命令(參考:https://blog.csdn.net/dotalee/article/details/72576667)
    ALTER USER 'root'@'localhost' IDENTIFIED BY '12345678' PASSWORD EXPIRE NEVER;   //重設密碼且永不過期
    ./mysqladmin -u root -p shutdown //關閉mysql (參考鏈接:https://blog.csdn.net/zyc_love_study/article/details/74347977)
    ps -ef|grep mysql  //查看mysql進程;

2.1.4 Testing

2.1.4.1 JMeter
2.1.4.1.1 JMeter的安裝
  • 參考: https://www.cnblogs.com/EasonJim/p/7443875.htmlhttps://www.cnblogs.com/EasonJim/p/7443875.html)
  • 官網老版本下載鏈接: https://archive.apache.org/dist/jmeter/binaries/

  • 安裝:

    
tar -zxvf apache-jmeter-4.0.tgz    //解壓縮二進位包
sudo mv apache-jmeter-4.0 /usr/local/apache-jmeter-4.0/        //拷貝到合適的目錄
sudo ln -s /usr/local/apache-jmeter-4.0/ /usr/local/jmeter     //建立軟鏈接,是調用時候不用瞭解版本,方便以後升級,方法類似cuda的安裝和配置
/usr/local/jmeter/bin/jmeter.sh  //啟動jmeter
ps -ef|grep jmeter   //查看進程並可kill殺掉無用jmeter進程
2.1.4.1.2 JMeter的分散式測試
  • 分散式JMETER使用指南
    • A.場景:
      • 1台win10(master兼slave)；1台linux的slave; 兩者同一網段,能ping通(如果不同網段TCP包能路由到也行);
        • master是主控jmeter,slave(也叫agent)是受控jmeter,master自己也可以作為一個slave被自己控制;
      • master如果獨自自己使用,直接啟動"../bin/jmeter"就行(win10下是運行"..\bin\jmeter.bat");
      • agent需要被控制,則應該先自行啟動"../bin/jmeter-server"就行(win10下是運行"..\bin\jmeter-server.bat");並等待被master控制和啟停任務;
      • 如果master自己也做為一個agent來運行測試腳本,而且自己也作為主控master,則必須先參照agent啟動"jmeter-server"命令,然後再啟動用於主控的"jmeter"命令;
      • 以上是簡述場景情況及啟動順序,具體配置如下,配置妥當方能啟動命令,執行主控和被控的多個jmeter來分散式執行test腳本,聯合壓測;
    • B.配置agent(slave)受控jmeter端:
      • 在agent機器上需修改"..\jmeter\bin\jmeter.properties",如下:
        • remote_hosts=10.30.33.121:1099 //121是agent本機內網IP,埠一般為1099,不清楚則不要修改;
        • server.rmi.ssl.disable=true //預設是註釋掉的,如果不想要設定ssl(安全但配置複雜),則必須在這行顯式的設定為true,以便jmeter知道關閉ssl的使用!
      • 在agent機器上還要修改啟動腳本"..\jmeter\bin\jmeter-server",如下:
        • RMI_HOST_DEF=-Djava.rmi.server.hostname=10.30.33.121 //預設是註釋掉的,因jmeter可能有BUG,會報錯,則需打開,並添加agent的IP;
        • ${DIRNAME}/jmeter \({RMI_HOST_DEF} -Dserver_port=\){SERVER_PORT:-2099} -s -j jmeter-server.log "$@" //僅修改為2099埠,為了不合1099埠衝突;
          • 如果是win環境,則"..\jmeter\bin\jmeter-server"內容和ubuntu下不同,也不能如此配置,目前看win下沒有bug,無需修改此命令文件;
      • 啟動agent機器,運行"..\jmeter\bin\jmeter-server" //用&結尾放在後臺運行也行,但看不到log輸出,建議前臺運行;
        • terminal裡面看到"Created remote object: UnicastServerRef2 [liveRef: [endpoint:10.30.33.121:32881,objID:[-a8824d7:16390698d96:-7fff, 3759878571045247869]]]"則agent啟動正常,等待master管理；
        • master機器自己也作為agent的話,同樣需要先配置如上並啟動,等待自己的另一個主控進程接管;
        • agent收到master的任務的下發和任務結束式,會列印log"...start..."和"...finish";
        • 可以將agent的log級別調為debug模式,方便排錯;具體配置文件是"log4j2.xml"
    • C.配置master主控jmeter端:
      • master機器上需修改"..\jmeter\bin\jmeter.properties",如下:
        • remote_hosts=10.30.33.121:2099, 10.30.33.122:1099 //2099是匹配上述agent121的,而1099是master自己也作為agent用的預設1099,兩者也可以一樣;
        • server.rmi.ssl.disable=true //這個配置和agent一樣,都顯式關閉ssl;
        • win10版本的jmeter4.0的jmeter-server.bat沒有bug,無需修改!而如果是linux做agent,則腳本jmeter-server就要如上述agent來修改!
      • master機器也希望能作為agent工作,那麼需先啟動"jmeter-server.bat"命令;
        • win操作系統下的"jmeter-server.bat"命令無BUG,所以無需像上述B當中的描述來修改linux下的"../jmeter/bin/jmeter-server"命令;
      • 啟動jmeter.bat主控程式;
        • 啟動分散式測試任務: 在"start remote"菜單的子菜單看到了所有agent的列表(舉例有121和122自己)；可以單個或全部啟動agent；
          • remote的操作,容易超時,容易返回錯誤,建議一個個啟動agent,如果數量不多的話;網路好,機器快,腳本簡單則可以一起啟動;
        • 啟動單機模式測試任務: 即便在以上情況,agent都線上能看見受控,但也可以不用菜單"start remote", 而直接用"start"菜單來忽略分散式任務下發,而讓master當作單機模式使用,自己執行腳本;
        • 分散式模式下,主控master機器上,建議用"聚合報告"查看測試結果,並確認多個agent的CPU/MEM;並用"結果樹"只看偶發錯誤;
    • D.問題排查:
      • 如果master可以下任務給slave,能通,但debug級別日誌報錯(jmeter-server.log),可能網路複雜,舉例如下:
        • 比如master或slave開了虛擬機和虛擬網卡導致多個IP地址,網路情況複雜,你需要關閉和禁用其他IP,並重新下發任務到agent來嘗試;
      • 分散式測試情況下,主控master會分發腳本任務給多個agent,但不會下發數據,需自己拷貝數據(尤其是大量數據);
      • 如果master和agent上面目錄不一樣,或者1個win和1個ubuntu linux,則測試腳本一旦配置了路徑,則格式不對,肯定報錯,文件名是通用的;
        • 建議將數據放在"..\jmeter"或"..\jmeter\bin"下,而在腳本中不要配置path,這樣就做到了腳本在多個OS下相容;
      • 如果埠1099,2099等沒有通,主控master無法發任務到agent,而不是任務執行時候debug的log日誌報錯,則多半是防火牆屏蔽了埠port;
        • 建議如果是WIN,進入控制面板,可以設定防火牆的路由規則,可以放開port口的出入,也可以將master/agent的ip都列為全部放開!
        • 如果是linux,比如ubuntu,則可以用iptables防火牆設定規則來放開PORT或IP,因為最新ubuntu18.04簡化了iptables,用工具UFW來控制防火牆,請查相關腳本,UFW使用較為方便!

2.2 機器學習

2.2.1 環境安裝

2.2.1.1 ubuntu
2.2.1.1.1 ubuntu18.04環境安裝機器學習環境TF的三件套CUDA-CUDNN-TENSORFLOW

  • 1.查看nvidia顯卡配置

    
  # 查看N卡GPU的配置
  nvidia-smi

  # 查看N卡的圖形界面配置
  nvidia-settings 

  # 命令:查看nvidia卡型號;
  $ lspci | grep -i nvidia
  # 返回內容: 01:00.0 VGA compatible controller: NVIDIA Corporation GM107M [GeForce GTX 960M] (rev a2)
  • 2.安裝cuda的折騰過程
    • 參考(較好): http://www.zhimengzhe.com/bianchengjiaocheng/qitabiancheng/415560.html
    • 過程簡述:
      • 首先嘗試記憶中GTX960M顯卡只能支持的最高CUDA6+CUDNN5的組合配置安裝;
      • 官網查了硬體型號,匹配的就是CUDA6+CUDNN5,因為CUDNN是神經網路NN加速庫,主要看cuda;
      • 但很快發現tf官網說即將最低支持cuda8,這怎麼辦?
      • 查帖子發現也有人在GTX960M上安裝CUDA8,所以猜測:只要N卡安裝上驅動driver,而driver版本關聯到CUDA,cuda關聯到cudnn,tf也關聯CUDA版本,大膽猜測是這個邏輯;
      • 按照以上邏輯,貪心下載了CUDA9.1,越到了安裝問題,解決後發現TF不支持,慘;
      • 找貼發現可以安裝多個CUDA版本,只要路徑配置得當就行了,不像WIN系統有個黑盒子註冊表!
      • 查了TF的GITHUB管網的release裡面1.8.0等最新幾個release-note信息,並查關鍵字CUDA,發現只支持到CUDA9.0;於是下決心安裝它;
      • NVIDIA官網不用註冊就能隨意下載CUDA(但CUDNN需要註冊下載),速度都很快,於是下載runfile(目前發現,我忘記安裝patch補丁,只安裝了CUDA9.0的主程式,目前也能用!)
      • 按照上述神貼方法,考慮到ubuntu18.04已經將GTX960M的顯卡升級到最新的390的drvier驅動,而且神貼說只要driver版本接近(帖子說AAA.BB小版本BB可以不一樣),但我發現CUDA9.0只支持到387,和390很接近,大膽嘗試,居然安裝上去了.主要安裝CUDA9.0的時候不要第一步就安裝它自帶的才387的driver顯卡驅動,否則顯卡驅動的安裝將極其複雜!
      • 順利安裝完CUDA9.0,按提示和神貼設定路徑,然後註冊NVIDA官網,下載配套CUDNN712,並同樣runfile安裝,並參考另外帖子(下麵詳述)複製文件和做鏈接及path等;
      • 最後pip3 install tensorflow-gpu
      • 需要keras的就pip3 install tensorflow-gpu

  • 3.安裝cuda9.1/CUDA9.0/CUDA較高版本(cuda安裝包提示最高支持ubuntu17.10,別管它,其實18.04照樣安裝!沒事!)

    
  A.執行cuda9.X的run安裝文件出現問題

    Error: unsupported compiler: 7.3.0. Use --override to override this check.
    sudo sh ./cuda_9.1.85_387.26_linux.run --override   //添加這個參數來屏蔽這個報錯! 於是可以繼續安裝了! 看到如下結果,基本OK.

= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-9.1
Samples:  Installed in /home/ya/cuda9-samples

Please make sure that
 -   PATH includes /usr/local/cuda-9.1/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-9.1/lib64, or, add /usr/local/cuda-9.1/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-9.1/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-9.1/doc/pdf for detailed information on setting up CUDA.

WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 384.00 is required for CUDA 9.1 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run -silent -driver

Logfile is /tmp/cuda_install_13322.log
Signal caught, cleaning up

---------------------


  B 設定配置(參照上面提示)

$ sudo vim /etc/profile
在打開的文件末尾，添加以下兩行。

64位系統：
$ export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
$ export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} 

32位系統：
$ export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
$ export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

  C 安裝完畢CUDA9.x,還需安裝如下lib

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

  D 最後reboot,並用如下命令測試,看是否安裝CUDA9.X正確

$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2017 NVIDIA Corporation
Built on Fri_Nov__3_21:07:56_CDT_2017
Cuda compilation tools, release 9.1, V9.1.85
  • 4.安裝cudnn7.1.2(配套CUDA9.X)
    • 官網下載 (需免費註冊nvidia會員)
    • 釋放後做些拷貝和路徑設定就行,參考以上CUDA的神貼,較簡單.
  • 5.安裝TF-CUDA-CUDNN經驗
    • 首先,目前GPU做的最好的是N卡(NIVIDA顯卡),不僅硬體好,驅動,CUDA平臺,CUDNN神經網路加速庫都好,遠超其他顯卡;目前其他顯卡無法加速神經網路!!!
    • 其次,你有幸買了N卡,且準備搞深度學習,最著名的開源框架TF(Tensorflow),Pytorch,以及高級庫keras等等,一般都支持CUDA/CUDNN,先選其一學習吧;
    • 再則,有了N卡,比如我的GTX960M(游戲本的,但是不打游戲),關鍵是配套驅動driver要不斷升級,比如跟著ubuntu18.04,最新升級到了390.xx的版本;
      • N卡的驅動driver版本AAA.XX(比如390.xx),它配套CUDA,也就是說CUDA庫會說明需要drvier升級到何版本,一般xx不同沒關係,AAA最好一樣;
        • 筆者經驗:AAA相差小的沒關係,而且新的driver一般向下相容,舊的AAA就必須升級了;(如果上N卡官網查你的硬體比如GTX960M,它自動匹配的CUDA很低,不要信!否則絕望!)
      • CUDNN是配套cuda的版本的;
      • TF也是配套cuda的版本的;
    • 安裝依賴路徑: GTX960M-->DRIVER FOR UBUNTU18.04(390.XX) -->CUDA9.0(9.X)-->CUDNN7.1.2/TF1.8.0-->KERAS
      • TF馬上最低支持cuda8.0了,請儘快升級driver,以便升級到cuda8/9/..,來使用配套的TF/CUDNN,老硬體N卡照樣用!
    • 這裡僅僅是我這種硬體軟體配置的成功案例,供看管參考,不代表原理和其他軟硬體配置都能成功,還需嘗試!!!
      • 另外,我CUDA的幾個patch忘記安裝了,估計是它修改相容性和BUG的,目前不出其他問題,我就不安裝了,怕有問題;
2.2.1.1.2 ubuntu18.04環境安裝OpenAI的GYM的強化學習環境
  • 1.安裝GYM環境
    • 通常做法,用命令: pip3 install gym[all] //這裡假設ubuntu已經安裝升級了python3和pip3,且按照上述方法切換預設python為PY3而不是PY2;
    • 問題:一般你會遇到結果提示,Box2D和atari-py安裝失敗,重覆上述命令,再次安裝全部gym[all],就更清晰的看到只有此2模塊沒有安裝成功(和win10一致);
  • 2.安裝swig
    • 如上述2個模塊安裝失敗,發現一個錯誤是沒有swig,和win10一樣,到官網下載對應的swig版本,win10下是exe(能成功),ubuntu用命令(能成功);
    • sudo apt-get install swig
    • swig下載:http://www.swig.org/download.html
  • 3.安裝gym的Box2D-kengz的物理引擎
    • gym是個全家桶,裡面包含了多種物理引擎Box2D等,游戲環境Atari等,是個用於研發和調測強化學習RL的好環境;
    • 先再次安裝,改個名字: pip3 install gym[Box2D] //單獨命令安裝Box2D,而不是all,也不是原來過時的Box2D-kengz
    • 安裝成功後,如下測試:
    測試Box2D物理引擎是通過激活如下的小游戲CartPole:

用如下命令來測試Box2D是否安裝成功,如果失敗,只會出現白框,而沒有桿子!
python //進入python,最好是PY3
import gym  //load gym庫,這裡不能有報錯
env = gym.make("CartPole-v0")  //新建一個樹立桿子的游戲環境
env.reset() //初始化
env.render()  //渲染,此時會彈出dialog,裡面有桿子!就算OK了!
env.close()  //關閉env環境,dialog不能被gui關閉,只能用本行命令關閉!
  • 4.安裝gym的Atari-py的小游戲強化環境集合
    • 單獨安裝: pip3 install gym[atari-py] //報錯一樣,顯示可能cmake有問題(win10下就需要安裝MingGW等環境,最終沒時間弄下去)
    • 安裝cmake: sudo apt-get install cmake //cmake是ubuntu操作系統lib庫,不是python庫,所以用apt而不是pip3來安裝;
    • 然後再安裝atari-py: pip3 install gym[atari] //成功
    • 如果報錯如下,請進入該報錯提示的目錄,需要額外手動生成缺漏的so文件,src源碼在atari該目錄,進入該目錄直接make就能生成!
      • OSError: /home/ya/atari-py/atari_py/ale_interface/build/libale_c.so: cannot open shared object file: No such file or directory
      • 請進入/home/youraccount/atari-py/atari_py/ale_interface/ //此時沒有build目錄和文件libale_c.so
      • 在該目錄看到了makefile文件和src目錄,猜測是沒有編譯出so文件!
      • 在該目錄直接運行命令make,它自動編譯同目錄的makefile編譯編輯腳本,於是so文件有了,再次測試!!!通過了!!!
      • atari 安裝完成!!!!
      測試:
python //進入python,最好是PY3
import gym  //load gym庫,這裡不能有報錯
env = gym.make("SpaceInvaders-v0")  //新建一個打飛機游戲環境(這裡可能會報錯如下!!!)
env.reset() //初始化
env.render()  //渲染,此時會彈出dialog,裡面有飛機!就算OK了!
env.close()  //關閉env環境,dialog不能被gui關閉,只能用本行命令關閉!
  • 5.運行RL強化學習的例子
    • 強化學習RL很有趣,最近在學習,看了一些morvan的教程(github查找關鍵字"morvan"得到的第一個結果)
    • 跑一個普通RL例子,雖然import裡面不需要純python的圖形庫tkinter,但是matplotlib著名py的畫圖庫需要,則要做如下安裝:
      • 安裝tkinter: sudo apt install python3-tk //特別註意,不是 sudo apt install python-tk!!!

2.3 大數據

2.3.1 日誌

2.3.1.1 ELK
2.3.1.1.1 安裝ELK
  • ubuntu18.04下安裝ELK日誌分析套件
    • 官網: https://github.com/elastic, 它維護了多個ELK組件,包括xpack(即將開源)機器學習組件;
    • TODO: 帶添加安裝ELK步驟;

3. END


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 編程語言及電腦硬體基礎
    1、什麼是編程語言？ 程式員與電腦溝通的介質 2、什麼是編程？ 程式員基於某種編程語言的語法格式將想讓電腦所做的事寫到文件中讓電腦執行，編程的結果就是文件，文件的內容就是程式； 3、為什麼要編程？ 讓電腦代替人類工作，解放人力 4,、電腦硬體基礎 （1）、什麼是x86-64位？ x86是c ...
  • WPF 列表開啟虛擬化的方式
    正確開啟虛擬化的方式 列表如ListBox,ListView,TreeView,GridView等，開啟虛擬化 直接在模板中，設置CanContentScroll="True" 如模板中未設置CanContentScroll屬性，可以在列表添加屬性ScrollViewer.CanContentScr ...
  • 基礎才是重中之重~delegate里的Invoke和BeginInvoke
    回到目錄 Invoke和BeginInvoke都是調用委托實體的方法，前者是同步調用，即它運行在主線程上，當Invode處理時間長時，會出現阻塞的情況，而BeginInvod是非同步操作，它會從新開啟一個線程，所以不會租塞主線程，在使用BeginInvoke時，如果希望等待執行的結果 ，可以使用End ...
  • C#基礎知識回顧：1.由WeakReference想到對象的創建與銷毀
    .Net Framework中，把資源分為托管資源和非托管資源兩大類， 托管資源指可以通過.Net Frame垃圾回收器進行回收的資源，主要是指分配在托管堆上你的記憶體資源，這類資源的回收是不需要人工干預，.Net Framework的垃圾回收器會在合適的時刻進行回收，程式也可以主動調用GC.Coll ...
  • C#不用union，而是有更好的方式實現
    用過C/C++的人都知道有個union，特別好用，似乎char數組到short，int，float等的轉換無所不能，也確實是能，並且用起來十分方便。那C#為什麼沒有這個關鍵字呢？怎麼實現這個功能？其實C#只是沒有了這個關鍵字，但是功能是能實現的，而且也是非常方便，並且是安全的。網上有人用Struct ...
  • .Net Core WebApi返回的json數據，自定義日期格式
    基本上所有的人都在DateTime類型的欄位，被序列化成json的時候，遇到過可恨的Date(1294499956278+0800)；但是又苦於不能全局格式化設置，比較難受。以往的方式，要麼使用全局的Newtonsoft的配置，要麼自己重寫ActionResult，總之都比較麻煩。在Core提供了更 ...
  • ASP.NET Core 2 學習筆記（四）
    ASP.NET Core使用了大量的依賴註入(Dependency Injection, DI)，把控制反轉(Inversion Of Control, IoC)運用的相當巧妙。DI可算是ASP.NET Core最精華的一部分，有用過Autofac或類似的DI Framework對此應該不陌生。本篇 ...
  • ASP.NET登錄驗證
    protected void btnLogin_Click(object sender, EventArgs e) { string username = txtUserName.Value.Trim(); string userpassword = txtUserPassword.Value.Tr... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類