RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, unhandled system error

来源:https://www.cnblogs.com/Brinshy/archive/2023/03/19/17233345.html
-Advertisement-
Play Games

發現報錯:RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, unhandled system error想在linux上跑跑mmclassification中的resnet網路,但是報錯,查閱... ...


 

發現報錯:

RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, unhandled system error

編輯

想在linux上跑跑mmclassification中的resnet網路,但是報錯,查閱資料後發現,第二個錯誤是由於第一個錯誤產生的。那麼現在就要解決第一個報錯。

第一個報錯查閱了一堆資料後,發現是GPU使用數量的原因,但我電腦只有一個GPU,修改了配置文件後,依舊這樣報錯。有的博主是由於文件中有中文字元,我仔細檢查後沒有發現。

最後才發現,之前用的訓練命令如下:

sh ./tools/dist_train.sh configs/resnet/resnet18_b32x8_imagenet.py 1 --work-dir ./ckpt

對上述命令闡述如下:

dist_train.sh – 訓練 sh 腳本

configs/resnet/resnet18_b32x8_imagenet.py – 訓練依賴的配置

1 – GPU 個數

--work-dir ./ckp – 模型存放的路徑

 

但是這個命令只適用於多個GPU的時候,單個GPU得用以下命令:

python ./tools/dist_train.sh configs/resnet/resnet18_b32x8_imagenet.py --work-dir ./ckpt

 最終問題解決,開始煉丹。

編輯
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 大家好,我是3y啊。 大概不知道從什麼時候,「微服務」「分散式」這兩個詞又再次頻繁出現在我的視線里。 「微服務」「分散式」在我剛畢業的時候還是比較關註的,那時候還入門了一把SpringCloud,寫了一篇很長的文章,還是很頂的,有不少的大號都給我轉載了,在知乎又獲得了很多的贊。 那時候覺得懂「分散式 ...
  • 這篇文章記錄了Collection集合,List集合,Set集合 在文章第七點總結了兩大系列集合的五種實現類的區別,有需要的小伙伴可以直接去查看 一、什麼是集合 集合是Java中存儲對象數據的一種容器 二、集合有什麼特點 大小不固定,類型也可以不固定(通常需要泛型約束) 集合只能存儲引用數據類型 集 ...
  • JAVA -01 前期準備 介紹 1972年C誕生【兩大問題:指針;記憶體管理】 1982年C++誕生【面向對象;相容C;圖形領域和游戲,但是更複雜】 1995年JAVA誕生【沒有指針沒有記憶體管理;面向對象;類型安全;高質量類庫;跨平臺(JVM實現);applet圖形界面程式】 小碎點 三高問題:高可 ...
  • 去年公司由於不斷發展,內部自研系統越來越多,所以後來搭建了一個日誌收集平臺,並將日誌收集功能以二方包形式引入自研系統,避免每個自研系統都要建立一套自己的日誌模塊,節約了開發時間,管理起來也更加容易。 這篇文章主要介紹ELK最新版本的搭建,二方包的介紹可以看小霸王的另外一篇文章。 ...
  • SpringBoot接收參數相關註解 1.基本介紹 SpringBoot接收客戶端提交數據/參數會使用到相關註解 詳解@PathVariable、@RequestHeader、@ModelAttribute、@RequestParam、@CookieValue、@RequestBody 2.接參數相 ...
  • 前言 緣起 實驗室的學弟問我為什麼他使用nvcc命令報錯,起先我以為他用的是老師給的root賬戶,按照參考文獻1便可以解決問題。 但由於並非root用戶,/usr/local下沒有cuda,於是便無法按照參考1中的方法去做。 這裡提供一種方法,其實是參考了文獻2,但似乎是歪打正著,因為2要解決的問題 ...
  • 瞭解過 Hex 六邊形架構、Onion 洋蔥架構、Clean 整潔架構的同學可以將本篇文章介紹的實踐方法與自身項目代碼架構對比並互通有無,共同改進。沒瞭解過上述架構的同學可以學習一種新的架構方法,並嘗試將其應用到業務項目中,降低項目維護成本,提高效率。 本文提及的架構主要指項目組織的“代碼架構”,註... ...
  • 在C++/Qt網路通訊模塊設計與實現(三)中提到了一個概念,即接受者所依附的線程;關註我微信公眾號的技術朋友留言對該概念還是不解,這節就單獨講述這個概念的理論與實際應用,這種應用無處不在,因為與Qt的信號槽、線程相關,大家需掌握。接下來從 Qt::ConnectionType,示例源碼,結果論證,歸 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...