大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

来源:https://www.cnblogs.com/aimakj/archive/2018/11/22/9999931.html
-Advertisement-
Play Games

在我們學習或者工作中開始hadoop程式的時候,往往會遇到一個問題,我們寫好的程式需要打成包放在集群中運行,這無形中在浪費我們的時間,因為程式可以需要不斷的調試,然後把最終程式放在集群中即可。為瞭解決這個問題,現在我們配置遠程連接hadoop,遠程調試的方法。 一段程式如下:獲取更多大數據視頻資料請 ...


在我們學習或者工作中開始hadoop程式的時候,往往會遇到一個問題,我們寫好的程式需要打成包放在集群中運行,這無形中在浪費我們的時間,因為程式可以需要不斷的調試,然後把最終程式放在集群中即可。為瞭解決這個問題,現在我們配置遠程連接hadoop,遠程調試的方法。

一段程式如下:獲取更多大數據視頻資料請加QQ群:947967114

 


 
 
 

當我們在運行的時候會有如下眾多的錯誤:

1、基礎環境配置:首先需要註意自己使用的hadoop的版本:

 


 

這說明是2.6.0的所以需要下載一個連接包:hadoop-eclipse-plugin-2.6.0.jar,一定要註意根據自己的版本下載不同的連接包。放在myeclipse的安裝路徑下:D:\Program Files\Myeclipse-10

 


 

Myeclipse-10和其他版本不同,是有兩個目錄的:其他版本只有一個目錄,直接進入找到plugins即可。這裡需要進入Common中找到plugins中,把連接包放在其中即可:

 


 

然後把Myeclipse重啟。我們這個時候就可以進行hadoop的工程配置了:按照順序點擊:

 


 

在Browse中把解壓好的hadoop包引入進來,只引入到主目錄即可:然後就可以創建hadoop的,mapreduce工程了:獲取更多大數據視頻資料請加QQ群:947967114

 


 
 

完成後可以看到眾多的依賴包都自動進入了:

 


 

然後我們配置遠程連接hadoop的目錄:

 


 

新建一個:

 


 

經過配置之後可以看到如下界面:

 


 

能夠感受到已經連接到了hadoop的目錄了:

2、Exception in thread “main” java.lang.NullPointerException atjava.lang.ProcessBuilder.start

運行是出現如上錯誤:

 


 

 

這個問題是Hadoop2以上版本,Hadoop2的bin目錄中沒有winutils.exe導致的錯誤。所以需要下載對應的包:

 


 

註意一定要是64位的現在很少32位的了:如果兩個版本都可以:解壓並且把包里的所有內容都複製出來分別放在自己的hadoop的bin解壓目錄中:

 


 

然後把myeclipse對應的hadoop文件重新引入一:獲取更多大數據視頻資料請加QQ群:947967114

 


 

3、Exception in thread "main"java.lang.UnsatisfiedLinkError:

 


 

4、main ExitCodeException

 


 

這是因為window本地的hadoop沒有winutils.exe導致的.原來本地hadoop要去調用這個程式.我們先把上一部的winutils.exe文件中例如hadoop.dll等所有文件都放到c:\windows\System32,然後使得其運行沒錯才可以.

然而winutils.exe還是無法啟動,這個是某些電腦問題.有些人會遇到,雙擊winutils.exe運行報錯,缺少msvcr120.dll.下載之後再去啟動提示,“應用程式無法正常啟動0xc000007b”.這是記憶體錯誤引起的.下載DirectX_Repair修複directx解決問題,最後成功啟動了hadoop程式.

可能能夠啟動winutils.exe但還是不能正常跑應用程式,依然報錯,可以試試修改許可權驗證.

修改hadoop/etc/hadoop/hdfs-site.xml

添加內容:

<property>

  <name>dfs.permissions</name>

    <value>false</value>

</property>

5、atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access遇到這個問題是由於源碼文件中需要更改:首先去官網下載hadoop-2.6.0-src.tar.gz源碼包,解壓:hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 複製到對應的Eclipse的project,然後修改557行為return true如圖所示:

 


 

6、org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output"這是由於訪問許可權的問題。

有兩種解決方式:第一種把hadoop的目錄的許可權擴大:例如 hadoop chmod -R 777 /,都給所有許可權。第二種方式是修改配置文件。去掉檢查許可權的步驟:在這個etc/hadoop下的hdfs-site.xml添加

      <property>

         <name>dfs.permissions</name>

         <value>false</value>

      </property>

7.獲取更多大數據視頻資料請加QQ群:947967114


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 這兩觸發器比較精簡,容易理解 1、簡單觸發器 CREATE TRIGGER [dbo].[TriggerLog] ON [dbo].[Users] AFTER UPDATEAS BEGIN SET NOCOUNT ON; Insert into dbo.[log](LogContent) selec ...
  • 前陣子一資料庫伺服器的事務日誌開始暴增,當時使用下麵腳本檢查發現該資料庫的log_reuse_wait_desc 一直處於REPLICATION狀態, 也就是說在事務複製過程中,與發佈相關的事務仍未傳遞到分發資料庫。剛好前一天有個同事配置了AWS的DMS相關作業。 SELECT name, log_... ...
  • DCL (Data Control Language,資料庫控制語言)用於定義資料庫許可權 一、用戶許可權 1.1 建立用戶以及授權: Eg :CREATE USER 用戶名 IDENTIFIED BY 密碼 ; 1.2 GRANT 許可權 TO 用戶名 ; Eg:GRANT CREATE SESSION ...
  • 學習方式,有很多種,有的人會選擇提前去預習,提前去學習,將很多知識都自己去提前學習一步,他將時間用在將來要學的知識上。而有些人則是循序漸進,一步一個腳印的學習,雖然節奏慢,但很穩,大學留給每個人的學習時間都是足夠的,只要你能夠堅持,也必定能夠站在和他人一樣的高度。 我還是要推薦下我自己創建的大數據資 ...
  • ThinkerPop Apache 頂級項目 概述 TinkerPop是一個面向實時事務處理(OLAP)以及批量、分析型(OLTP)的開源的圖計算框架。TinkerPop是一個可以應用於不同圖形資料庫的抽象層,避免應用程式與特定資料庫高度依賴。 目標 提供通用的API和工具,使開發人員可以基於不同圖 ...
  • 前幾天,我在論壇溜達。看到一個人發帖說 做了6年的企業級開發,總是被互聯網行業的人認為沒技術含量,不就是CRUD麽 先解釋下 CRUD 是什麼。CRUD 就是我們常說的增刪改查(Create,Retrieve,Update,Delete) 其實,對這個問題,我也思考過。我們所有的業務流程,最終都會抽 ...
  • 一.概述 Redis是記憶體資料庫,一旦伺服器進程退出,伺服器中的資料庫記憶體數據狀態也會消失。為瞭解決這個問題,Redis提供了RDB 持久化功能,這個功能可以將redis在記憶體中的資料庫狀態保存到磁碟中,避免數據意外丟失。 RDB持久化可以手動執行,也可以根據伺服器配置選項定期執行,是在指定的時間間 ...
  • mysql資料庫源碼安裝: 源碼地址:wget http://mirrors.163.com/mysql/Downloads/MySQL-5.6/mysql-5.6.xx.tar.gz #安裝前準備,將編譯工具、依賴環境通過yum安裝 yum install cmake ncurses-devel ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...