“遠程客戶端操作hdfs創建文件夾”,驗證環境是否配置成功,以及HDFS錯誤整改

来源:https://www.cnblogs.com/ZWeva/archive/2023/07/04/17527158.html
-Advertisement-
Play Games

文章中包含我所遇到的錯誤,進行了HDFS錯誤整改,以及後面有操作創建“遠程客戶端操作hdfs創建文件夾”,驗證環境是否配置成功的過程。 ...


HDFS錯誤整改

編寫“遠程客戶端操作hdfs創建文件夾”代碼,驗證環境是否配置成功!

1、錯誤點1:

uTools_1688458820777

改正方法:

第一步:點擊 文件>項目文件>模塊

uTools_1688475020930

第二步:會發現紅色框里的顯示的是15,這裡我們需要改成8,如下圖:

uTools_1688475074761

uTools_1688475089040

2、錯誤點2:

uTools_1688475402227

改正方法:

第一步:點擊 文件>項目文件>設置,後按照圖中步驟點擊:

uTools_1688475476096

第二步:將目標位元組碼版本同樣換成8,如下圖:

uTools_1688475754674

第三步:這個問題解決了

3、錯誤點3:

這裡出現了uri爆紅了,因該是可能是導包的時候出錯的?
如果你是第一次將以上代碼寫入環境,會出現很多包顯示紅色,說明包沒有被安裝,需要點擊maven,點擊刷新鍵,自動檢測安裝!

uTools_1688458896288

改正方法:

第一步:點擊側面的Maven,後點擊旋轉按鈕,後再次運行可以解決(?)

uTools_1688476242278

4、錯誤點4:

雖然網頁中已經顯示出xiyou,代表成功了,但是......

uTools_1688476999712

出現瞭如下警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

警告util.NativeCodeLoader:無法為您的平臺載入本機Hadoop庫…在適用的情況下使用內置的java類

uTools_1688476887272

改正方法:

此處引用網上查找的文章,因為我第一步的文件就沒找到,可能之前的步驟不一樣。

(44條消息) 解決 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告_青玄葉鶴的博客-CSDN博客

uTools_1688479091597

uTools_1688479079271

實驗目的:

編寫“遠程客戶端操作hdfs創建文件夾”代碼,驗證環境是否配置成功!

實現步驟:

1.首先要確保集群群起成功

uTools_1688475955032

uTools_1688475984182

2.在瀏覽器打開hadoop151:9870

uTools_1688476550533

3.編寫如下圖示代碼

直接複製:

package org.example.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FileSystem;

public class HdfsClient {


    private FileSystem fs;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        // 連接的集群nn地址
        URI uri = new URI("hdfs://hadoop151:8020");
        // 創建一個配置文件
        Configuration configuration = new Configuration();

        // 用戶
        String user = "root";

        // 1 獲取到了客戶端對象

        fs = FileSystem.get(uri, configuration, user);
    }

    @After
    public void close() throws IOException {
        // 3 關閉資源
        fs.close();
    }

    @Test
    public void testmkdir() throws  URISyntaxException, IOException, InterruptedException {
        // 2 創建一個文件夾
        fs.mkdirs(new Path("/xiyou/huaguoshan1"));
    }

}

4.運行代碼,在網頁端察看遠程客戶端操作hdfs創建文件夾成功

uTools_1688476999712

如果友友們有疑問和指導,歡迎在評論區指出!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ## 前言 閱讀此篇前,可先閱讀[尾碼數組](https://www.cnblogs.com/pdpdzaa/p/17436993.html) ## LCP ```LCP``` 就是最長公共首碼,在尾碼數組中,$LCP(i,j)$ 就代表從 $sa_i$ 開始的尾碼和從 $sa_j$ 開始的尾碼的最 ...
  • 我在不要更新挑戰中堅持了一年🎉🎉🎉,你也來試試吧(咕咕咕)! 好言歸正傳,本次更新帶來的是經典游戲掃雷,基於JavaFX實現。篇幅有限,文章主要介紹核心操作實現,不會列出所有代碼。需要完整源碼或是想預覽最終效果,可以點擊下方鏈接。後續會逐步更新細節實現方面的內容,將來吧反正(肯定不鴿!) 視頻 ...
  • ## 背景 隨著所在公司的發展,應用服務的規模不斷擴大,原有的垂直應用架構已無法滿足產品的發展,幾十個工程師在一個項目里並行開發不同的功能,開發效率不斷降低。 於是公司開始全面推進服務化進程,把團隊內的大部分工程師主要精力全部都集中到服務化中。服務化可以讓每個工程師僅在自己負責的子項目中進行開發,提 ...
  • 寫java時不管是我們自己new對象還是spring管理bean,儘管我們天天跟對象打交道,那麼對象的結構和記憶體佈局有多少人知道呢,這篇文章可帶你入門,瞭解java對象記憶體佈局。 本文涉及到JVM指針壓縮的知識點,不熟悉的小伙伴可以看前面寫過的一篇關於指針壓縮的文章。 [JVM之指針壓縮](http ...
  • 記憶體“泄露”是開發中常見的問題之一,它會導致應用程式占用越來越多的記憶體資源,最終可能導致系統性能下降甚至崩潰。軟體開發者需要瞭解在程式中出現記憶體泄露的情況,以避免軟體出現該的問題。 **什麼是記憶體“泄露”?** 記憶體泄露是申請了記憶體空間的變數一直在占用,無法釋放。比如申請了一塊記憶體空間,沒有回收一直 ...
  • 一般來說,單片機的時鐘電路是使用外部的無源晶振和負載電容組合實現連接到單片機的Xin和Xout引腳上,無源晶振自身無法振蕩,因此需要匹配外部諧振電路才可以輸出振動信號。 但是在實際電路設計中,也會在晶振兩端並聯一個電阻。這個電阻叫做反饋電阻。​ 那麼並聯的這個反饋電阻有什麼作用呢? 首先來看下時鐘電 ...
  • Linux下PAM認證詳解(以centos7為例) PAM簡介(Pluggable Authentication Modules,可插拔認證模塊) Sun公司於1995年開發的一種與認證相關的通用框架機制:PAM(可插拔認證模塊)是實現認證工作的一個模塊。 因為每個服務都用到不同的認證方式,所以就需 ...
  • 使用expdp/impdp導出導入數據時,遇到ORA-2000錯誤,如下所示: Processing object type SCHEMA_EXPORT/TABLE/GRANT/OWNER_GRANT/OBJECT_GRANTProcessing object type SCHEMA_EXPORT/ ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...