Linux_Java實現連接HDFS

来源:https://www.cnblogs.com/zzc1102/archive/2022/04/24/16186465.html
-Advertisement-
Play Games

一:創建maven項目 導入maven <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.7.6</version> </d ...


一:創建maven項目

導入maven

 <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.6</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.6</version>
        </dependency>
 
 
        <!-- https://mvnrepository.com/artifact/junit/junit -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
        </dependency>
    </dependencies>

junit是測試塊的包
其他三個是hdfs連接需要的包

二:winuti處理(如果有就不需要處理)

1.解壓hadoop-2.6.1到D盤   2.配置環境變數  配置變數的(https://jingyan.baidu.com/article/47a29f24610740c0142399ea.html)  

二:相關操作

  1:目錄操作

    相關操作:1:mkdirs 創建目錄。

           2:delete 刪除文件或目錄。

           3:listStatus 列出目錄的內容。

             4:getFileStatus 顯示文件系統的目錄和文件的元數據信息。

          5:getFileBlockLocations 顯示文件存儲位置

(1:創建一個目錄

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
 
import org.junit.Before;
import org.junit.Test;
 
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
 
 
public class Test1 {
    FileSystem fs;
 
    @Before
    public void conn() throws URISyntaxException, IOException {
        //hadoop配置文件,自動獲取hadoop的hdfs配置文件
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "1");//設置副本數為一
        //創建url 9000是埠號配置文件中有,master是主機名,如果沒有配置映射可以是ip地址
        URI uri = new URI("hdfs://master:9000");
        //等同於客戶端
        fs = FileSystem.get(uri, conf);
    }
    @Test
    public  void mkdir() throws IOException {
        //創建一個Path對象傳入想要創建hdfs的路徑
        Path path = new Path("/data1");
        //判斷是否存在要是存在就刪除,以免報錯
        if(fs.exists(path)){
         fs.delete(path);
        }
        //創建目錄
        fs.mkdirs(path);
    }
 
}

可以通過web界面查看有沒有創建成功(master:50070) 

(2:獲取獲取文件列表

 @Test
    public void filestatus() throws IOException {
        //獲取根目錄下的文件列表
        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
        //遍歷 fileStatuses
        for (FileStatus fileStatus : fileStatuses) {
            System.out.println(fileStatus);
        }

 

 

 

三:關於測試包

  我用的junit測試,可以不用main方法需要運行哪個就運行哪個,每個@Test前面都有一個運行的一個@Test對應一個方法(函數),還有@Before,@After等。@Before是運行每個@Test之前都會運行,常用來做連接。@After相反是運行每個@Test之後都會運行常用在關閉連接的方法前面。

(原文鏈接:https://blog.csdn.net/weixin_50691399/article/details/121955946)

 

 

四:連接不上的問題

1.刪除tmp

 

2.修改配置

修改namenode的地址為具體IP (之前寫的localhost)

 

 

修改slaves文件,為具體IP

3. 格式化hdfs

hadoop namenode –format

 

 

4.啟動HDFS

start-dfs.sh


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Q41H硬密封球閥適用於Class150~Class2500、PN16~PN160的各種管路上,用於截斷或接通管路中的介質。選用不同的材質,硬密封球閥可分別適用於非腐蝕型介質、弱腐蝕性介質、硝酸、醋酸、氧化性介質、尿素等多種介質,特別適用於含固體顆粒介質、料漿、煤粉、灰渣等苛刻工況。 ...
  • 練習模板(只包含了Swagger,Jwt可以直接練手):https://gitee.com/zh1446802857/swagger-multi-version-api.git Jwt在我的 認知里,是一套門鎖。別人(用戶)需要用到你的介面 的時候需要通過這個身份識別才可以使用。就像是一間房子,只有 ...
  • 今天看到已經更新了devblogs,新增的C# 11的!!(用於檢查null的語法)經過非常長的討論,最後取消了。然後我又想起來null檢查,這個可以說一說。 函數參數null檢查 傳統寫法 寫一個函數的時候,最經典的檢查,估計也是大家最常使用的null檢查,應該是這樣的吧: public stat ...
  • 理解命名 新特性:1、將事件委托到適當的命令 2、使控制項的啟用狀態和相應命令的狀態保持同步 命令:表示應用程式任務,並且跟蹤任務是否能夠被執行,然而,命令實際上不包含執行應用程式任務的代碼。 命令綁定:每個命令綁定針對用戶界面的具體區域,將命令連接到相關的應用程式邏輯。 命令源:命令源觸發命令。 命 ...
  • C#中要謹慎使用async void,因為它可能會導致程式崩潰。 ...
  • 本文介紹如何用Metalama框架無侵入地為.NET項目添加編譯時AOP及代碼分析,以及動態生成方法 ...
  • 註意事項 不讀本註意事項沒資格乾這個活! 1,進行此操作前,一定要先創建磁碟快照,出現任何報錯,必須回滾。 2,公司生產機避免升級一二級版本號,建議僅安裝內核安全更新。 3,對公司生產機操作前,一定要徵得技術主管同意,你自己沒把握讓他來弄。 4,請不要參照網上其他文章下載 deb 包手動升級,尤其是 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 Virtual Box 安裝虛擬機 一、下載安裝Virtual Box 1. 下載Virtual Box 2. 安裝Virtual Box 雙擊Virtual Box安裝程式進入安裝歡迎界面,如下圖所示: 單擊 下一步 按鈕後進入下一安裝界面,在 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...