文章中包含我所遇到的錯誤,進行了HDFS錯誤整改,以及後面有操作創建“遠程客戶端操作hdfs創建文件夾”,驗證環境是否配置成功的過程。 ...
HDFS錯誤整改
編寫“遠程客戶端操作hdfs創建文件夾”代碼,驗證環境是否配置成功!
1、錯誤點1:
改正方法:
第一步:點擊 文件>項目文件>模塊
第二步:會發現紅色框里的顯示的是15,這裡我們需要改成8,如下圖:
2、錯誤點2:
改正方法:
第一步:點擊 文件>項目文件>設置,後按照圖中步驟點擊:
第二步:將目標位元組碼版本同樣換成8,如下圖:
第三步:這個問題解決了
3、錯誤點3:
這裡出現了uri爆紅了,因該是可能是導包的時候出錯的?
如果你是第一次將以上代碼寫入環境,會出現很多包顯示紅色,說明包沒有被安裝,需要點擊maven,點擊刷新鍵,自動檢測安裝!
改正方法:
第一步:點擊側面的Maven,後點擊旋轉按鈕,後再次運行可以解決(?)
4、錯誤點4:
雖然網頁中已經顯示出xiyou,代表成功了,但是......
出現瞭如下警告:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
警告util.NativeCodeLoader:無法為您的平臺載入本機Hadoop庫…在適用的情況下使用內置的java類
改正方法:
此處引用網上查找的文章,因為我第一步的文件就沒找到,可能之前的步驟不一樣。
實驗目的:
編寫“遠程客戶端操作hdfs創建文件夾”代碼,驗證環境是否配置成功!
實現步驟:
1.首先要確保集群群起成功
2.在瀏覽器打開hadoop151:9870
3.編寫如下圖示代碼
直接複製:
package org.example.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FileSystem;
public class HdfsClient {
private FileSystem fs;
@Before
public void init() throws URISyntaxException, IOException, InterruptedException {
// 連接的集群nn地址
URI uri = new URI("hdfs://hadoop151:8020");
// 創建一個配置文件
Configuration configuration = new Configuration();
// 用戶
String user = "root";
// 1 獲取到了客戶端對象
fs = FileSystem.get(uri, configuration, user);
}
@After
public void close() throws IOException {
// 3 關閉資源
fs.close();
}
@Test
public void testmkdir() throws URISyntaxException, IOException, InterruptedException {
// 2 創建一個文件夾
fs.mkdirs(new Path("/xiyou/huaguoshan1"));
}
}
4.運行代碼,在網頁端察看遠程客戶端操作hdfs創建文件夾成功
如果友友們有疑問和指導,歡迎在評論區指出!