初見Hadoop—- 搭建MyEclipse 訪問HDFS 上的文件

来源:http://www.cnblogs.com/Jett/archive/2017/08/21/7403363.html
-Advertisement-
Play Games

因公司項目需要,開始接觸大數據分析這塊知識。網上關於大數據這塊的知識還是比較多的。學習了一個禮拜了,再次記錄一下,自己的學習過程,希望可以幫助後學者少走一些彎路。 服務端的配置,由於公司項目經理已經配置好,我也就沒有過多的接觸,我所記錄的更多的是如果使用大數據。(JDK 和Eclipse不講了) 1 ...


因公司項目需要,開始接觸大數據分析這塊知識。網上關於大數據這塊的知識還是比較多的。學習了一個禮拜了,再次記錄一下,自己的學習過程,希望可以幫助後學者少走一些彎路。 
服務端的配置,由於公司項目經理已經配置好,我也就沒有過多的接觸,我所記錄的更多的是如果使用大數據。(JDK 和Eclipse不講了)

1、下載Hadoop開發環境,下載地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz 。(下載之後裡面的bin文件夾下少兩個文件hadoop.dll和winutils.exe需下載下來放入裡面,地址:http://download.csdn.net/download/lyfzxf/9942732)下載之後需要配置環境變數。這個百度上都有,沒難度。

2、首先是安裝MyEclipse 插件, 
插件下載地址:http://download.csdn.net/download/lyfzxf/9942700。下載之後直接放到eclipse下麵的plugins夾下就好

3、重啟eclipse 在Windows –Preferences 下麵會出現Hadoop Map/Reduce,點擊關聯到我們本地的Hadoop文件 
這裡寫圖片描述
配置後,打開Map/Reduce視圖模式這裡寫圖片描述 
找到Map/Reduce Loacations操作欄,新建Location 並配置伺服器路徑這裡寫圖片描述這裡寫圖片描述

至此我們的配置就完成了,此時左邊的文件結構一欄會出現 DFS Locations一欄。下麵顯示的就是伺服器端的文件。我們可以通過滑鼠右鍵對其文件進行增刪。這裡寫圖片描述 
也可以通過代碼對其進行增刪。我會在下篇博客介紹。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PG視圖分為兩種,一種是物化視圖,一種是一般視圖。本篇文章主要寫一般視圖哪些事兒。所謂一般視圖,通俗點說,就是由查詢語句定義的虛擬表。視圖中的數據可能來自一張或多張表。 1. 視圖創建語句 2. 創建視圖示例 ...
  • 最近的工作是基於 Apache HUE 做二次開發.剛接手 HUE 的代碼的時候,內心是崩潰的:開源的代碼,風格很多種, 代碼比較雜亂; 雖是基於 Django 開發的,但是項目的結構改變很大; 很多地方留下了坑; 前人基於此項目做了一些開發, 考慮欠佳, 雜亂中又增添了些雜亂...... 沒辦法, ...
  • 一、需求緣起 大部分互聯網的業務都是“讀多寫少”的場景,資料庫層面,讀性能往往成為瓶頸。如下圖:業界通常採用“一主多從,讀寫分離,冗餘多個讀庫”的資料庫架構來提升資料庫的讀性能。 這種架構的一個潛在缺點是,業務方有可能讀取到並不是最新的舊數據: (1)系統先對DB-master進行了一個寫操作,寫主 ...
  • 創建db_link,遠程導出/導入。expdp/impdp Oracle資料庫本地磁碟空間有限,或應用系統的需要,會通過遠程的方式導出資料庫。在oracle當中,exp遠程導庫的速度太慢,而expdp又無法直接通過遠程導庫。因此需要創建db_link遠程連接後,才能使用expdp遠程導庫。詳細步驟如 ...
  • 在資料庫中,經常有業務人員提出需求導出資料庫中的業務數據,而且是每天、每周或每月定時導出。為了方便,可將sql查詢的腳本 通過下麵腳本來導出EXCEL數據。 1.將查詢sql腳本(AAA.sql)放到 相關目錄如:/home/oracle/tongji-scripts/sql/AAA.sql 2.# ...
  • 最近買了阿裡雲,把項目部署上去以後,每天第一次訪問總是出一次異常,然後刷新一下就正常了。經查詢資料發現,原來mysql預設會自動關閉空閑時間超過8小時的連接,而連接池並不知道這個連接已經關閉了,所以就會出異常。 查看mysql 修改wait_timeout,雖然通過修改mysql的wait_time ...
  • 環境相關 系統:CentOS 6.8 64位jdk:1.7.0_79hadoop:hadoop 2.7.2 配置SSH免密碼登錄 測試下ssh是否可用 安裝hadoop2 下載hadoop-2.7.2.tar.gz,放在opt目錄下,解壓 配置Hadoop,路徑/opt/hadoop-2.5.1/e ...
  • 一、定義變數 --簡單賦值 declare @a int set @a=5 print @a --使用select語句賦值 declare @user1 nvarchar(50) select @user1='張三' print @user1 declare @user2 nvarchar(50) ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...