如何獲取Flume連接HDFS所需要的包

来源:https://www.cnblogs.com/h4o3/p/18253082
-Advertisement-
Play Games

在學習Hadoop工具中的Flume時,有的小伙伴會遇到這句話: “Flume要想將數據輸出到HDFS,必須持有Hadoop相關jar包” 然後小伙伴就懵逼了,這些包要去什麼地方來找呢? (遠在天邊,近在眼前) 首先,我們需要的包有 commons-configuration-1.6.jar、 ha ...


在學習Hadoop工具中的Flume時,有的小伙伴會遇到這句話:

“Flume要想將數據輸出到HDFS,必須持有Hadoop相關jar包”

然後小伙伴就懵逼了,這些包要去什麼地方來找呢?
(遠在天邊,近在眼前)



首先,我們需要的包有

commons-configuration-1.6.jar、
hadoop-auth-2.7.6.jar、
hadoop-common-2.7.6.jar、
hadoop-hdfs-2.7.6.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar

這些包要放在/flume/lib文件夾下。

其中,後兩個jar為1.99版本flume必須引用的jar。其他版本可以不引用。



接下來找到你的Hadoop文件

都學到Flume了,肯定能找到自己的Hadoop文件吧(心虛)

進入hadoop-3.3.0\share\hadoop路徑

然後在這個位置搜索上面你所需要的幾個包
註意:搜索時只能搜索包的名字,不要帶版本號,不然容易搜不到

這樣就找到了,接下來只需要打開你的Xshell或者其他什麼東西連接linux主機,把這些文件拖拽進/flume/lib就可以用了


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • FreeRTOS 的 list.c / list.h 文件中有 3 個數據結構、2 個初始化函數、2 個插入函數、1 個移除函數和一些巨集函數,鏈表是 FreeRTOS 中的重要數據結構 ...
  • 為深入理解 RTOS 內核工作機制,筆者製作了名為 “FreeRTOS 內核簡單實現” 的項目專欄 ,目標為自己動手從 0 到 1 編程一個簡單的 RTOS 內核,從而實現任務並行工作的效果 ...
  • 線程順序迴圈執行的場景在多線程編程中並不罕見,尤其是在需要協調多個線程按特定順序重覆執行任務的情況下。以下是幾個常見的例子: 生產者-消費者模型:在這種模型中,生產者線程生成數據並將其放入緩衝區,而消費者線程從緩衝區取出數據進行處理。這種情況下,生產者和消費者線程通常按順序交替運行。 流水線處理:在 ...
  • 如果把shell命令比成蓋房子的磚瓦,那shell腳本就是用一塊塊磚瓦建起來的房子。 腳本的第一行必須寫成類似下麵這樣的形式: #!/bin/bash #指定解釋器,其他還有dash,Python 等 變數 1.變數定義,賦值,引用 變數由字母和數字組成,值由雙引號包含,賦值號的兩邊不能有空格,例: ...
  • 目錄makefile 定義變數的方式1.遞歸定義2 直接定義3 條件定義方式4 追加變數值5 引用並修改變數值6 overrideVPATH用法:1 VPATH vpath各種規則1.隱式規則(Implicit Rules)2.靜態規則(Static Pattern Rules)3. 多目標規則(M ...
  • 瞭解更多關於bootloader 的C語言實現,請加我Q扣: 1273623966 (驗證信息請填 bootloader),歡迎咨詢或定製bootloader(線上升級程式)。 不知道為什麼,現在工業控制領域也向汽車領域學習,產品需要帶bootloader, 產品出貨後也要可以通過bootloade ...
  • 虛擬機添加磁碟與linux邏輯捲擴容 1.1 虛擬機添加磁碟 1.1.1. 檢查linux系統的磁碟分區及邏輯捲的相關信息是否正常 (1)cat /etc/redhat-release查看系統版本【適用於RHEL及CentOS】: 我已自己電腦上的虛擬機,50G記憶體2G運行記憶體為例 >>> (2)d ...
  • nslookup 是一個網路診斷工具,用於查詢功能變數名稱系統(DNS)記錄,將功能變數名稱解析為IP地址,或者查詢其他DNS記錄類型,如MX(郵件交換記錄)、CNAME(別名記錄)等。以下是一些常見Linux發行版安裝 及使用nslookup 的方法: Debian/Ubuntu 及其衍生版安裝 使用 apt 包 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...