flume基本安裝與使用

解壓flume包 到/usr/local/src/目錄下 

[root@hadoopha01 pack]# tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/src/

配置flume環境變數

#FLUME_HOME
export FLUME_HOME=/usr/local/src/flume
export PATH=$PATH:$FLUME_HOME/bin

修改flume中flume-env.sh文件，先將修改名稱為flume-env.sh，或者直接新建一個

其中配置jdk

export JAVA_HOME=/usr/local/src/jdk

flume,安裝成功

查看版本

[root@hadoopha01 conf]# flume-ng version

flume的基本使用

使用flume傳輸數據至hdfs中

查詢dfs中有那些文件

[root@hadoopha01 conf]# hdfs dfs -ls /

創建一個flume文件夾

[root@hadoopha01 conf]# hdfs dfs -mkdir  /flume

創建一個job目錄用於存放flume配置文件

mkdir job
[root@hadoopha01 job]# vi hdfs_k.conf 

文件內容

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = netcat
a1.sources.r1.bind = 主機名
a1.sources.r1.port = 自己設置埠號

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://主機名稱+hdfs埠號/flume/events/%y-%m-%d/%H/%M/%S
a1.sinks.k1.hdfs.filePrefix = events-

#是否是產生新目錄,每十分鐘產生一個新目錄,一般控制的目錄方面。
#2017-12-12 -->
#2017-12-12 -->%H%M%S

a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = second

a1.sinks.k1.hdfs.useLocalTimeStamp=true

#是否產生新文件。
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=10
a1.sinks.k1.hdfs.rollCount=3

a1.channels.c1.type=memory

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

一個終端啟用文件

[root@hadoopha01 job]# flume-ng agent  -f hdfs_k.conf  -n a1

另一個終端傳輸文件

[root@hadoopha01 job]# nc 主機名 自己設置埠號