一、函數概述 • PL/SQL中的過程和函數(通常稱為子程式)是PL/SQL塊的一種特殊的類型,這種類型的子程式可以以編譯的形式存放在資料庫中,併為後續的程式塊調用。 • 相同點:完成特定功能的程式 • 不同點:是否用return語句返回值 二、函數語法 CREATE [OR REPLACE] FU ...
第1章 Flume概述
1.1Flume定義
Flume是Cloudera提供的一個高可用的,高可靠的,分散式的海量日誌採集、聚合和傳輸的系統。Flume基於流式架構,靈活簡單。
官網地址:https://flume.apache.org/
1.2 Flume基礎架構
Flume組成架構如下圖所示。
1.2.1 Agent
Agent是一個JVM進程,它以事件的形式將數據從源頭送至目的。
Agent主要有3個部分組成,Source、Channel、Sink。
1.2.2 Source
Source是負責接收數據到Flume Agent的組件。Source組件可以處理各種類型、各種格式的日誌數據,包括avro、thrift、exec、jms、spooling directory、netcat、 taildir 、sequence generator、syslog、http、legacy。
1.2.3 Sink
Sink不斷地輪詢Channel中的事件且批量地移除它們,並將這些事件批量寫入到存儲或索引系統、或者被髮送到另一個Flume Agent。
Sink組件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定義。
1.2.4 Channel
Channel是位於Source和Sink之間的緩衝區。因此,Channel允許Source和Sink運作在不同的速率上。Channel是線程安全的,可以同時處理幾個Source的寫入操作和幾個Sink的讀取操作。
Flume自帶兩種Channel:Memory Channel和File Channel。
Memory Channel是記憶體中的隊列。Memory Channel在不需要關心數據丟失的情景下適用。如果需要關心數據丟失,那麼Memory Channel就不應該使用,因為程式死亡、機器宕機或者重啟都會導致數據丟失。
File Channel將所有事件寫到磁碟。因此在程式關閉或機器宕機的情況下不會丟失數據。
1.2.5 Event(數據)
傳輸單元,Flume數據傳輸的基本單元,以Event的形式將數據從源頭送至目的地。Event由Header和Body兩部分組成,Header用來存放該event的一些屬性,為K-V結構,Body用來存放該條數據,形式為位元組數組。
IT學習網站
Spring Cloud Alibaba學習資源推薦
Spring Cloud Alibaba 微服務架構實戰
鏈接: https://pan.baidu.com/s/1nJpfbjPyf3n339INybjOQQ?pwd=8t11 提取碼: 8t11
--來自百度網盤超級會員v4的分享
失效加V:x923713