大數據常用技術棧一覽

大數據常用技術棧一覽 —— GitHub 地址：https://github.com/heibaiying/BigData-Notes，主要技術棧如下：

✒️ 前 言

1. 大數據常用技術棧思維導圖
   
2. 大數據常用軟體安裝指南

一、Hadoop

1. 分散式文件存儲系統——HDFS
2. 分散式計算框架——MapReduce
3. 集群資源管理器——YARN
4. Hadoop單機偽集群環境搭建
5. Hadoop集群環境搭建
6. HDFS常用Shell命令
7. HDFS Java API的使用
8. 基於Zookeeper搭建Hadoop高可用集群

二、Hive

1. Hive簡介及核心概念
2. Linux環境下Hive的安裝部署
3. Hive CLI和Beeline命令行的基本使用
4. Hive 常用DDL操作
5. Hive 分區表和分桶表
6. Hive 視圖和索引
7. Hive常用DML操作
8. Hive 數據查詢詳解

三、Spark

Spark Core :

1. Spark簡介
2. Spark開發環境搭建
3. 彈性式數據集RDD
4. RDD常用運算元詳解
5. Spark運行模式與作業提交
6. Spark累加器與廣播變數
7. 基於Zookeeper搭建Spark高可用集群

Spark SQL :

1. DateFrame 和 DataSet
2. Structured API的基本使用
3. Spark SQL外部數據源
4. Spark SQL常用聚合函數
5. Spark SQL JOIN 操作

Spark Streaming ：

1. Spark Streaming 簡介
2. Spark Streaming 基本操作
3. Spark Streaming 整合 Flume
4. Spark Streaming 整合 Kafka

四、Storm

1. Storm和流處理簡介
2. Storm核心概念詳解
3. Storm單機環境搭建
4. Storm集群環境搭建
5. Storm編程模型詳解
6. Storm項目三種打包方式對比分析
7. Storm集成Redis詳解
8. Storm集成HDFS/HBase
9. Storm集成Kafka

五、Flink

TODO

六、HBase

1. Hbase 簡介
2. HBase系統架構及數據結構
3. HBase基本環境搭建(Standalone /pseudo-distributed mode)
4. HBase集群環境搭建
5. HBase常用Shell命令
6. HBase Java API
7. Hbase 過濾器詳解
8. HBase 協處理器詳解
9. HBase 容災與備份
10. HBase的SQL中間層——Phoenix
11. Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

1. Kafka 簡介
2. 基於Zookeeper搭建Kafka高可用集群
3. Kafka 生產者詳解
4. Kafka 消費者詳解
5. 深入理解Kafka副本機制

八、Zookeeper

1. Zookeeper 簡介及核心概念
2. Zookeeper單機環境和集群環境搭建
3. Zookeeper常用Shell命令
4. Zookeeper Java 客戶端——Apache Curator
5. Zookeeper ACL許可權控制

九、Flume

1. Flume簡介及基本使用
2. Linux環境下Flume的安裝部署
3. Flume整合Kafka

十、Sqoop

1. Sqoop簡介與安裝
2. Sqoop的基本使用

十一、Azkaban

1. Azkaban簡介
2. Azkaban3.x 編譯及部署
3. Azkaban Flow 1.0 的使用
4. Azkaban Flow 2.0 的使用

十二、Scala

1. Scala簡介及開發環境配置
2. 基本數據類型和運算符
3. 流程式控制制語句
4. 數組——Array
5. 集合類型綜述
6. 常用集合類型之——List & Set
7. 常用集合類型之——Map & Tuple
8. 類和對象
9. 繼承和特質
10. 函數 & 閉包 & 柯里化
11. 模式匹配
12. 類型參數
13. 隱式轉換和隱式參數

十三、公共內容

1. 大數據應用常用打包方式