需求：使用SparkStreaming，並且結合Kafka，獲取實時道路交通擁堵情況信息。 目的： 對監控點平均車速進行監控，可以實時獲取交通擁堵情況信息。相關部門可以對交通擁堵情況採取措施。 e.g.1.通過廣播方式，讓司機改道。 2.通過實時交通擁堵情況數據，反映在一些APP上面，形成實時交通擁... ...
SparkStreaming+Kafka整合
1.需求
使用SparkStreaming，並且結合Kafka，獲取實時道路交通擁堵情況信息。
2.目的
對監控點平均車速進行監控，可以實時獲取交通擁堵情況信息。相關部門可以對交通擁堵情況採取措施。
e.g.1.通過廣播方式，讓司機改道。
2.通過實時交通擁堵情況數據，反映在一些APP上面，形成實時交通擁堵情況地圖，方便用戶查詢。
3.架構
1.客戶端產生數據，並且把數據發送到Kafka集群的spark-real-time-vehicle-log的topic中
2.SparkStreaming從Kakfa集群的Topic: spark-real-time-vehicle-log中讀取數據
3.SparkStreaming使用視窗函數對數據流進行處理，每個5秒，處理過去1分鐘的數據
4.把結果列印(這裡也可以把結果保存到關係型資料庫，供WebUI顯示)
4.源碼
RealTimeVehicleSpeedMonitorMain
5.效果
6.更多
想要瞭解更多戳Spark Examples 準沒錯
========================================================
More reading,and english is important.
I'm Hongten
大哥哥大姐姐，覺得有用打賞點哦！你的支持是我最大的動力。謝謝。
Hongten博客排名在100名以內。粉絲過千。
Hongten出品，必是精品。
E | [email protected] B | http://www.cnblogs.com/hongten
========================================================
