試用最強Spark IDE--IDEA

1、安裝IntelliJ IDEA

IDEA 全稱 IntelliJ IDEA，是java語言開發的集成環境，IntelliJ在業界被公認為最好的java開發工具之一，尤其在智能代碼助手、代碼自動提示、重構、J2EE支持、Ant、JUnit、CVS整合、代碼審查、創新的GUI設計等方面的功能可以說是超常的。IDEA是JetBrains公司的產品，這家公司總部位於捷克共和國的首都布拉格，開發人員以嚴謹著稱的東歐程式員為主。

IDEA每個版本提供Community和Ultimate兩個版本，如下圖所示，其中Community是完全免費的，而Ultimate版本可以使用30天，過這段時間後需要收費。從安裝後使用對比來看，下載一個Community版本足夠了。

1.1  安裝軟體

1.1.1 下載IDEA安裝文件

可以到Jetbrains官網http://www.jetbrains.com/idea/download/，選擇最新的安裝文件。由於以後的練習需要在Linux開發Scala應用程式，選擇Linux系統IntelliJ IDEA14，如下圖所示：

【註】在該系列配套資源的install目錄下分別提供了ideaIC-14.0.2.tar.gz(社區版)和ideaIU-14.0.2.tar.gz(正式版)安裝文件，對於Scala開發來說兩個版本區別不大

1.1.2 解壓縮並移動目錄

把下載的安裝文件上傳到目標機器，用如下命令解壓縮IntelliJ IDEA安裝文件，並遷移到/app目錄下：

cd /home/hadoop/upload

tar -zxf ideaIU-14.0.2.tar.gz

sudo mv idea-IU-139.659.2 /app/idea-IU

1.1.3配置/etc/profile環境變數

使用如下命令打開/etc/profile文件：

sudo vi /etc/profile

確認JDK配置變數正確配置（參見第2節《Spark編譯與部署》中關於基礎環境搭建介紹）：

export JAVA_HOME=/usr/lib/java/jdk1.7.0_55

export PATH=$PATH:$JAVA_HOME

1.2 配置Scala環境

1.2.1 啟動IntelliJ IDEA

可以通過兩種方式啟動IntelliJ IDEA：

• 到IntelliJ IDEA安裝所在目錄下，進入bin目錄雙擊idea.sh啟動IntelliJ IDEA；
• 在命令行終端中，進入$IDEA_HOME/bin目錄，輸入./idea.sh進行啟動

IDEA初始啟動目錄如下，IDEA預設情況下並沒有安裝Scala插件，需要手動進行安裝，安裝過程並不複雜，下麵將演示如何進行安裝。

1.2.2 下載Scala插件

參見上圖，在啟動界面上選擇“Configure-->Plugins"選項，然後彈出插件管理界面，在該界面上列出了所有安裝好的插件，由於Scala插件沒有安裝，需要點擊”Install JetBrains plugins"進行安裝，如下圖所示：

待安裝的插件很多，可以通過查詢或者字母順序找到Scala插件，選擇插件後在界面的右側出現該插件的詳細信息，點擊綠色按鈕"Install plugin”安裝插件，如下圖所示：

安裝過程將出現安裝進度界面，通過該界面瞭解插件安裝進度，如下圖所示：

安裝插件後，在啟動界面中選擇創建新項目，彈出的界面中將會出現"Scala"類型項目，選擇後將出現提示創建的項目是僅Scala代碼項目還是SBT代碼項目，如下圖所示：

1.2.3 設置界面主題

從IntelliJ IDEA12開始起推出了Darcula 主題的全新用戶界面，該界面以黑色為主題風格得到很多開發人員的喜愛，下麵我們將介紹如何進行配置。在主界面中選擇File菜單，然後選擇Setting子菜單，如下圖所示：

在彈出的界面中選擇Appearance &Behavior中Appearance，其中Theme中選擇Darcula主題，如下圖所示：

保存該主題重新進入，可以看到如下圖樣式的開發工具，是不是很酷！

2    使用IDEA編寫例子

2.1 創建項目

2.1.1 設置項目基本信息

在IDEA菜單欄選擇File->New Project，出現如下界面，選擇創建Scala項目：

在項目的基本信息填寫項目名稱、項目所在位置、Project SDK和Scala SDK，在這裡設置項目名稱為class3，關於Scala SDK的安裝參見第2節《Spark編譯與部署》下Spark編譯安裝介紹：

2.1.2 設置Modules

創建該項目後，可以看到現在還沒有源文件，只有一個存放源文件的目錄src以及存放工程其他信息的雜項。通過雙擊src目錄或者點擊菜單上的項目結構圖標打開項目配置界面，如下圖所示：

在Modules設置界面中，src點擊右鍵選擇“新加文件夾”添加src->main->scala目錄：

在Modules設置界面中，分別設置main->scala目錄為Sources類型：

2.1.3 配置Library

選擇Library目錄，添加Scala SDK Library，這裡選擇scala-2.10.4版本

添加Java Library，這裡選擇的是在$SPARK_HOME/lib/spark-assembly-1.1.0-hadoop2.2.0.jar文件，添加完成的界面如下：

2.2 例子1：直接運行

《Spark編程模型（上）--概念及Shell試驗》中使用Spark-Shell進行了搜狗日誌的查詢，在這裡我們使用IDEA對Session查詢次數排行榜進行重新練習，可以發現藉助專業的開發工具可以方便快捷許多。

2.2.1 編寫代碼

在src->main->scala下創建class3包，在該包中添加SogouResult對象文件，具體代碼如下：

 1 package class3

 2

 3 import org.apache.spark.SparkContext._

 4 import org.apache.spark.{SparkConf, SparkContext}

 5

 6 object SogouResult{

 7   def main(args: Array[String]) {

 8     if (args.length == 0) {

 9       System.err.println("Usage: SogouResult <file1> <file2>")

10       System.exit(1)

11     }

12

13     val conf = new SparkConf().setAppName("SogouResult").setMaster("local")

14     val sc = new SparkContext(conf)

15

16     //session查詢次數排行榜

17     val rdd1 = sc.textFile(args(0)).map(_.split("\t")).filter(_.length==6)

18 val rdd2=rdd1.map(x=>(x(1),1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

19     rdd2.saveAsTextFile(args(1))

20     sc.stop()

21   }

22 }

2.2.2 編譯代碼

代碼在運行之前需要進行編譯，可以點擊菜單Build->Make Project或者Ctrl+F9對代碼進行編譯，編譯結果會在Event Log進行提示，如果出現異常可以根據提示進行修改

2.2.3 運行環境配置

SogouResult首次運行或點擊菜單Run->Edit Configurations打開"運行/調試 配置界面"

運行SogouResult時需要輸入搜狗日誌文件路徑和輸出結果路徑兩個參數，需要註意的是HDFS的路徑參數路徑需要全路徑，否則運行會報錯：

• 搜狗日誌文件路徑：使用上節上傳的搜狗查詢日誌文件hdfs://hadoop1:9000/sogou/SogouQ1.txt
• 輸出結果路徑：hdfs://hadoop1:9000/class3/output2

2.2.4 運行結果查看

啟動Spark集群，點擊菜單Run->Run或者Shift+F10運行SogouResult，在運行結果視窗可以運行情況。當然瞭如果需要觀察程式運行的詳細過程，可以加入斷點，使用調試模式根據程式運行過程。

使用如下命令查看運行結果，該結果和上節運行的結果一致

hadoop fs -ls /class3/output2 

hadoop fs -cat /class3/output2/part-00000 | less

2.3  例子2：打包運行

上個例子使用了IDEA直接運行結果，在該例子中將使用IDEA打包程式進行執行

2.3.1 編寫代碼

在class3包中添加Join對象文件，具體代碼如下：

 1 package class3

 2 

 3 import org.apache.spark.SparkContext._

 4 import org.apache.spark.{SparkConf, SparkContext}

 5 

 6 object Join{

 7   def main(args: Array[String]) {

 8     if (args.length == 0) {

 9       System.err.println("Usage: Join <file1> <file2>")

10       System.exit(1)

11     }

12 

13     val conf = new SparkConf().setAppName("Join").setMaster("local")

14     val sc = new SparkContext(conf)

15 

16     val format = new java.text.SimpleDateFormat("yyyy-MM-dd")

17     case class Register (d: java.util.Date, uuid: String, cust_id: String, lat: Float,lng: Float)

18     case class Click (d: java.util.Date, uuid: String, landing_page: Int)

19     val reg = sc.textFile(args(0)).map(_.split("\t")).map(r => (r(1), Register(format.parse(r(0)), r(1), r(2), r(3).toFloat, r(4).toFloat)))

20 val clk = sc.textFile(args(1)).map(_.split("\t")).map(c => (c(1), Click(format.parse(c(0)), c(1), c(2).trim.toInt)))

21     reg.join(clk).take(2).foreach(println)

22 

23     sc.stop()

24   }

25 }

2.3.2 生成打包文件

第一步   配置打包信息

在項目結構界面中選擇"Artifacts"，在右邊操作界面選擇綠色"+"號，選擇添加JAR包的"From modules with dependencies"方式，出現如下界面，在該界面中選擇主函數入口為Join：

第二步   填寫該JAR包名稱和調整輸出內容

【註意】的是預設情況下"Output Layout"會附帶Scala相關的類包，由於運行環境已經有Scala相關類包，所以在這裡去除這些包只保留項目的輸出內容

第三步   輸出打包文件

點擊菜單Build->Build Artifacts，彈出選擇動作，選擇Build或者Rebuild動作

第四步   複製打包文件到Spark根目錄下

cd /home/hadoop/IdeaProjects/out/artifacts/class3

cp LearnSpark.jar  /app/hadoop/spark-1.1.0/

ls /app/hadoop/spark-1.1.0/

2.3.3 運行查看結果

通過如下命令調用打包中的Join方法，運行結果如下：

cd /app/hadoop/spark-1.1.0

bin/spark-submit --master spark://hadoop1:7077 --class class3.Join --executor-memory 1g LearnSpark.jar hdfs://hadoop1:9000/class3/join/reg.tsv hdfs://hadoop1:9000/class3/join/clk.tsv

3、問題解決

3.1 出現"*** is already defined as object ***"錯誤

編寫好SogouResult後進行編譯，出現"Sogou is already as object SogouResult"的錯誤，

出現這個錯誤很可能不是程式代碼的問題，很可能是使用Scala JDK版本問題，作者在使用scala-2.11.4遇到該問題，換成scala-2.10.4後重新編譯該問題得到解決，需要檢查兩個地方配置：Libraries和Global Libraries分別修改為scala-2.10.4