spark極簡入門

1.windows上下載安裝sbt

去sbt官網下載 sbt包，解壓到指定目錄,不需要安裝。記得配置環境變數。

新建 SBT_HOME ，值是sbt包的解壓路徑，比如C:\Users\***\Tools\sbt-0.13.15\sbt（建議不要放在C盤）

併在path 中添加 %SBT_HOME%\bin

查看是否成功，命令行輸入：  sbt sbtVersion 

2.在intellij idea中安裝Scala插件

File -->Settings-->Plugins-->Scala-->install

這樣就不用再本機安裝Scala了

3.新建SBT project

File-->new-->project-->scala-->SBT

-->Next

註意版本對應：

 可以在spark官網上查看，例如 spark 1.6.0：

 -->finish.

4.編輯build.sbt

name := "sparkTest"

version := "1.0"

scalaVersion := "2.10.1"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0" % "provided"

 5.簡單的word count 代碼

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object App {
  def main(args:Array[String])={
    val logFile = "file:///home/hadoop/cy/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}　

 5.打包運行

 命令行中進入project所在目錄下，執行sbt package ,生成的jar包會出現在: <project path>/target/scala-2.10/sparktest_2.10-1.0.jar 。將jar包傳到裝有spark 1.6.0的機器上，運行 ./bin/spark-submit sparktest_2.10-1.0.jar。

哈哈極簡試水版，歡迎糾錯指正~~~~~~