出現這個錯誤可能有兩種情況,Jar文件沒有傳上去,或者Build Path裡面包含的Jar文件和Spark的運行環境有衝突。 對於第一種情況,需要在SparkConf語句後面加上Jar文件的路徑: 對於第二種情況,需要把Build Path裡面的Jar文件刪除,因為Spark運行環境已經有這些文件了 ...
出現這個錯誤可能有兩種情況,Jar文件沒有傳上去,或者Build Path裡面包含的Jar文件和Spark的運行環境有衝突。
對於第一種情況,需要在SparkConf語句後面加上Jar文件的路徑:
val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://master:7077").setJars(Seq("E:\\Intellij\\Projects\\SparkExample\\SparkExample.jar"))
對於第二種情況,需要把Build Path裡面的Jar文件刪除,因為Spark運行環境已經有這些文件了,沒必要再繼續打包。刪除以後,既減少了打包後文件的大小,同時也不會和Spark運行環境的Jar文件產生衝突。