Spark一共有5種運行模式:Local,Standalone,Yarn-Cluster,Yarn-Client和Mesos。 1. Local Local模式即單機模式,如果在命令語句中不加任何配置,則預設是Local模式,在本地運行。這也是部署、設置最簡單的一種模式 2. Standalone ...
Spark一共有5種運行模式:Local,Standalone,Yarn-Cluster,Yarn-Client和Mesos。
1. Local
Local模式即單機模式,如果在命令語句中不加任何配置,則預設是Local模式,在本地運行。這也是部署、設置最簡單的一種模式
2. Standalone
Standalone是Spark自身實現的資源調度框架。如果我們只使用Spark進行大數據計算,不使用其他的計算框架(如MapReduce或者Storm)時,就採用Standalone模式。
Standalone模式的部署比較繁瑣,需要把Spark的部署包安裝到每一臺節點機器上,並且部署的目錄也必須相同,而且需要Master節點和其他節點實現SSH無密碼登錄。啟動時,需要先啟動Spark的Master和Slave節點。
其中master:7077是Spark的Master節點的主機名和埠號。