01-Spark的Local模式與應用開發入門

来源:https://www.cnblogs.com/JavaEdge/p/18090343
-Advertisement-
Play Games

1 Spark 的 local 模式 Spark 運行模式之一，用於在本地機器上單機模擬分散式計算的環境。在 local 模式下，Spark 會使用單個 JVM 進程來模擬分散式集群行為，所有 Spark 組件（如 SparkContext、Executor 等）都運行在同一個 JVM 進程中，不涉 ...


1 Spark 的 local 模式

Spark 運行模式之一，用於在本地機器上單機模擬分散式計算的環境。在 local 模式下，Spark 會使用單個 JVM 進程來模擬分散式集群行為，所有 Spark 組件（如 SparkContext、Executor 等）都運行在同一個 JVM 進程中，不涉及集群間通信，適用本地開發、測試和調試。

1.1 重要特點和使用場景

  1. 本地開發和測試：在開發 Spark 應用程式時，可以使用 local 模式進行本地開發和測試。這樣可以避免連接到集群的開銷，加快開發迭代速度。同時，可以模擬集群環境中的作業執行流程，驗證代碼邏輯和功能。
  2. 單機數據處理：對於較小規模的數據處理任務，例如處理數百兆或數個 GB 的數據，可以使用 local 模式進行單機數據處理。這樣可以充分利用本地機器的資源，快速完成數據處理任務。
  3. 調試和故障排查：在調試和故障排查過程中，使用 local 模式可以更方便地查看日誌、變數和數據，加快發現和解決問題的速度。可以在本地環境中模擬各種情況，驗證代碼的健壯性和可靠性。
  4. 教學和學習：對於 Spark 的初學者或教學場景，local 模式提供了一個簡單直觀的學習環境。學習者可以在本地環境中快速運行 Spark 應用程式，理解 Spark 的基本概念和工作原理。

1.2 使用 local 模式

設置 SparkConf 中的 spark.master 屬性為 "local" 來指定運行模式。如Scala中這樣設置：

import org.apache.spark.{SparkConf, SparkContext}

object SparkLocalExample {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("SparkLocalExample").setMaster("local")
    val sc = new SparkContext(conf)

    // 在這裡編寫你的 Spark 應用程式邏輯

    sc.stop()  // 停止 SparkContext
  }
}

1.3 註意

local 模式僅適用於小規模數據處理和本地開發測試場景，並不適用於生產環境的大規模數據處理任務。在生產環境中，需要使用集群模式（如 standalone、YARN、Mesos 等）來運行 Spark 應用程式，以便充分利用集群資源和提高作業的並行度。

2 Spark應用開發

2.1 SparkContext

通常一個 Spark 程式對應一個 SparkContext 實例。SparkContext 是 Spark 應用程式的主入口點，負責與集群進行通信，管理作業的調度和執行，以及維護應用程式的狀態。因此，一個 SparkContext 實例通常對應一個獨立的 Spark 應用程式。

在正常情況下，創建多個 SparkContext 實例是不推薦的，因為這可能會導致資源衝突、記憶體泄漏和性能下降等問題。Spark 本身設計為單個應用程式對應一個 SparkContext，以便於有效地管理資源和執行作業。

然而，在某些特殊情況下，可能會存在多個 SparkContext 實例的情況：

  1. 測試和調試：在測試和調試階段，有時會創建額外的 SparkContext 實例來模擬不同的場景或測試不同的配置。這樣可以更好地理解 Spark 應用程式的行為和性能，以便進行優化和調整。
  2. 互動式環境：在互動式環境下（如 Spark Shell、Jupyter Notebook 等），有時會創建多個 SparkContext 實例來進行實驗、測試或不同的作業執行。這些 SparkContext 實例可能是由不同的用戶或會話創建的，用於並行執行不同的任務或查詢。
  3. 多應用程式共用資源：在同一個集群上運行多個獨立的 Spark 應用程式，並且它們需要共用同一組集群資源時，可能會創建多個 SparkContext 實例來管理各自的作業和資源。這種情況下，需要確保各個應用程式的 SparkContext 實例能夠正確地管理資源，避免資源衝突和競爭。

創建多個 SparkContext 實例時需要謹慎處理，並且需要確保它們能夠正確地管理資源、避免衝突，並且不會影響其他應用程式或作業的正常運行。在生產環境中，建議僅使用一個 SparkContext 實例來管理整個應用程式。

SparkContext是Spark應用的入口點，負責初始化Spark應用所需要的環境和數據結構。

2.2 運行一個Spark應用的步驟

  • 創建SparkContext，這會初始化Spark應用環境、資源和驅動程式
  • 通過SparkContext 創建RDD、DataFrame和Dataset
  • 在RDD、DataFrame和Dataset上進行轉換和行動操作
  • 關閉SparkContext來關閉Spark應用

所以，一個標準的Spark應用對應一個SparkContext實例。通過創建SparkContext來開始我們的程式，在其上執行各種操作，併在結束時關閉該實例。

3 案例

3.1 測試數據文件

input.txt

JavaEdge,JavaEdge,JavaEdge
go,go
scalascala

3.2 代碼

package com.javaedge.bigdata.chapter02

import org.apache.spark.{SparkConf, SparkContext}

/**
 * 詞頻統計案例
 * 輸入：文件
 * 需求：統計出文件中每個單詞出現的次數
 * 1）讀每一行數據
 * 2）按照分隔符把每一行的數據拆成單詞
 * 3）每個單詞賦上次數為1
 * 4）按照單詞進行分發，然後統計單詞出現的次數
 * 5）把結果輸出到文件中
 * 輸出：文件
 */
object SparkWordCountApp {

  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf()
    val sc = new SparkContext(sparkConf)
    val rdd = sc.textFile("/Users/javaedge/Downloads/sparksql-train/data/input.txt")
    rdd.collect().foreach(println)
    sc.stop()
}

發現啟動後，報錯啦：

ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:368)
	at com.javaedge.bigdata.chapter02.SparkWordCountApp$.main(SparkWordCountApp.scala:25)
	at com.javaedge.bigdata.chapter02.SparkWordCountApp.main(SparkWordCountApp.scala)
ERROR Utils: Uncaught exception in thread main

必須設置集群？我才剛入門大數據誒，這麼麻煩？勸退，不學了！還好 spark 也支持簡單部署：

val sparkConf = new SparkConf().setMaster("local")

重啟，又報錯：

ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: An application name must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:371)
	at com.javaedge.bigdata.chapter02.SparkWordCountApp$.main(SparkWordCountApp.scala:25)
	at com.javaedge.bigdata.chapter02.SparkWordCountApp.main(SparkWordCountApp.scala)
ERROR Utils: Uncaught exception in thread main

val sparkConf = new SparkConf().setMaster("local").setAppName("SparkWordCountApp")

成功了！

val rdd = sc.textFile("/Users/javaedge/Downloads/sparksql-train/data/input.txt")
rdd.flatMap(_.split(","))
  .map(word => (word, 1)).collect().foreach(println)
sc.stop()


output:
(pk,1)
(pk,1)
(pk,1)
(jepson,1)
(jepson,1)
(xingxing,1)

3.3 輸出到文件

rdd.flatMap(_.split(","))
  // 3）每個單詞賦上次數為1
  .map(word => (word, 1))
  .reduceByKey(_ + _)
  .saveAsTextFile("/Users/javaedge/Downloads/sparksql-train/data/output.txt")

3.4 按頻率降序排

// 2）按照分隔符把每一行的數據拆成單詞
rdd.flatMap(_.split(","))
  // 3）每個單詞賦上次數為1
  .map(word => (word, 1))
  // 4）按照單詞進行分發，然後統計單詞出現的次數
  .reduceByKey(_ + _)
  // 結果按單詞頻率降序排列,既然之前是 <單詞，頻率> 且 sortKey 只能按 key 排序，那就在這裡反轉 kv 順序
  .map(x => (x._2, x._1))
  .collect().foreach(println)

output：
(2,go)
(1,scalascala)
(3,JavaEdge)

顯然結果不符合期望。如何調整呢？再翻轉一次！

rdd.flatMap(_.split(","))
  .map(word => (word, 1))
  .reduceByKey(_ + _)
  // 結果按單詞頻率降序排列,既然之前是 <單詞，頻率> 且 sortKey 只能按 key 排序，那就在這裡反轉 kv 順序
  .map(x => (x._2, x._1))
  .sortByKey(false)
  .map(x => (x._2, x._1))
  .collect().foreach(println)

output：
(JavaEdge,3)
(go,2)
(scalascala,1)

4 spark-shell啟動

javaedge@JavaEdgedeMac-mini bin % ./spark-shell --master local
23/03/23 16:28:58 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://172.16.1.55:4040
Spark context available as 'sc' (master = local, app id = local-1679560146321).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.3
      /_/

Using Scala version 2.11.12 (OpenJDK 64-Bit Server VM, Java 1.8.0_362)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

4 通過YARN提交任務

$ ./spark-submit --master yarn \
  --deploy-mode client \
  --class <main_class> \
  --num-executors <num_executors> \
  --executor-memory <executor_memory> \
  --executor-cores <executor_cores> \
  <path_to_jar_or_py_file> \
  <app_arguments>

各參數含義：

  • --master yarn: 指定使用YARN作為Spark的資源管理器。
  • --deploy-mode client: 指定部署模式為client模式，即Driver程式運行在提交Spark任務的客戶端機器上。
  • --class <main_class>: 指定Spark應用程式的主類。
  • --num-executors <num_executors>: 指定執行器的數量。
  • --executor-memory <executor_memory>: 指定每個執行器的記憶體大小。
  • --executor-cores <executor_cores>: 指定每個執行器的核心數。
  • <path_to_jar_or_py_file>: 指定要提交的Spark應用程式的JAR文件或Python文件的路徑。
  • <app_arguments>: 指定Spark應用程式的參數。

如提交一個Scala版本的Spark應用程式的命令：

$ ./spark-submit --master yarn \
  --deploy-mode client \
  --class com.example.MySparkApp \
  --num-executors 4 \
  --executor-memory 2G \
  --executor-cores 2 \
  /path/to/my-spark-app.jar \
  arg1 arg2 arg3

如果你要提交一個Python版本的Spark應用程式，可以使用以下命令：

$ ./spark-submit --master yarn \
  --deploy-mode client \
  /path/to/my-spark-app.py \
  arg1 arg2 arg3

這樣就可以通過YARN提交Spark任務，Spark會向YARN請求資源併在集群上執行任務。

關註我，緊跟本系列專欄文章，咱們下篇再續！

作者簡介：魔都技術專家兼架構，多家大廠後端一線研發經驗，各大技術社區頭部專家博主。具有豐富的引領團隊經驗，深厚業務架構和解決方案的積累。

負責：

  • 中央/分銷預訂系統性能優化
  • 活動&優惠券等營銷中台建設
  • 交易平臺及數據中台等架構和開發設計
  • 車聯網核心平臺-物聯網連接平臺、大數據平臺架構設計及優化

目前主攻降低軟體複雜性設計、構建高可用系統方向。

參考：

本文由博客一文多發平臺 OpenWrite 發佈！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 如何理解OSI七層模型?
    一、是什麼 OSI （Open System Interconnect）模型全稱為開放式通信系統互連參考模型，是國際標準化組織 ( ISO ) 提出的一個試圖使各種電腦在世界範圍內互連為網路的標準框架 OSI將電腦網路體繫結構劃分為七層，每一層實現各自的功能和協議，並完成與相鄰層的介面通信。即每 ...
  • Vue-核心
    Vue 一、使用語法 1.插值語法 功能：用於解析標簽體內容。 寫法：{{xxx}}，xxx是js表達式，且ß可以直接讀取到data中的所有屬性。 2.指令語法 功能：用於解析標簽（包括：標簽屬性、標簽體內容、綁定事件.....）。 舉例：v-bind:href="xxx" 或 簡寫為 :href= ...
  • AJAX 前端開發利器：實現網頁動態更新的核心技術
    AJAX AJAX是開發者的夢想，因為你可以： 在不重新載入頁面的情況下更新網頁 在頁面載入後請求來自伺服器的數據 在頁面載入後接收來自伺服器的數據 在後臺向伺服器發送數據 HTML頁面 <!DOCTYPE html> <html> <body> <div id="demo"> <h2>讓AJAX更 ...
  • 如何理解UDP 和 TCP? 區別? 應用場景?
    一、UDP UDP（User Datagram Protocol），用戶數據包協議，是一個簡單的面向數據報的通信協議，即對應用層交下來的報文，不合併，不拆分，只是在其上面加上首部後就交給了下麵的網路層 也就是說無論應用層交給UDP多長的報文，它統統發送，一次發送一個報文 而對接收方，接到後直接去除首 ...
  • 深入學習 XML 解析器及 DOM 操作技術
    所有主要的瀏覽器都內置了一個XML解析器，用於訪問和操作XML XML 解析器 在訪問XML文檔之前，必須將其載入到XML DOM對象中 所有現代瀏覽器都有一個內置的XML解析器，可以將文本轉換為XML DOM對象 解析文本字元串 以下示例將一個文本字元串解析為XML DOM對象，並使用JavaSc ...
  • C++結構體內幕揭秘：sizeof之謎與記憶體佈局探秘
    概述：C++結構體的`sizeof`不總是等於每個成員的`sizeof`之和，因為對齊和填充影響了記憶體佈局。未對齊的結構體可能存在間隙，而對齊的結構體會插入填充以保持對齊。通過示例展示了結構體的記憶體對齊和填充，以及如何使用模板元編程列印結構體成員的偏移量，深入理解記憶體佈局。 在C++中，結構體的si ...
  • 深入理解 C++ 語法：從基礎知識到高級應用
    C++ 語法 讓我們將以下代碼分解以更好地理解它： 示例 #include <iostream> using namespace std; int main() { cout << "Hello World!"; return 0; } 示例解釋 第 1 行：#include <iostream> ...
  • C++中const小結
    https://leetcode.cn/problems/trapping-rain-water/description/?envType=study-plan-v2&envId=top-interview-150 對於一個可以構成“碗”的序列，最後裝滿水的話應該和最短的一邊齊平，那麼可以左右各遍歷 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類